Senior Data Engineer (ETL-миграция)
Технологии
Описание вакансии
Кратко о роли
Senior Data Engineer для участия в проекте миграции ETL-системы телеком-оператора на Apache стек.
Ключевые задачи
- Миграция ETL-системы с Oracle/Informatica на Apache стек (S3, Airflow, NiFi, Kafka, Greenplum).
- Перенос бизнес-логики из Informatica в высокопроизводительный SQL-код.
- Разработка DAG-ов в Airflow и пайплайнов в NiFi.
- Разработка Spark-джобов (PySpark) для обработки больших объемов данных.
- Настройка мониторинга (Grafana/Prometheus) и разбор инцидентов по качеству данных.
- Проведение code review.
Обязательные требования
- Опыт миграции ETL-систем (желательно с Oracle/Informatica на Apache стек).
- Глубокое знание SQL (оконные функции, сложные джойны, оптимизация для highload).
- Опыт работы с Oracle (PL/SQL), PostgreSQL, Greenplum и/или Clickhouse.
- Проектирование архитектур на Apache Spark (PySpark), NiFi, Airflow.
- Знание Hadoop (HDFS) и Hive.
- Опыт работы с биллинговыми системами (желательно телеком-домен).
- Локация: РФ, часовой пояс МСК ± 3ч.
- Готовность к оформлению через ИП.
Будет плюсом
- Опыт работы с потоковой обработкой (Kafka Streams / Spark Streaming).
- Знание Informatica PowerCenter.
- Опыт работы с S3-хранилищами.
- Навыки работы с Patroni для кластеризации.
- Понимание бинарных форматов хранения в Hadoop.
Условия и бенефиты
- Зарплата: 250 000 - 270 000 рублей на руки.
- Полная занятость, проектная работа.
- Удаленный формат работы.
- Оформление только как ИП.
Процесс найма
- Для отклика свяжитесь с представителем компании в Telegram.
Senior Data Engineer (ETL-миграция)
Компания: Top Selection
Сфера проекта: телеком
Мы ищем специалиста для участия в миграции ИС на Apache стек.
Задачи:
- Миграция ETL-системы телеком-оператора с Oracle/Informatica на Apache стек (S3, Airflow, NiFi, Kafka, Greenplum).
- Перенос бизнес-логики из Informatica в высокопроизводительный SQL-код.
- Написание и оптимизация SQL для витрин данных и ETL-процессов.
- Разработка DAG-ов в Airflow.
- Настройка пайплайнов в NiFi (источники: Oracle, PostgreSQL; приемники: S3, файловые архивы).
- Разработка Spark-джобов (PySpark) для больших объемов.
- Интеграция с Kafka для потоковой передачи.
- Настройка мониторинга (Grafana/Prometheus) и отслеживание метрик.
- Разбор инцидентов по качеству данных и ошибкам загрузки.
- Code review.
Требования:
- Опыт миграции ETL-систем (желательно с Oracle/Informatica на Apache стек).
- Глубокий SQL: оконные функции, сложные джойны, иерархические запросы.
- Оптимизация SQL для highload (партиционирование, индексы, explain plans).
- Oracle (PL/SQL) и PostgreSQL.
- Greenplum и/или Clickhouse.
- Проектирование архитектур на Apache Spark (PySpark), NiFi, Airflow.
- Hadoop (HDFS) и Hive.
- Мониторинг ETL: Grafana/Prometheus или Victoria Metrics.
- Опыт работы с биллинговыми системами (желательно телеком-домен).
Будет преимуществом:
- Потоковая обработка: Kafka Streams / Spark Streaming.
- Informatica PowerCenter.
- Бинарные форматы хранения в Hadoop.
- Различия: Hive vs Impala, Greenplum vs PostgreSQL, Clickhouse vs PostgreSQL.
- Patroni для кластеризации PostgreSQL/Greenplum.
- S3-хранилища.
- КриптоПро или защищенные каналы передачи данных.
Оригинальная вакансия:
https://t.me/workayte/4385