Data Engineer в команду CDP
Технологии
Описание вакансии
Кратко о роли
2ГИС ищет Data Engineer в команду CDP для работы над внутренней платформой данных. Предстоит проектировать архитектуру, улучшать batch-пайплайны и создавать realtime-решения для обработки миллиардов событий.
Ключевые задачи
- Улучшение batch-пайплайнов ежедневных признаков.
- Создание realtime-пайплайнов на базе Kafka.
- Проектирование архитектуры обработки миллиардов событий.
- Влияние на формирование стека платформы.
Обязательные требования
- Опыт работы с highload-системами.
- Опыт проектирования архитектуры данных или платформенного кода.
- Опыт работы с Kafka, ClickHouse или аналогичными системами потоковой обработки.
- Понимание Spark и умение работать с ним.
- Уверенное владение Python или Scala.
Будет плюсом
- Опыт работы с Airflow и SQL.
- Знание инструментов Data Quality, Data Contracts, Data Lineage и Data Catalog.
- Знание S3.
- Опыт в задачах персонализации, сегментации или real-time аналитики.
Условия и бенефиты
- Удаленный формат работы.
- Полный рабочий день.
- Возможность влиять на архитектуру платформы.
Процесс найма
- Для отклика перейдите по ссылке на сайт карьеры компании.
2ГИС развивает внутреннюю Customer Data Platform. Она объединяет данные из разных источников, строит пользовательские профили и помогает персонализировать продукт. Предстоит улучшать batch-пайплайны ежедневных признаков, создавать realtime-пайплайн на Kafka и проектировать обработку миллиардов событий.
Требования:
— опыт highload-систем и проектирования архитектуры данных или платформенного кода;
— опыт Kafka, ClickHouse либо других систем потоковой и аналитической обработки;
— понимание Spark и умение с ним работать;
— хорошее владение языком программирования, например Python или Scala.
Плюсом будут Airflow, SQL, Data Quality и Data Contracts, Data Lineage и Data Catalog, знание S3 и опыт персонализации, сегментации или real-time аналитики.
Стек платформы ещё формируется, можно влиять на архитектуру.
Оригинальная вакансия:
https://t.me/datajob/2821