Data Engineer (Flink)
Технологии
Описание вакансии
Кратко о роли
X5 Tech ищет Data Engineer для работы с потоковыми данными на базе Apache Flink. Вам предстоит разрабатывать архитектуру потоков данных и создавать Java-приложения для Big Data.
Ключевые задачи
- Разработка шаблонов потоков данных на основе Flink DataStream.
- Реализация архитектуры потоков данных.
- Написание и доработка Java-приложений для Big Data.
Обязательные требования
- Опыт работы от 3 до 6 лет.
- Глубокое знание Java Core (ООП, многопоточность).
- Опыт разработки микросервисов на Spring Boot.
- Практический опыт работы с Apache Flink (DataStream API, state management).
- Опыт работы с ETL/ELT процессами, Airflow или Temporal.
- Знание PostgreSQL, ClickHouse и форматов данных Iceberg/Paimon.
- Навыки работы с CI/CD и Docker.
- Опыт программирования на Python.
Будет плюсом
- Знание Spark, Dask, pandas.
- Опыт работы с Kubernetes.
- Увлеченность новыми технологиями и методами разработки.
- Понимание агентных систем.
Условия и бенефиты
- Полная занятость, график 5/2.
- Гибкий формат работы: удаленно, гибрид или офис.
Процесс найма
- Для отклика отправьте резюме на указанный email.
X5 Tech ищет Data Engineer (Flink).
Чем предстоит заниматься:
- Разработка шаблонов потоков данных на основе Flink DataStream.
- Реализация архитектуры потоков данных.
- Написание и доработка Java приложений для Big Data.
Наши пожелания к кандидатам:
- Java Core: Глубокое понимание Java Core, включая ООП, многопоточность, коллекции, исключения и generics.
- Spring Boot: Опыт разработки микросервисов и REST API с Spring Boot, включая Spring Data, Security, Actuator и AOP.
- Apache Flink: Опыт работы с Apache Flink для потоковой обработки, включая DataStream API, state management, checkpoints и Flink CDC.
- Дата-инженерия: Работа с ETL/ELT, потоковыми и batch-процессами; инструменты вроде Airflow и Temporal.
- Проектирование фреймворков: Понимание принципов проектирования фреймворков и библиотек — код 'для других разработчиков'.
- Большие данные: Знание принципов работы с большими данными (Spark, Dask, pandas на больших датасетах — плюс).
- Базы данных: Опыт работы с PostgreSQL, ClickHouse; знание форматов данных Iceberg и Paimon.
- CI/CD и DevOps: Навыки работы с CI/CD, контейнеризацией (Docker), оркестрацией (Kubernetes — плюс).
- Качество кода: Умение писать тесты (unit, integration), следить за качеством кода и его поддерживаемостью.
- Опыт программирования на Python: скрипты, микросервисы, приложения.
Будет плюсом:
- Увлеченность разработкой: Активный интерес к новым технологиям и методам разработки.
- Хороший кругозор: Знание и понимание различных аспектов разработки, включая агентный.
- Практический опыт: Доказанный опыт практической реализации проектов, особенно в области баз данных и автоматизации.
Оригинальная вакансия:
https://t.me/datascienceml_jobs/1919