Data-engineer
Технологии
Описание вакансии
Кратко о роли
Аккредитованная ИТ-компания «Системы и Алгоритмы» ищет опытного Data Engineer для работы над масштабным проектом цифровой трансформации. Вам предстоит проектировать архитектуру хранилищ, настраивать потоки данных и внедрять современные инструменты обработки.
Ключевые задачи
- Планирование и внедрение инструментов хранения и обработки данных.
- Проектирование целевой архитектуры хранилищ и анализ потоков данных.
- Разработка и поддержка пайплайнов обработки данных.
- Написание DAG, кастомных операторов и интеграций на Python.
- Обеспечение качества данных и оптимизация производительности систем.
- Документирование технических решений в Confluence.
Обязательные требования
- Опыт работы Data Engineer от 4 лет.
- Уверенное владение Python (скрипты, модули, асинхронность).
- Опыт работы с Postgres, MSSQL, Apache Airflow, Kafka, Flink.
- Знание архитектуры Lakehouse (Apache Iceberg, S3).
- Опыт реализации паттернов CDC.
- Навыки профилирования и оптимизации SQL-запросов и кластеров.
- Английский язык на уровне чтения технической документации.
- Гражданство РФ.
Будет плюсом
- Опыт работы с Timeseries БД (InfluxDB, TimescaleDB).
- Опыт эксплуатации кластеров (Hadoop, YARN, Kubernetes).
- Продвинутое знание SQL (window functions, CTE).
- Опыт работы с CI/CD для data-пайплайнов.
- Понимание DDD и event-driven архитектуры.
- Опыт работы с Apache NiFi.
Условия и бенефиты
- Зарплата: 270 000 - 295 000 руб. gross.
- Формат работы: удаленно по РФ.
- Полная занятость.
- Работа в аккредитованной ИТ-компании.
- Участие в масштабном проекте цифровой трансформации.
- Доступ к команде зрелых разработчиков (Team Lead, PO, PM).
Процесс найма
- Для отклика свяжитесь с представителем компании через указанные контакты.
Аккредитованная ИТ-компания «Системы и Алгоритмы» ищет Data Engineer.
Роль предполагает участие в масштабном проекте цифровой трансформации, влияющем на ключевые производственные процессы. Вы сможете увидеть результаты своей работы на реальном производстве.
Задачи:
- Планирование и проведение внедрения инструментов хранения и обработки данных.
- Проектирование целевой архитектуры хранилищ, анализ потоков данных.
- Разработка пайплайнов, обеспечение качества данных.
- Написание DAG, кастомных операторов и интеграций на Python.
- Оптимизация SQL-запросов и настройка ресурсов кластеров.
Требования:
- Опыт работы Data Engineer от 4 лет.
- Стек: Postgres, MSSQL, Trino, StarRocks, Cassandra, Redis.
- Data Flow: Apache Airflow (DAG, кастомные операторы), Kafka (producer/consumer), Flink (стриминг, чекпоинты).
- Data Lake: Apache Iceberg, S3, Lakekeeper.
- Опыт реализации CDC паттернов.
- Глубокие знания архитектуры БД (нормализация, проектирование моделей).
- Уверенное владение Python.
- Опыт работы с Jira и Confluence.
- Английский язык: чтение и написание технической документации.
- Гражданство РФ.
Будет плюсом:
- Опыт с Timeseries БД (InfluxDB, TimescaleDB, TDengine).
- Опыт эксплуатации кластеров (Hadoop, YARN, Kubernetes).
- Продвинутый SQL, CI/CD, DDD, event-driven архитектура, Apache NiFi.
Условия:
- Зарплата: 270 000 - 295 000 руб. gross.
- Формат: удаленно по РФ.
- Занятость: full-time.
Оригинальная вакансия:
https://t.me/datasciencejobs/3405