Data инженер
Технологии
Описание вакансии
Кратко о роли
Компания Action tech ищет Data инженера для развития инфраструктуры данных на базе Hadoop и GreenPlum. Вам предстоит заниматься масштабированием ETL-процессов, оптимизацией запросов и обеспечением качества данных.
Ключевые задачи
- Разработка и доработка ETL-процессов в Airflow.
- Подключение новых источников данных.
- Создание и доработка витрин данных.
- Оптимизация SQL-запросов в GreenPlum и PostgreSQL.
- Работа с большими объемами данных.
- Развитие процессов контроля качества данных.
Обязательные требования
- Опыт работы с данными от 1 года.
- Отличное знание SQL (JOIN, оконные функции, процедуры).
- Умение профилировать и оптимизировать запросы.
- Понимание архитектуры DWH (ODS, DDS, DM).
- Практический опыт работы с Airflow и ETL.
- Базовое знание Python.
- Знание Linux и опыт работы с Git.
- Опыт работы с большими данными (>100 GB).
Будет плюсом
- Опыт работы с DataHub.
- Понимание принципов работы Docker.
- Лидерские качества и самостоятельность.
Условия и бенефиты
- Полная занятость.
- Удаленный формат работы.
Процесс найма
- Для отклика отправьте резюме на указанный email.
Action tech ищет Data инженера.
На текущий момент мы подготовили инфраструктуру на базе Hadoop и GreenPlum для загрузки, обработки и построения витрин данных. Описали и загрузили данные нескольких продуктов холдинга и приступили к описанию и загрузке следующих. Дальше планируем развивать и масштабировать инфраструктуру, запускать потоковое получение данных, увеличивать количество подключенных источников, развивать ETL и Reverse ETL, работать с качеством данных и развивать Data Catalog и Data Lineage.
Задачи:
- Разрабатывать и дорабатывать ETL-процессы в Airflow.
- Подключать новые источники данных.
- Создавать и дорабатывать витрины.
- Оптимизировать SQL-запросы в GreenPlum и PostgreSQL.
- Работать с большими объемами данных.
- Развивать процессы контроля качества данных.
Требования:
- Самостоятельный, убедительный, амбициозный, с лидерскими качествами (или умением сделать так, чтобы управлять не приходилось), стремящийся к построению качественных процессов.
- От 1 года опыта работы с данными.
- Отличное знание SQL: JOIN, оконные функции, процедуры.
- Умение профилировать и оптимизировать запросы, понимать план выполнения.
- Понимание принципов работы реляционных БД и архитектуры DWH: ODS, DDS, DM.
- Практический опыт работы с Airflow и ETL-процессами.
- Python на базовом уровне.
- Знание Linux и умение работать с командной строкой.
- Опыт работы с Git.
- Понимание принципов работы Docker.
- Опыт работы с большими данными (>100 GB).
- Опыт работы с DataHub.
Оригинальная вакансия:
https://t.me/job_python/8089