Дата-инженер

#jobs #Almaty 📍Формат/working arrangement: на месте работодателя, офис в Алматы ✔️Должность/position: Дата-инженер, middle+ 🏢 Место работы/workplace: АО «Страховая компания «Казахмыс» 💸 Заработная плата/salary estimate: до 1.000.000 ₸ в месяц, на руки 📈 Обязанности/responsibilities: — Отвечать за корпоративное хранилище данных компании. — Разобрать структуру хранения исторической базы 1С объёмом около 1 ТБ. — Восстановить связи между сущностями исторической базы 1С. — Анализировать соответствие метаданных 1С физическим таблицам. — Работать с составными ссылочными типами и автоматическим построением словаря. — Разрабатывать и поддерживать DAG в Airflow для загрузки данных из 1С, СЭД, Битрикс24 и внутренних сервисов. — Развивать слои хранилища в PostgreSQL и аналитические витрины в ClickHouse. — Реализовывать историчность данных: версии, интервалы действия и восстановление состояния на определённую дату. — Обеспечивать качество данных с помощью проверок внутри пайплайнов и мониторинга. — Реагировать на сбои и обеспечивать стабильность data-платформы. — Разрабатывать витрины для ИИ-направления, включая поисковый слой. — Принимать ответственность за платформу данных целиком. 📌 Требования/requirements: — Опыт работы от 5 лет. — Продакшен-опыт работы с Airflow. — Понимание идемпотентности, повторных запусков, зависимостей и обработки сбоев в Airflow. — Сильное знание SQL и понимание принципов выполнения запросов. — Обязательный опыт работы с PostgreSQL. — Понимание ClickHouse, его отличий от PostgreSQL и сценариев применения. — Знание Python для трансформации данных. — Опыт моделирования хранилищ данных. — Понимание слоёв хранилища, историчности и медленно меняющихся измерений. — Готовность принимать ответственность за data-платформу целиком. 🌟 Будет плюсом: — Опыт работы с данными 1С. — Опыт работы с dbt или другими инструментами трансформации данных. — Опыт в финансовом секторе или страховании. — Опыт работы с регуляторной отчётностью. 🛠 Технический стек: — Python — SQL — PostgreSQL — ClickHouse — Airflow — 1С — Битрикс24 — dbt — Data Warehouse — ETL/ELT — Data Quality 🎯 Основные задачи проекта: — Развивать и поддерживать собственную корпоративную платформу данных. — Восстановить ссылочную структуру исторической базы 1С объёмом около 1 ТБ. — Обеспечить стабильную загрузку данных из корпоративных систем. — Развивать архитектуру хранилища на PostgreSQL и ClickHouse. — Обеспечивать историчность и качество данных. — Создавать аналитические витрины для бизнес-продуктов и ИИ-направления. — Обеспечивать надёжность и работоспособность платформы данных. — Влиять на архитектуру хранилища и развитие data-платформы. 🏢 О компании: — АО «Страховая компания «Казахмыс» — одна из лидирующих страховых компаний Казахстана. — Компания предоставляет услуги страхования и перестрахования. — По версии журнала «Forbes Kazakhstan» компания занимала первое место в рейтинге страховщиков Казахстана в 2022 и 2023 годах. — В компании используется собственная корпоративная платформа данных. — От хранилища зависят ключевые продукты компании, включая ОГПО, кабинет выплат, Битрикс24 и ИИ-направление. ✅ Условия/working conditions: — Полная занятость. — Оформление по трудовому договору. — Официальное оформление по ТД РК. — График 5/2. — Рабочий день с 09:00 до 18:00. — Рабочие часы: 8 часов. — Формат работы: на месте работодателя. — Заработная плата до 1.000.000 ₸ в месяц, на руки. — Отпуск 24 календарных дня. — Современный комфортный офис. — Добровольное медицинское страхование по программе «Стандарт». — Материальная помощь по личным событиям. — Welcome pack и Corporate pack. — Возмещение части стоимости абонемента в фитнес-клуб. — Возмещение стоимости стартового взноса и премия за участие в марафонах. — Премии за участие в корпоративных турнирах. 📍 Адрес: Алматы, проспект Аль-Фараби, 98, район Алмалы, Байконур, Жибек Жолы. 📢❗️🚨 Вакансия: https://hh.kz/vacancy/136458861?query=Data+engineer&hhtmFrom=vacancy_search_list