Senior Аналитик эффективности ML
Технологии
Описание вакансии
Кратко о роли
Т-Банк ищет Senior аналитика эффективности ML для работы над продуктами в сфере шопинга. Вы станете главным заказчиком ML-команды, отвечая за то, чтобы внедряемые модели улучшали путь клиента и экономику продукта.
Ключевые задачи
- Формулировать задачи для ML-команды на языке продукта и определять метрики успеха.
- Развивать систему A/B-тестирования для проверки доработок моделей в СуперАппе.
- Настраивать мониторинг моделей на проде: отслеживать качество выдачи, деградацию и расхождения.
- Проводить глубокий анализ причин просадок метрик (данные, фичи, сезонность, конфликты моделей).
- Управлять бэклогом ML-задач, расставляя приоритеты на основе влияния на деньги и CJM.
- Фиксировать эффект от раскатки моделей в общей картине распределения показов.
Обязательные требования
- Опыт продуктовой аналитики от 4 лет.
- Опыт работы с аналитикой ML от 2 лет (ранжирование, рекомендации, таргетинг).
- Навыки постановки задач, определения метрик успеха и принятия решений о релизах.
- Практический опыт проведения A/B-тестов на проде.
- Уверенное владение SQL и Python для проверки витрин и мониторинга.
- Понимание связи офлайн-метрик моделей с продуктовыми показателями (CTR, конверсия, доходность).
Будет плюсом
- Опыт работы в суперапах или маркетплейсах.
- Опыт построения контуров мониторинга и алертинга.
- Умение критически оценивать необходимость внедрения ML-моделей в сравнении с простыми правилами.
Условия и бенефиты
- Работа в крупном финтех-продукте.
- Возможность влиять на развитие ML-решений в СуперАппе.
- Задачи на стыке продуктовой аналитики и машинного обучения.
Процесс найма
- Для отклика свяжитесь с нанимающим менеджером в Telegram.
Т-Банк ищет сильного аналитика, который отвечает за пользу ML в продукте. Аналитик здесь главный заказчик ML-команды: ставит, какую задачу модель решает для трафика и CJM, и отвечает за то, что раскатанная модель улучшает путь клиента и экономику продукта.
Задачи:
- Формулировать заказ для ML на языке продукта: какой показ, экран или шаг CJM модель должна улучшить и какая метрика это докажет;
- Развивать систему A/B-тестирования доработок моделей в разных модулях СуперАппа;
- Развивать мониторинг моделей на проде: качество выдачи, доля трафика под моделью, сдвиг микса показов, деградация по сегментам и расхождение офлайна с продом;
- Разбирать просадку до причины: данные, фичи, смена трафика, конфликт двух моделей на одном экране, сезонность;
- Вести очередь задач в ML: что даёт деньги и путь клиента, что остаётся исследованием, что пора выключать;
- Фиксировать эффект каждой раскатки в общей картине распределения показов, чтобы модель не улучшала один плейсмент за счёт соседнего сценария без явного решения.
Требования:
- Опыт продуктовой аналитики от 4 лет, опыт с аналитикой ML от 2 лет: ранжирование, рекомендации, таргетинг или распределение трафика;
- Умение быть заказчиком: понятная постановка, метрика успеха и решение «катим / не катим» без передачи этой ответственности в команду модели;
- Практика A/B-тестов на проде: дизайн, мощность, пересечения, новизна, долговременный эффект;
- SQL и Python, достаточные чтобы самому проверить витрину модели и дашборд мониторинга;
- Понимание, где офлайн-метрика модели заканчивается и начинается продуктовая: CTR, конверсия шага CJM, доходность показа.
Будет плюсом:
- Опыт в суперапе или маркетплейсе, где несколько моделей делят одни и те же показы;
- Построение контура мониторинга: алерты на деградацию, срезы по экранам и сегментам, регулярный разбор с ML;
- Умение сравнивать модель с простым правилом и оставлять правило, если оно даёт тот же эффект на CJM.
Как выглядит сильный результат через полгода:
- У ML есть короткий список задач от продукта, и каждая раскатка проходит через один и тот же контур теста. По боевым моделям видно, живы ли они и какой эффект держат на пути клиента и на деньгах показов.
Оригинальная вакансия:
https://t.me/Analysts_Jobs/3380