QA-инженер AI-агента (тестирование и разметка данных)
Технологии
Описание вакансии
Кратко о роли
Компания «Альвента» ищет QA-инженера для тестирования и разметки данных AI-агента. Вам предстоит работать со сценариями звонков, анализировать логи и обучать модель.
Ключевые задачи
- Проектирование тестовых сценариев для AI-агента (звонки, продажи, консультации).
- Написание тест-кейсов, чек-листов и проведение регрессионного тестирования.
- Ручное тестирование сценариев и анализ ответов LLM на предмет галлюцинаций и ошибок.
- Классификация багов и анализ логов реальных звонков.
- Разметка датасетов и подготовка данных для дообучения модели.
- Разработка критериев оценки для автоматизированной проверки ответов (LLM-as-a-judge).
Обязательные требования
- Коммерческий опыт в тестировании от 2 лет.
- Владение техниками тест-дизайна (классы эквивалентности, диаграммы состояний и др.).
- Опыт работы с TMS (TestRail, Qase, Allure TestOps).
- Отличная грамотность в русском языке.
- Умение работать с таблицами и JSON.
- Внимательность и готовность к монотонной работе с данными.
Будет плюсом
- Опыт тестирования чат-ботов, голосовых ассистентов или LLM-продуктов.
- Опыт разметки данных (Label Studio, Толока).
- Базовые знания Python (скрипты, pytest).
- Понимание принципов работы LLM, промптов и дообучения (SFT, DPO).
- Опыт API-тестирования (Postman, Swagger).
- Интерес к медицине или опыт работы с клиниками.
Условия и бенефиты
- Зарплата от 80 000 до 120 000 рублей на руки.
- Полная занятость, график 5/2.
- Удаленный формат работы.
Процесс найма
- Для отклика отправьте резюме на указанный email.
Альвента ищет QA-инженера для тестирования и разметки данных AI-агента.
Задачи:
- Строить тестовую модель агента: сценарии звонков (запись, перенос, отмена, консультация, продажа услуги), состояния и переходы между ними, граничные и нестандартные случаи.
- Писать и поддерживать тест-кейсы и чек-листы, собирать регрессионные наборы.
- Прогонять сценарии: звонить агенту вручную и запускать текстовые прогоны. Проверять перебивания, уход от темы, неполные ответы, шум, фамилии, телефоны, даты и время.
- Учитывать недетерминированность LLM: гонять кейс несколько раз, считать долю успешных прогонов, отделять стабильные баги от случайных.
- Заводить баги с чёткой классификацией: ошибка распознавания речи, неверный переход по сценарию, неправильно извлечённые данные, галлюцинация, грамматика, тон и стиль, синтез речи.
- Анализировать логи реальных звонков, находить повторяющиеся проблемы и превращать их в тест-кейсы.
- Размечать и исправлять датасеты под конкретные баги: интенты и поля, эталонные реплики агента, пары «хороший / плохой ответ» для дообучения.
- Писать критерии оценки и инструкции для автоматической проверки ответов через LLM (LLM-as-a-judge) и выборочно проверять её оценки.
- После каждого релиза или дообучения проверять, что старые баги закрыты и не появились новые.
Требования:
- Коммерческий опыт в тестировании от 2 лет.
- Уверенное владение техниками тест-дизайна: классы эквивалентности, граничные значения, таблицы решений, диаграммы состояний и переходов, pairwise.
- Умение писать понятные тест-кейсы, чек-листы и баг-репорты; опыт с TMS (TestRail, Qase, Allure TestOps или аналоги).
- Понимание процессов QA: регресс, смоук, приоритизация багов, тестовое покрытие.
- Отличная грамотность в русском языке: вы должны слышать ошибки в согласовании, неестественные обороты и «канцелярит» в речи.
- Внимательность и терпение к монотонной работе с большим объёмом диалогов и разметки.
- Уверенная работа с таблицами и JSON: умение читать структурированные логи и данные.
Будет плюсом:
- Опыт тестирования чат-ботов, голосовых ассистентов или других LLM-продуктов.
- Опыт разметки данных (Label Studio, Толока или аналоги) и понимание, зачем нужна согласованность разметки.
- Базовый Python: скрипты для обработки логов и датасетов, pytest.
- Понимание, как работают LLM, промпты и дообучение (SFT, DPO) — хотя бы на уровне идей.
- Опыт с API-тестированием (Postman, Swagger).
- Интерес к медицине или опыт работы с клиниками.
Условия:
- Зарплата: от 80 000 до 120 000 ₽ на руки.
- Полная занятость, график 5/2.
- Удалённый формат работы.
Оригинальная вакансия:
https://t.me/itjobs_nocode/3873