QA ML/LLM
Компания: Цифровые привычки
Локация: Москва
Формат работы: Первые 3 месяца офис, далее гибрид (Офис в МСК)
Зарплата: от 200 тр до 250 тр
Проект Сбера
Трудоустройство: ИП или ГПХ
Требования
- Опыт QA от 3 лет, из них опыт тестирования ML/LLM-систем
- Уверенный SQL (у нас GreenPlum) — умение читать и проверять чужие запросы, находить логические ошибки
- Python для автоматизации тестов и обработки результатов
- Понимание специфики LLM: недетерминированность, галлюцинации, чувствительность к промптам
Будет плюсом:
- Опыт работы с фреймворками оценки LLM (Ragas, DeepEval) или построения своих
- Опыт с LangChain/LangGraph
- Знание банковской предметной области, финансовой отчётности (P&L)
- Опыт тестирования data-продуктов: витрины, ETL, качество данных
Чем предстоит заниматься
- Выстроить систему оценки качества ответов LLM-агентов (SQL-агент, агент анализа, агент визуализации): метрики, критерии, процесс
- Развивать и сопровождать тестовые корзины для регрессионного тестирования: эталонные вопросы, ожидаемые SQL-запросы и ответы
- Автоматизировать прогон тестов и оценку по бинарным критериям (валидность JSON, исполнимость SQL, отсутствие галлюцинаций, корректность ролевого доступа, консистентность ответов), в том числе через LLM Judge
- Проводить сравнительное тестирование моделей и версий промптов, готовить отчёты для принятия решений
- Тестировать релизы перед выводом в пром, выявлять расхождения поведения между тестовым и промышленным контурами
- Анализировать инциденты качества в проме, локализовывать причины (промпт / модель / данные / код)
Откликнуться: @ithrevgenya
