QA Engineer ИИ-решений

Компания Kokoc Tech ищет Middle QA Engineer для долгосрочного проекта по тестированию решений на базе ИИ. Работа удаленная по РФ или в офисе в Москве/Саранске, занятость проектная, фултайм. Оплата до 1400 руб./час гросс.

Компания: Kokoc Tech

Формат: hybrid

Уровень ЗП: До 1400р в час гросс

Занятость: full-time

🖥 Формат

Удалённая по РФ; Москва, Саранск

🕹 Работодатель

Kokoc Tech — IT-компания, привлекающая специалиста для поддержки AI-команды (RnD AI Team), которая реализует портфель ИИ-инициатив для бизнес-подразделений компании на внутренней платформе Dify.

🕹 Список обязанностей:

• Подготовка тест-кейсов на основании требований и критериев приемки инициатив
• Функциональное и интеграционное тестирование ИИ-агентов, workflow на платформе Dify, API-интеграций со внутренними системами
• Проверка позитивных, негативных и пограничных сценариев, включая нетипичные запросы пользователей и «галлюцинации» модели
• Регрессионное тестирование после изменений промптов, моделей, базы знаний (RAG) и интеграций
• Проверка соответствия результата согласованным требованиям и метрикам качества
• Формирование и поддержание тестовых выборок (golden set) совместно с бизнесом и ML-командой, участие в оценке качества ответов
• Фиксация дефектов, контроль их устранения, отчётность по качеству релизов
• Проведение приемочного тестирования перед выпуском в production и участие в приемке с бизнесом

🕹 Требования к кандидату:

• Опыт работы от 3 лет в тестировании ПО
• От 1 года тестирования продуктов на основе ML/LLM или тестирования API и интеграций backend-сервисов
• Понимание специфики недетерминированных ответов модели
• Не менее 2 проектов тестирования интеграционных / API-решений или ИИ-продуктов с выводом в промышленную эксплуатацию
• Опыт построения регрессионных наборов и тестовых выборок
• Желательно: опыт в e-commerce, ритейл, B2B-дистрибуция, клиентский сервис
• Тест-дизайн, тестовая документация, работа с баг-трекером
• Тестирование REST API (Postman или аналоги), чтение JSON, логов
• SQL на уровне выборок для проверки данных
• Python на базовом уровне для скриптов проверки и подготовки тестовых данных
• Понимание принципов работы LLM, RAG, промптов и метрик качества ИИ (точность, полнота, оценка ответов по критериям)
• Желательно: опыт работы с платформами оркестрации LLM (Dify, LangChain и т.п.)
• Желательно: автоматизация тестирования API (pytest, requests) и LLM-eval инструменты (RAGAS, DeepEval, promptfoo или аналоги)
• Желательно: опыт разметки и оценки ответов модели (LLM-as-a-judge, ручная оценка по рубрикам)
• Желательно: CI/CD, Git на базовом уровне
• Системы учета задач и документации: Jira / Yandex Tracker, Confluence / Yandex Wiki, Git, реестр ИИ-инициатив в Google Sheets

🕹 Примерный уровень ЗП:

До 1400р в час гросс

🕹 Условия работы:

• Занятость: фултайм
• Тип контракта: ГПХ, ИП

🕹 Контакты:

@KM_Alexander_Uvarov