QA Engineer AI

Компания: Aspirity Solution

Локация: Вашингтон

Формат работы: Удаленно

Зарплата: от 20 USD/час

Тестировать и оценивать работу AI-агентов (диалоговые и когнитивные системы).
Разрабатывать и проводить eval-тесты для проверки корректности, устойчивости и стабильности поведения агентов.
Подготавливать тест-кейсы и сценарии функционального и нефункционального тестирования.
Анализировать поведение агентов при нестандартных входных данных, выявлять логические ошибки и проблемы в промптах.
Плотно взаимодействовать с разработчиками и prompt-инженерами для улучшения моделей и тестовых пайплайнов.
Поддерживать и развивать автоматизацию тестирования и QA-процессы внутри AI-команды.
Вести техническую документацию и описывать best practices.

Опыт работы в QA (manual или automation) от 2 лет.
Практический опыт тестирования AI-агентов или чат-ботов.
Понимание принципов работы AI-агентов, LLM-систем и prompt-инженерии.
Опыт работы с eval-инструментами (OpenAI Evals, DeepEval, LangChain Evals или аналогами).
Опыт автоматизированного тестирования (желательно — для AI-агентов).
Уверенное владение Python на уровне написания тестов и утилитарных скриптов.
Навыки работы с Git и системами отслеживания ошибок.
Английский язык от B2 для работы в международной команде.
Проживание вне РФ и РБ.
Готовность работать в PT-часовом поясе: с 7:00 до 16:00 PT (Время Америки, Вашингтон).

Опыт работы с LangChain, vapi, Synthflow или другими инструментами создания AI-агентов.
Опыт анализа выходов LLM по метрикам качества: accuracy, coherence, relevance.
Понимание CI/CD-процессов и базовых инструментов мониторига.
Участие в построении тестовой архитектуры для AI-систем.

Откликнуться: @hr_aspirity

Report Page