QA Engineer

Название: QA Engineer (AI Agents)

Локация: вне РФ

Мы — Aspirity Solution, студия разработки, более 10 лет создающая веб- и мобильные приложения, no-code решения и интеллектуальных AI-агентов для клиентов по всему миру.

Ищем внимательного и системного QA-инженера, который будет отвечать за качество и стабильность AI-агентов.

Обязанности

• Тестирование и оценка работы AI-агентов (диалоговые и когнитивные системы).

• Разработка и проведение eval-тестов для анализа корректности, устойчивости и предсказуемости поведения агентов.

• Подготовка тест-кейсов и сценариев функционального и нефункционального тестирования.

• Анализ поведения агентов при нестандартных входных данных, выявление логических ошибок и погрешностей в промптах.

• Взаимодействие с разработчиками и prompt-инженерами для улучшения моделей и тестовых пайплайнов.

• Поддержка автоматизации тестирования и развитие QA-процессов внутри AI-команды.

• Ведение технической документации.

Требования

• Опыт работы в QA (manual или automation) от 2 лет.

• Опыт тестирования AI-агентов или чат-ботов.

• Понимание принципов работы AI-агентов, LLM-систем и prompt-инженерии.

• Опыт работы с eval-инструментами (OpenAI Evals, DeepEval, LangChain Evals или аналогами).

• Опыт автоматизированного тестирования агентов (желательно).

• Владение Python на уровне написания тестов и утилитарных скриптов.

• Навыки работы с Git и системами отслеживания ошибок.

• Английский не ниже B2 для коммуникации в международной команде.

• Кандидат должен находиться вне РФ.

• Обязательная доступность в PT-часовом поясе: присутствие онлайн с 7:00 PT до 16:00 PT.

Будет плюсом

• Опыт работы с LangChain, vapi, Synthflow или другими инструментариями создания AI-агентов.

• Опыт анализа выходов LLM по метрикам качества (accuracy, coherence, relevance).

• Понимание CI/CD-процессов и базовых инструментов мониторинга.

• Опыт участия в построении тестовой архитектуры для AI-систем.

Мы предлагаем

• Удалённый формат работы.

• Работа в команде разработчиков, ML-инженеров и AI-специалистов.

• Возможность развиваться в QA-направлении для систем с LLM и AI-агентами.

• Оплата по квалификации: от 20 USD/час.

Контакты