Python разработчик системы A/B-экспериментов

Почти все продуктовые изменения в hh.ru проходят через строгую систему экспериментов: ни одно не выходит на пользователей, если оно просто кажется нам классным. Эксперименты проводятся через нашу внутреннюю систему А/Б-тестов, где разработчики, аналитики и дизайнеры определяют выборку среди пользователей, добавляют метрики и смотрят на результаты.

Наша главная задача – улучшение сервиса с помощью контролируемых экспериментов, и с каждым днем их становится всё больше: в этом году больше 30 команд провели 550+ экспериментов. В связи со стремительным ростом количества экспериментов требования к платформе А/Б-тестов также возросли, и мы ищем специалиста, который сделает её проще, удобнее и стабильнее.

Чем предстоит заниматься:

• На первых порах – рефакторингом системы, чтобы добавлять новые метрики, тесты и типы экспериментов стало легко и удобно

• Развитием внутреннего фреймворка и оптимизацией расчетов

• Добавлением новых функций, связанных с проверкой качества продуктовых метрик

• Интерактивной визуализацией данных — у нас есть список желанных графиков, которые помогли бы принимать решения лучше

• Сделать так, чтобы любой аналитик мог добавить новый вид статистического теста в систему. Некоторые тесты требуют разного подхода к агрегации данных для последующего быстрого расчета — надо будет помочь аналитикам оптимизировать эти расчёты.

• UX оптимизацией системы в целом — сделать так, чтобы каждому, кто связан с продуктом, было приятно и понятно работать с abt-системой

Кандидат мечты:

• Знает Python, Flask и SQL (Presto, Postgres), а также умеет разбирать и улучшать чужой код

• Умеет в фронтенд фреймворки (стандарт в компании — React). Опыт внедрения JS визуализаций (d3, plotly, vega) будет особенно полезен (сейчас у нас Jinja темплейты для графиков в plotly и таблиц Datatable)

• Имеет представление о том, что такое А/Б-тесты и для чего они нужны. Не обязательно знать формулы из математической статистики, но важно быть знакомым с процессом проверки продуктовых гипотез через А/Б-тест.

• Обладает опытом рефакторинга существующей кодовой базы. 30% времени разработчика мы выделяем на возврат технического долга

• Будет полезен опыт работы в команде с аналитиками, поскольку многие задачи требуют совместной работы и погружения в контекст, связанный с математической статистикой.

Что мы предлагаем:

• ​​​Возможность выбора места работы: удаленно или из офиса
• Гибкий график рабочего дня
• Оформление в соответствии с ТК РФ, «белая» заработная плата в установленные даты
• Корпоративное ДМС после завершения испытательного срока. Решаем вопросы со здоровьем быстро и удобно
• Возможность профессионального развития, обучение за счет компании, участие в специализированных конференциях

Откликнуться

​