Аналитика аналитики

Меня зовут Андрей Телятник, я занимаюсь аналитикой технической платформы и аналитической платформы.

В Авито есть централизованная техническая платформа, которой пользуются все наши инженеры для разработки, выкатки, тестирования и мониторинга своих продуктов. Есть и платформа для аналитиков: в основном это DWH, АБ, и BI, но не только.

Масштаб

Техплатформа очень большая — тысячи серверов, тысячи разработчиков, данных очень много и есть простор для аналитика.

Аналитическая платформа тоже очень большая. В итоге, аналитиков в Авито настолько много, что понадобилась аналитика для развития продуктов для аналитиков. Но мы пока ещё недостаточно большие, чтобы появились аналитики, анализирующие нас 😅.

В чем сложность

Мы рассматриваем внутренние инструменты для инженеров и аналитиков как продукты, со своими фичами, продуктовыми метриками и стратегией развития. Это довольно нестандартные направления для аналитики, потому что:

— обычно нельзя провести A/B-тесты;

— сложно определить метрику, которую прокачивают команды;

— во многих командах нет продакт-менеджеров: это инженеры, делающие продукты для инженеров, поэтому такую роль часто делят техлид с аналитиком;

— инженерная область очень сложная, начиная с аппаратной инфраструктуры до верхнеуровневых архитектурных решений.

Если нет АБ, это не значит что математика не нужна - наоборот, приходится использовать более сложные подходы, например Propensity score matching (PSM). Отсутствие продакт-менеджеров заставляет аналитиков развиваться в эту область тоже. А дизайн метрик заслуживает отдельного рассказа.

Дизайн метрик

Аналитика начинается с метрик, и по внутренним продуктам мы начинаем со стандартных DAU/MAU, покрытие целевой аудитории - в общем метрик adoption инструмента. Более глубокие метрики — успешность задач и сценариев, которые выполняют аналитики/разработчики (доля успешных сценариев, затраты времени и потери на неуспешные сценарии, распределение затрат времени по категориям задач).

Следующие метрики — уже бизнесовые, и показывают результативность применения инструментов, например:

• Полная стоимость одного релиза и cycle time на разработку.

• Резерв по серверам и прогноз времени, когда исчерпаются ресурсы инфраструктуры.

• Время детекции и починки инцидентов.

• Метрики стабильности микросервисов: доля успешных запросов от общего числа пользовательских запросов.

• Сycle time разработки при использовании genAI, а также распространение T-shape разработки, когда один иженер при помощи genAI может сделать как mobile/frontend часть, так и backend.

• Метрика, отражающая успешность пользовательских CJM на сайте Авито - по падению этой метрики можно детектировать инциденты.

Дизайн таких метрик — сложная задача с множеством особенностей и без каких-то стандартных решений.

Заключение

Аналитика платформ это не легче и не сложнее продуктовой, а скорее интересное место для тех, кто хочет попробовать себя в нестандартных задачах. Для тех, кто фанатеет от разработки, шарит в железе, инфраструктуре dwh и внутрянке BI продуктов.