Бизнес-цели и ML-метрики

И так, любой проект по машинному обучения начинается с осмысления и понимания цели.

С технической точки зрения цель формируется как некоторое описание того, что модель получает на входе, что генерирует на выходе и какие есть критерии адекватности поведения модели.

С точки зрения бизнеса мы пытаемся достичь какой-то метрики, которая достоверно измерима и изменение которой можно достоверно подтвердить.

Понимание бизнес-контекста критически важно для правильного выбора и интерпретации ML-метрик.

Сложности согласования

Первый и один из самых важных этапов жизненного цикла является определение бизнесовой цели и ее связь с технической стороной проекта. Если ни ML команда, ни заказчик не могут понять, чего они хотят или чего хотят от них, то дальше разговаривать смысла не имеет, ибо каждый будет ожидать разного, а работа будет проделана в пустую.

Часто эти метрики просто несовместимы и нужно переводить с языка ML на язык бизнеса и наоборот, чтобы согласовать единое понимание того, над чем мы все-таки работаем.

Почему так происходит?

Разнородность метрик

Бизнес-метрики, такие как ROI (Return on Investment), LTV (Lifetime Value) и CAC (Customer Acquisition Cost), редко напрямую сопоставимы с ML-метриками, такими как точность (accuracy), полнота (recall) или AUC-ROC.

Сложность интерпретации

ML-метрики часто трудно интерпретировать в контексте конкретного бизнес-решения. Например, повышение точности классификатора не обязательно приведет к увеличению дохода.

Скорость реакции

В некоторых случаях, бизнес-показатели могут проявить изменения только после длительного времени, что делает сложным быстрое внедрение ML-решения.

Подходы к решению

Применение Proxy-метрик

Используйте промежуточные метрики, которые коррелируют с бизнес-целями. Например, если бизнес-цель — увеличение конверсии на веб-сайте, proxy-метрикой может быть "кликабельность" предложенных моделью товаров.

Многокритериальная оптимизация

В реальных бизнес-сценариях часто нужно учитывать сразу несколько метрик и многокритериальная оптимизация для одновременной минимизации/максимизации нескольких метрик помогает балансировать на этом поле.

Использование интерпретируемых моделей

Если возможно, выбирайте модели, которые легче интерпретировать и объяснить стейкхолдерам.

Проведение A/B тестов

Сравнивайте различные модели и их влияние на бизнес-метрики всегда, когда есть для этого возможность. Иногда лучше сделать 3-5 вариантов MVP и протестировать, чем год упарываться в проект с одной моделью, которая по ML-метрикам будет ОК, а влияние на бизнес будет ровным счетом нулевое.

Пример из жизни

Допустим, ваша задача — рекомендация товаров в интернет-магазине. Бизнес-цель — увеличение среднего чека. В этом случае, одной из ключевых ML-метрик может стать "выручка на одного пользователя" (Revenue Per User, RPU), которая напрямую связана со средним чеком.

Чтобы увеличить RPU, можно оптимизировать модель так, чтобы она рекомендовала не просто релевантные, но и более дорогие товары, которые пользователь с высокой вероятностью купит. В таком случае RPU становится хорошим примером промежуточной метрики, которая коррелирует с бизнес-целью и на которую мы влияем с помощью мультикритерия (релевантность, стоимость товара)