Кейс hh c Матемаркетинга 07.11.2024
Victoria PНа конференции 07.11.2024 Матемаркетинг рассказывали кейс hh. #заметки
Всегда интересно посмотреть, что происходит внутри платформы, которой пользуются миллионы, это как заглянуть «за сцену» концерта.
Кейс про появившиеся вдруг плохие отзывы после наката обновлений, которые успешно прошли А/В тест. Негатив был связан с тем, что кандидатам с резюме специалистов стали показывать вакансии курьеров и водителей. Или, например, показывали стоматологу вакансию фронт-разработчика из-за того, что в ее описании есть расширенная ДМС со стоматологией.
Ребята начали разбираться и оказалась интересная штука, что на вакансии курьеров откликаются кандидаты с резюме далеко не только курьеров, а точнее:
• 13,7% водители
• 13,0% курьеры
• 7,9% менеджеры по продажам и менеджеры по работе с клиентами
• 4,1 администраторы
• по 2,3% менеджеры по работе с партнерами и продавцы-консультанты
и т.п.
Вот на таком датасете модель и научилась :)
А дальше рассказывали как решали эту проблему.
1. В моменте эту проблему фиксанули через эвристический фильтр вакансий (фильтр по специализациям). Если совсем грубо (это моя трактовка), то скрыли вакансии курьеров от всех кандидатов не курьеров. Но это только временное решение, т.к. сильно ограничивает возможности для тех, кто ищет работу не по специальности
2. Для решения проблемы ребята придумали для себя новую метрику Stupid detector, которая должна определять является ли показ вакансии в ленте источником негатива.
Версия 1 реализации – это разметка специальностей. Их порядка 250 штук, а, значит, >60000 парных комбинаций. Сделали разметку своими силами – собрали пары, проранжировали по вероятности быть «проблемной парой». Таким образом определили порядка 1200 таких самых проблемных пар и добавили их в модель.
Но у этого решения все равно есть ограничения:
• Невозможно учесть специализацию «Другое»
• В каждой паре специализаций существуют контрпримеры
• Учитываются только самые распространенные случаи
• Набор специализаций может меняться
• Люди могут указывать неверные специализации
•В резюме можно указать до 3-х специализаций
3. Версия 2 – фильтр по названиям резюме и вакансий. Так получается более сложная, но более точная модель.