Китайская коррекция для theta CUPED, если вы считаете ее отдельно по группам
https://t.me/abba_testingВот сама поправка для дисперсии theta:
Вводная. Определения
Мы должны проговорить определения, чтоб нам было ясно:
- 𝛿3 - это разница CUPED средних, индекс "3" тут указывает на то, что мы считаем theta по каждой группе отдельно
- S^2 - дисперсия CUPED метрик с учетом теты
- индексы t, c - тестовая и контрольная группа
Также мы должны с вами обозначит два взаимоисключающих состояния для каждого объекта (=пользователь) тестирования:
T показывает, подвергся ли объект воздействию (попал в тест) или нет. Если:
- T=1, тo мы получим результат метрики Y, если бы пользователь оказался в тесте: Y = 1*Y^{t}+(1-1)Y^{c} = Y{t}
- T=0, тo мы получим результат метрики Y, если бы пользователь оказался в контроле: Y = 0*Y^{t}+(1-0)Y^{c} = Y^{c}
Идеально было иметь оба результата по пользователю, тогда легко можно было бы рассчитать средний эффект как есть:
но в силу невозможности этого, мы будем использовать оценщик, который реализуем в AB:
Раз мы используем CUPED, то нам надо переписать Y на Y_cuped, при этом theta будет рассчитана отдельно для теста и контроля:
Добавим эквивалентную запись сразу через среднее:
Также обозначим вероятности попасть в тест и контроль:
Теперь можно по шагам разобрать вывод коррекции, используя в 99% преобразованиях БАЗУ мат. стата
Вывод коррекции
Дисперсия дельты с несмещенной theta
Для начала обратим внимание, что у нас не дельта_3 с крышкой, а с волной. Волна именно тут потому, что мы сначала берем несмещенную theta по двум группам!
Перепишем тут матожидание (просто X c чертой) от предпериода, как если одну его часть мы рассчитали от пользователей контроля (на предпериоде!), а часть от пользователей теста.
Пускай у нас есть сумма некоторой величины X по всем пользователям, которые мы можем разбить на пользователей теста и контроля а-ля 4+4+4+4 = 8+8:
У нас есть определение среднего:
Значит, сумма выше это:
Поделим на n, тогда:
Ранее мы определяли n_t/n=p_t и n_c/n=p_c:
Интуитивно, можно понять это так. Пусть наши данные по X до теста: [10, 20, 30, 40, 50], мат.ожидание (скорее его оценка) = 30. Пускай мы взяли в тест [10, 20, 30], тогда среднее по тесту = 20, а в контроль [40, 50], среднее по контролю = 45. Чтобы получить прежнее 30, мы должны учитывать, что 20 составляет 3/5 от него, а 45 - 2/5:
3/5*20 + 2/5*45 = 30!
Тогда:
Так как 1-p_t=p_с, а 1-p_c=p_t, то:
В первом выражении логично вынести p_c, а вот во втором мы вынесем -p_t, что поменяем нам местами среднее(X)_c и среднее(X)_t:
Заменим:
Далее ребята делают замену переменной:
Теперь время для оценки дисперсии:
Снова пошла база:
1) Вспомним, что дисперсия двух случайный независимых величин, - в нашем случае средних, - определена так:
Заменим дисперсии средних на стандартные ошибки:
Значит:
2) Для дальнейших рассуждений (поясню позже) нам нужно будет домножить обе части на n:
Ранее мы уже определяли p_t = n_t/n (аналогично для p_c), так вот, если мы немного перевернем дробь, n/n_t = 1/p_t !
3) Дисперсия по свойству зависимых случайных величин:
4) Theta CUPED определена так:
Тогда 3) будет:
Распишем выражение (A^2 - A...) для теста и контроля. Будет много, но всё на уровне обычной алгебры
- Тест:
p^2_c при theta^2_t заменим:
Вместе, уже с группировкой:
Нам есть что сократить, итого:
- Контроль:
Группировка:
Выносим, где можем, множители, делаем замены переменных по p и получаем:
Итого, дисперсия дельты_3:
Будем упрощать дроби при Var(X) и пока только их, что уж поделать:
Зачему, что для зеленого: p^2_t + p_c*p_t = p_t(p_t + p_c) = p_t(1) = p_t
Для синего: p_t + p_c = 1
Для черного: p^2_t + p_c*p_t = p_t(p_t + p_c) = p_t(1) = p_t
Для зеленого: так как p_t + p_c = 1, то p_t - 1 = -p_c
Вынесем знак (-) из под квадратных скобок и вернемся к полной записи дисперсии по дельта_3
Более того, если мы устремим n в бесконечность, то у нас ничего не поменяется!
Дисперсия дельты со смещенной theta (как оно и ожидается на практике)
Но! Дельта с волной это когда у нас theta несмещенная, но у нас же не так, от данных к данным теты по контролю и тесту будут менятся. Давайте выведем оценку дельты (теперь с крышкой) при CUPED с учетом этой вариации теты:
Далее домножим на n, перепишем через p (ранее такое уже делали):
Чтобы понять, что будет с оценкой, когда у нас будет n очень большое, бесконечное, то возьмем предел:
Заметим, что наши оценки стали теперь параметрами, поэтому ушли все крышки, в том числе индекс 3 у теты, потому что она теперь рассчитана "по популяции"
Используя снова:
И вот, последний штрих:
Рассмотрим разницу двух дельт, c волной (истинной) и с крышкой (оценкой) при очень-очень больших данных на вход. Мы ожидаем, что они должны сходится, то есть разница должна быть равна нулю:
На всякий случай, упрощенно: тут как с выборочным средним. По Закону Больших Чисел наша оценка в виде выборочного среднего будет приближаться к истинному параметру популяции. Условно, если вы возьмете выборку = популяции, то оценка совпадет с популяцией
Подставляем найденные ранее записи двух дельт через Y, X и проверим, будет ли ноль:
Готово, то есть на самом деле выходит не ноль, а вот такое вот смещение. Которое и становится поправкой (чтобы занулить разницу), если вы используйте расчет теты отдельно по группам:
Итог
Обратите внимание, китайские братушки сделали вывод, используя ряд базовых определений: дисперсии зависимых величин, определение среднего, кьюпед-метрики, а также теты, долей в группах А и B + школьный уровень алгебры. Ребята с этим далее ловко игрались, туда-сюда преобразовывая.
То есть вообще-то всё это лежало под ногами у каждого, кто с базой более-менее знаком. Но были ли это очевидно и просто? Нет, конечно! В этом и гений ребят. Но к вопросу, а так ли нужна база?... Ну, оказалось, что и 2025 с ней можно было вот такую поправку вывести!
P.S. Вы кстати замечали, как много китайский фамилии в рамках множества исследований, в том числе по статистике? Да чего там, посмотрите фамилии у библии AB-тестов "Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing", все помнят, что там Кохави, а кто другие два? То-то и оно! Учите китайский, особенно, если вы в России.