Piece of PIE

Есть много подходов в приоритизации фичей, в основном они довольно простые, что в целом разумно для быстрого разбора бэклога. Но простота этих методов не позволяет применить наработки "предков" в виде той же теории принятия решений (decision theory), потому что в этих новомодных подходах нет такой штуки как вероятность в явном виде.

В некотором роде она в наличии в понятии Confidence известного алгоритма ICE: Impact*Confidence*Ease = Score, где каждый параметр оценивается от 1 до 10 (больше - лучше). 

В принципе, Confidence можно нормализовать и получить вероятности вместо баллов, но тогда, как мне видится, у нас выйдет зависимые вероятности (так как относительны всех прочих), поэтому ICE я бы модифицировал бы до PIE*, который формулирую следующим образом:

Probability*(Impact+Ease) что так-то дало бы скорее Expected Value (оно же Мат. Ожидание)

В итоге у нас E(X), а не Score, - вуаля, классическая теория принятия решений. 

[ Сложение тут нужно для того, чтобы вероятность давала существенный вес в E(X) - это важно, см. далее ]

* PIE встречается в зарубежной литературе, но там P - это Potential, а не вероятность

Генерим вероятности

Откуда брать вероятности? Из лучшей на текущей момент нейросети: человеческой. Опыт и насмотренность PO, гугление (“что может дать фича”),  а также множитель виде hive mind = ваша команда, и готово, оценка вероятности у вас в руках, - лучше все равно не будет. 

Очень важно: оценку вероятности нельзя менять, как только вы сошлись на ней.

Далее все как будто аналогично ICE с его Score: чем больше E(X), тем приоритетнее. 

Но! Мы ведь не зря такое вступление написали. Если у бизнеса шило в жопе, то он может быть крайне недоволен, если у вас будет, например, провал 3 раз подряд. Что понятно: в повторяемости бизнес легко видит тенденцию.

PO это плюс-минус уже своей ж. чует/оценивает и также может брать в расчет. И вероятности тем и хороши, что мы можем рассчитать, например, вероятность, что ни одна из гипотез не сработает вплоть до 3-ей попытки включительно. Ну и по классике можно задать предел = 0.05, это значит, что вероятность НЕ должна быть больше этого уровня. 

Считаем:

Увы, выше порога. Так как оценки вероятности у нас неизменны***, то все, что мы можем сделать это поменять местами приоритеты по фичам из множества, ища оптимум между оставшимся по вероятности и E(X).

*** иначе будем соблазн менять вероятности для подгонки вероятности, что ни одна из гипотез не сработает, под порог

Вполне может выйти так, что вы всё равно будете выходить за предел, но тогда надо искать такой порядок, который будет минимально за заданный предел заходить. 

В нашем случае будет так, поменяем Фичу 2 на Фичу 4 по приоритету:

Считаем:

Ура!

Вообще, мы многое что можем подсчитать, используя базовую статистику, где как раз и нужна помощь аналитика для PO. Например:

• Можно подсчитать скользящую оценку, что три гипотезы подряд будут неудачными (на Рис.4 - идем далее вниз, Фича-1, Фича-4, Фичу-2; потом следующее окно: Фича-4, Фичи-2, Фича-3), что позволит также переприотизировать все прочие фичи по нисходящей
• А где у нас три "теста" c одним и тем же порогом 0.05:

1. Фича-5, Фича-1, Фича-4;

2. Фича-1, Фича-4, Фичу-2;

3. Фича-4, Фичи-2, Фича-3

то у нас неизбежно рано или поздно такое событие (3 раза подряд) да случится. Мы можем, например, это минимизировать через "поправку" ценой получения более жестких порогов, а можем и не минимизировать: хотя бы 1 раз в год "не считается".

• Ожидаемое значение успехов/неудач по всему множеству фичей
• Алгоритм поиска оптимального баланса между вероятностью и ожидаемым значением
• пр.

Смысла особо развивать далее пример не вижу, с вероятностью и ожидаемым значением можно многое сделать, там во всей красе раскрывается как раз decision theory, и именно это и является теми задачами, которые и решает продуктовый аналитик, когда помогает улучшать продукт, а не "генерить гипотезы" и "искать то, не знаю, что, но найди".

Будет ли такая приоритизация Piece of PIE или Piece of Shit ли это - время покажет, я ее предлагаю опционально своим PO как альтернативу ICE и прочим, так как это открывает дорогу для учёта рисков.