#30 - Окна и табло результатов
«Когда метрика становится целью, она перестает быть хорошей метрикой» (с) закон Чарльза Гудхарда.
Все статистические критерии можно разделить на окна и табло результатов. Вопрос в том, какую роль для нас играет показатель — является он самоцелью или только показывает движение к цели.
Я узнала об этой классификации из книги американского учителя математики Бена Орлина «Математика с дурацкими рисунками».
Окно — статистика, которая позволяет пролить немного света на реальное положение дел. Статистика эта сама по себе целью не является. Она не входит в систему стимулирования. За хорошие показатели мы не получим награды, а плохие не повлекут за собой наказания. Но какую-то информацию окно дает: движемся ли вообще, движемся ли в ту сторону, с какой скоростью. Метафора окна прекрасна: видно через него далеко не все, но это лучше, чем стена.
К окнам можно отнести, например, количество часов за работой, количество строк кода в программе, количество съеденных за день калорий или средний еженедельный километраж бегуна. Все это с целью как-то связано, но само по себе целью не является. Количество часов за работой может говорить о приближении к цели, может об упорстве, может о росте мастерства, а может — о неэффективности труда. Мы работаем больше, чтобы достичь успеха или развить навык, но не чтобы работать больше. Количество съеденных калорий дает информацию о том, как будет меняться физическая форма, но мы же не худеем, чтобы меньше есть, а меньше едим, чтобы худеть. Километраж тренировок бегуна явно коррелирует с его результатами, но цель все-таки в укреплении здоровья, в факте преодоленного марафона или в победе на соревновании.
Табло результатов — статистика, которая сама по себе является желанным результатом. За достижении какого-то показателя нас награждают, или же само это достижение является наградой.
Речь может идти о зарплате, количестве опубликованных статей, факте принятия на работу, скорости преодоления дистанции, результатах вступительного экзамена, проценте подкожного жира.
Одни и те же статистические показатели могут быть или окном, или табло результатов — в зависимости от того, кто смотрит и от цели. Например, если я хочу пробежать марафон, то факт преодоления этой дистанции и есть табло результатов. Но если я просто хочу быть крепкой и спортивной, марафон — не более, чем окно. Баллы ЕГЭ для школьников — табло результатов, ведь этот показатель определяет их будущее как минимум на 4 года. Но для администрации школы баллы ЕГЭ их выпускников — окно, которое с одного ракурса показывает эффективность образования.
Многие статистические показатели — полезные окна, но неэффективные табло результатов. Приведу примеры.
- Количество часов за работой. «Я работаю много» — фраза, не значащая ничего, ведь идея в том, чтобы получать результат, а не работать больше. Работать нужно эффективнее, а не больше. Гоняясь за количеством часов работы или количеством сделанных задач, очень легко заполнить свой рабочий день долгими, но совершенно бесполезными занятиями.
- Администрация вуза, заинтересованная в том, чтобы дипломы защищались на высокий балл. Добиться этого можно минимум двумя способами — более качественной подготовкой студентов или исключением менее успешных студентов на выпуском курсе.
- А если речь идет про больницу, в которой отказывают в помощи всем больным с тяжелыми случаями, чтобы не портить статистику смертности?
Это подводит нас снова к закону Гудхарда. Метрика, которая превращается в цель, становится объектом манипулирования. Либо прямого — через фальсификацию, — либо косвенного — через работу исключительно для улучшения этой метрики.
Чтобы определить подходящее табло результатов, нужно понять, за чем именно мы гонимся. Что является настоящим результатом нашей работы? И в чем это можно измерить?
Мне нравится эта концепция, потому что она проливает свет на то, как должны и не должны выглядеть поведенческие цели. В том числе SMART-цели.