Лекция 4. Когда мера становится целью: закон Гудхарта

В колл-центре ввели показатель: среднее время звонка не больше четырёх минут. Через месяц показатель выполнялся идеально — операторы просто бросали трубку на третьей минуте сложного разговора. Никто не нарушил ни одной инструкции. Сегодня — о законе, по которому это происходит везде, где есть измерение, и о том, как он работает в вашей жизни.

1. Три истории

История первая — тот самый колл-центр. Показатель «среднее время звонка» вводили, чтобы операторы не растекались и очередь двигалась. Итог: трубки бросаются на середине фразы, клиент перезванивает, очередь растёт — а показатель прекрасен. Отчёт зелёный, работа мертва.

История вторая — школа. Экзамен придумали как измеритель знаний: знаешь — сдашь. Но как только от балла зависят судьба выпускника, премия учителя и рейтинг школы, вся система начинает готовить не знающих, а сдающих: натаскивание на формат, типовые задания, стратегии угадывания. Балл растёт. Измеряет ли он ещё знания — вопрос, на который все причастные предпочитают не смотреть.

История третья — ваш шагомер. Десять тысяч шагов задумывались как мера подвижности. Через месяц вы наматываете круги по коридору в одиннадцать вечера — не потому, что телу надо, а потому, что кольцо не закрылось. Шаги есть. Вопрос, осталась ли в них подвижность, о которой шла речь, — открыт.

Три разные сферы, один сюжет: измеритель, который начали вознаграждать, перестал измерять. Этому сюжету посвящены два знаменитых закона.

2. Два закона

Запомните обе фамилии, но главное — дальше. Оба закона обычно цитируют как мрачный афоризм. Мы разберём механизм — и увидите, что он вам уже знаком.

3. Механизм: знакомый зазор

Что такое показатель? Это правило, записанное числом. «Хорошая работа оператора = разговор до четырёх минут». «Образованный выпускник = столько-то баллов». То есть — правило-текст из первой лекции. А настоящая цель — довольный клиент, образованный человек, здоровое тело — это правило-намерение. Сцена в голове того, кто вводил метрику.

Дальше вы уже всё знаете. Текст и намерение никогда не совпадают полностью — между ними зазор. Пока показатель никого не награждает и не наказывает, люди живут в намерении, и зазор незаметен. Но как только к числу привязали деньги, карьеру или страх — система начала платить за текст. Не за цель. За текст.

Это важно. Оптимизация всегда стекает в зазор, потому что там дешевле. Довести клиента до решения за четыре минуты — трудно. Бросить трубку на четвёртой минуте — легко. Оба действия дают одинаковую отчётную цифру. Система, платящая за цифру, оплачивает оба — а выживает то, что дешевле.

4. Почему наказание хитрецов не лечит

Первая реакция любого руководителя, увидевшего брошенные трубки, — найти и наказать. Иногда даже находят. Показатель чинится на месяц, потом всё возвращается. Почему?

Потому что наказали человека, а зазор остался. Показатель по-прежнему платит за цифру, цифра по-прежнему дешевле всего делается в обход цели — значит, следующий, кто под давлением плана, придёт туда же. Не самый бесчестный придёт, заметьте, — самый прижатый. Дыра в показателе, как дыра в правиле, — свойство конструкции, а не людей; мы установили это ещё в первой лекции, и здесь оно просто дороже стоит.

Есть и вторая причина, тоньше. Граница между «честно улучшил цифру» и «обманул систему» — это полутень, и провести её объективно нельзя. Готовить к формату экзамена — это порча измерения или добросовестное обучение? Сокращать разговор, потому что научился решать быстрее, — или потому что режешь углы? Снаружи цифры неотличимы. Карать приходится по подозрению в намерении — а это уже произвол со всеми его последствиями для доверия.

5. Как защищают метрики

Совсем отказаться от измерений — не выход: без них решения принимает громкий голос и личная симпатия. Люди, которые всерьёз занимались этой проблемой — от медицины до полиции, — пришли к нескольким рабочим приёмам.

Несколько мер вместо одной. Одну цифру обыграть легко, три разнонаправленные — дорого. Время звонка в паре с долей повторных обращений сразу делает брошенную трубку невыгодной: второй показатель ловит то, что уронил первый.

Мера плюс суждение. Цифра — повод посмотреть, а не приговор. Показатель отбирает случаи, живой человек разбирает их руками: прослушать пять звонков, а не прочитать средние. Дорого — потому и работает: суждение не оптимизируется скриптом.

Не привязывать к награде то, что можно просто наблюдать. Показатель, за которым не стоит премия и кара, портится на порядок медленнее — закон Гудхарта запускается наградой. Часть метрик стоит держать именно наблюдательными, и пусть об этом все знают.

И главный вопрос — до внедрения: что именно этот показатель перестанет измерять, когда станет целью? Куда потечёт оптимизация, где у него зазор? Вы теперь умеете отвечать на такой вопрос — это ровно поиск лазейки из первой лекции, только в правиле, записанном числом.

6. Самогудхартизация

Закону всё равно, кто автор показателя. Вы сами вводите себе метрики постоянно — и сами же их обыгрываете.

Шаги вместо здоровья — круги по коридору перед сном. Прочитанные книги вместо понимания — сорок проглоченных обложек к декабрю, из которых через месяц не вспомнить трёх мыслей. Вычеркнутые задачи вместо продвижения — день, порезанный на двадцать мелких галочек, чтобы избежать одной страшной. Выученные слова в приложении вместо языка — идеальная серия из трёхсот дней и немота при встрече с живым иностранцем.

Механизм тот же, до буквы: вы платите себе — чувством выполненного долга, закрытым кольцом, серией — за текст, а не за намерение. И оптимизация послушно стекает в зазор: не «стать здоровым», а «сделать шаги»; не «понять», а «дочитать». Обмануть удаётся единственного человека, для которого метрика вводилась.

❓ Частые вопросы

Закон Гудхарта означает, что измерять вообще бессмысленно?

Нет. Показатель портится не от измерения, а от привязанной к нему награды: пока цифру просто наблюдают, она честна. Вывод не «не измеряй», а «понимай, что произойдёт с мерой, когда сделаешь её целью»: держи несколько разнонаправленных мер, подкрепляй цифру живым суждением и не вешай награду на то, что достаточно просто видеть.

Чем закон Кэмпбелла отличается от закона Гудхарта?

Это один механизм, увиденный с двух сторон. Гудхарт, экономист, смотрел со стороны показателя: мера, ставшая целью, перестаёт мерить. Кэмпбелл, психолог, — со стороны системы: показатель, решающий судьбы, искажает и сами процессы, которые отслеживал, — школа, готовящая к тесту, реально перестаёт учить. Вторая формулировка страшнее: портится не только термометр, но и больной.

Если наказание не лечит, что делать с теми, кто явно обманывает систему?

Разбирать случаи руками и менять конструкцию, а не только людей. Явный подлог — против текста — наказывается как подлог. Но если по одной и той же дыре идёт третий человек подряд, вопрос уже не к людям: конструкция платит за цифру дешевле, чем за цель, и очередь в дыру не кончится. Наказание без починки зазора — это стрижка газона, у которого корни.

Как отличить честное улучшение показателя от его обхода?

По цели, а не по цифре: спросите, стало ли лучше то, ради чего метрику вводили. Оператор, научившийся решать вопрос за три минуты, и оператор, бросающий трубку на третьей минуте, дают одинаковую отчётность — различает их только судьба клиента после звонка. Поэтому цифры отбирают случаи для разбора, а вердикт выносится по содержанию. Снаружи, без взгляда в цель, граница неразличима — это полутень из второй лекции.

Итоги лекции

1. Показатель — это правило, записанное числом: у него есть текст (цифра) и намерение (цель). Зазор между ними — тот же, что в любом правиле.
2. Закон Гудхарта: мера, ставшая целью, перестаёт быть хорошей мерой. Закон Кэмпбелла добавляет: и искажает процессы, которые отслеживала.
3. Механизм — награда за текст: оптимизация стекает в зазор, потому что там дешевле, и приходит туда не самый бесчестный, а самый прижатый.
4. Наказание хитрецов чинит показатель на месяц: зазор остаётся, и очередь в него не кончается. Лечится конструкция, а не люди.
5. Рабочая защита: несколько разнонаправленных мер, цифра как повод для живого разбора, наблюдение без награды — и вопрос «что эта мера перестанет мерить, став целью» до внедрения.
6. Самогудхартизация — тот же закон в личных метриках: шаги вместо здоровья, галочки вместо продвижения. Обманутым остаётся автор метрики.

Вопросы для самопроверки

1. Сформулируйте закон Гудхарта своими словами через понятия текста и намерения из первой лекции.
2. В истории с экзаменом найдите ядро и полутень: какая подготовка к тесту — честное обучение, какая — порча измерения, и где граница перестаёт быть различимой?
3. Почему показатель без привязанной награды портится медленнее? Что именно запускает механизм порчи?
4. Ваша команда или семья живёт по какой-то цифре — бюджет, оценки, время за экраном. Куда в ней стекает оптимизация? Какой второй показатель поймал бы это?
5. Найдите в своей жизни пример самогудхартизации и определите: что было намерением, что стало текстом и когда произошла подмена?

Литература

• Мюллер Дж. Тирания показателей (2018) — обстоятельный разбор порчи метрик в медицине, школе, полиции и бизнесе, с честным выводом о мере и суждении.
• Кэмпбелл Д. Оценка воздействия планируемых социальных изменений (1976) — статья, где сформулирован закон Кэмпбелла и предсказана судьба экзаменационных баллов.
• Харт Г. Л. А. Понятие права (1961) — ядро и полутень, без которых не объяснить, почему граница честного и обходного улучшения цифры неразличима снаружи.