tag: #N/S/Medium #N/T/Definition #N/S/EverGreen #N/T/Public 2021-10-22 12:41, [Source](https://self.wikireading.ru/hViZqCUldG), Related: [[Измерение прогресса]] [[} Джедайские техники. Как воспитать свою обезьяну, опустошить инбокс и сберечь мыслетопливо]] [[@Максим Дорофеев]] [wiki](https://ru.wikipedia.org/wiki/%D0%97%D0%B0%D0%BA%D0%BE%D0%BD_%D0%93%D1%83%D0%B4%D1%85%D0%B0%D1%80%D1%82%D0%B0) # Черный закон метрик Анализируя способы [[Измерение прогресса|измерения прогресса]] становится понятно, что можно провалить все дело таким образом, что бы по метрикам все было бы прекрасно до последнего момента. Оказывается этот эффект уже был сформулирован: > Для любой системы KPI существует такая стратегия В, что показатели KPI при следовании этой стратегии находятся в зеленой зоне, но при этом сам проект через ж*пу идет в неизвестность. ^31d90c Существует еще одно популярное определение относящееся к теме статьи: **Целевая близорукость** когда слишком сильно фокусируются на цели и ничего кроме нее не видите, упуская из виду другие возможности, или не задаваясь вопросом самой необходимости или путей ее достижения. ^2336b4 #### **Закон (принцип) Гудхарта** посвящён использованию показателей и заключается в следующем: «==Когда мера становится целью, она перестает быть хорошей мерой==», потому что становится объектом манипулирования как прямого (фальсификация чисел), так и косвенного (работа исключительно для улучшения этой меры). Так, если экономический показатель становится целевой функцией для проведения экономической политики, прежние эмпирические закономерности, использующие данный показатель, перестают действовать. ## Предпосылки ### Предпосылка 1 Фактически этот закон утверждает, что никакой системой метрик и измерений вы не замените необходимость думать и самостоятельно принимать решения (очень часто — в условиях неопределенности), не перекладывая ответственность на формулу или алгоритм. Особенно учитывая что тот кто определяет метрики, может быть пристрастен или подвержен [[& Когнитивные искажения|когнитивным искажениям]] Иначе может сложиться ситуация когда метрики показывают все хорошо, а на деле жопа. ### Предпосылка 2 У метрик есть еще одна неприятная сторона (она становится особенно заметной, когда мы измеряем какие-то свои параметры). Мы подсознательно склоняемся к той линии поведения, которая поможет оптимизировать эти параметры, и избегаем действий, которые отдаляют эти параметры от желаемых значений (даже если именно эти действия и оказываются для нас полезными в более широком смысле). То есть иногда достижение красивых значений показателей может заменить собой достижение самой цели... ### Предпосылка 3 И, что самое неприятное, складывается такое впечатление, что эта самая стратегия соответствует пути наименьшего [[! Трение|интеллектуального напряжения]] и поэтому имеет тенденцию к самореализации. ### Предпосылка 4 Идея, что возможность [[Измерение прогресса|измеизмерить какую-либо работу]] эквивалентна возможности ее выполнения, воплощается в том, что внимание руководства сосредотачивается на поиске подходящих способов измерения, писали Питерс и Уотерман. Это может вылиться в «тиранию метрик», [предупреждал](https://www.project-syndicate.org/onpoint/the-metric-god-that-failed-by-jerry-z--muller-2018-03) Джерри Мюллер, профессор истории в Католическом университете Америки, автор [книги](https://www.alpinabook.ru/catalog/book-542297/) «Тирания показателей». Подход «измеряй, контролируй и вознаграждай», согласно которому результаты любой деятельности можно представить в виде сравнимых стандартизированных числовых метрик и совершенствовать, улучшая эти показатели, может быть контрпродуктивным. У людей появляется стимул делать только то, что можно измерить, и это препятствует инновациям, которые требуют экспериментов с неочевидным результатом. Чем больше работа сводится к тому, чтобы заполнять клеточки, на основе которых оцениваются и вознаграждаются результаты, тем больше эта работа отталкивает тех, кто мыслит нестандартно (outside the box), утверждает Мюллер. ### Предпосылка 4 > «Чем больше вы используете метрик, тем чаще вы будете сравнивать себя с другими. Чем чаще вы сравниваете себя с другими (в вашу пользу или нет), тем хуже делаете себе._ (с) Nassim Nicholas Taleb Про историю про знакомого который воздержался от поездки на велосипеде по причине того, что его одометр был сломан. По его ощущениям, эта тренировка не приблизила бы его к своей “цели”. Обзаведясь метриками, вы лишь _с большей вероятностью_ начнете часто сравнивать себя с другими. Это не обязательно случится, как только у вас появятся метрики. И наоборот — вы можете сравнивать себя с другими, даже если никаких метрик у вас нет (но будете делать это реже, чем с метриками). Аналогичным образом сравнение себя с другими не всегда вредит вам, когда-то может и пойти на пользу. ### Предпосылка 5 Система оценки только по результатам может привести к поощрению плохих практик, закрепляя непрофессиональное или неэтичное поведение: не менее результата важен и процесс его достижения, [заявлял](https://web.archive.org/web/20201027131729/https:/www.businessinsider.com/judge-employee-results-vs-effort-2018-12) на Всемирном бизнес-форуме в Нью-Йорке [[@Даниэль Канеман]], нобелевский лауреат по экономике, автор бестселлера «[[} Думай медленно, решай быстро]]». Качество решений, принимаемых людьми, не определяет конечный результат, считает Канеман: плохое решение может случайно привести к хорошему результату, а хорошее решение — в силу стечения неблагоприятных обстоятельств — окончиться неудачей. Если руководители поощряют работников только за результаты, игнорируя приложенные усилия, часто получается, что вознаграждается удача, а наказывается невезение, подчеркивает Канеман. ### Предпосылка 6 О необходимости обращать внимание на прилагаемые старания [говорил](https://web.archive.org/web/20190929104822/https:/www.businessinsider.com/dan-ariely-how-to-raise-successful-kids-2016-12) в интервью Business Insider и поведенческий экономист Дэн Ариели, преподаватель Университета Дьюка. Стратегия раздавать бонусы за результат, не обращая внимания на качество процесса, — ошибочна, объяснял он: ведь если придерживаться высокого качества процесса долгое время, в конце концов можно добиться большего успеха. Поэтому лучший способ мотивировать на достижение успеха — поощрять и отмечать за усилия, рассуждал Ариели. Правда, в данном случае он высказывался о том, как мотивировать детей. Но ведь в том, что касается мотивации, дети — это просто маленькие взрослые, размышляло издание Business Insider и признавал сам ученый. ### Предпосылка 7 Другой побочный эффект ориентации только на количественный результат — снижение мотивации работников. Когда сотруднику, несмотря на все усилия, не удается достичь поставленных целей, он может попасть под «давление эффективности» — ощущение, что ему нужно работать лучше, но лучше никак не получается. Дисбаланс между высокими стараниями работников и их недостаточным вознаграждением (оно включает в себя не только заработок, но и признание коллег и руководства, карьерные перспективы), которое зачастую напрямую зависит от результатов, может [увеличивать риск](http://www.mentalhealthpromotion.net/resources/theorie_measurement_evidence.pdf) развития заболеваний. Или даже привести к трагедии: в 2006 и 2007 годах на предприятиях Renault во Франции [произошло](https://web.archive.org/web/20201120005511/https://www.theguardian.com/business/2007/feb/22/france.internationalnews) несколько самоубийств инженеров и рабочих после введения плана реструктуризации, который был сопряжен с резким увеличением объемов работы и гонкой за соблюдением сроков. ## Метрики сами по себе — не являются злом В [[& Саморазвитие|личной эффективности]] измерения и метрики помогут вам получить объективную информацию, но не обо всей ситуации, а лишь о какой-то ее части. Остальное все равно придется додумывать самостоятельно, держа во внимании конечную цель. Опираясь на полученные данные, "подкармливать" ими собственную [[Интуиция|интуицию]] и учитывать [[& Когнитивные искажения]] Применимо к бизнесу, обвинять метрики в том, что они вредят — все равно что обвинять весы в ожирении или спидометр в нетрезвом вождении: если система оценки результата создает возможности для корпоративной коррупции или манипулирования данными (например, когда от достижения определенного показателя зависит зарплата сотрудника) — проблема не в метриках, а в менеджерах, путающих показатели со стимулами и неспособных увязать отдельные направления работы в единую стратегию. «***Не позволяйте приборам мешать вам вести машину***» Секрет в том, что современные крупные технологические компании, выросшие благодаря культуре [[Измерение прогресса|KPI]], такие как Alibaba, Amazon, где анализируется и измеряется весь массив данных от веб-дизайна до операционных процессов, а также Google, Facebook, Netflix, используют количественные показатели не для того, чтобы управлять людьми и процессами, а для того, чтобы преобразовывать и людей, и процессы. ***Метрика перестает приносить пользу, когда становится самоцелью и заменяет собой стратегию.*** В количественных показателях действительно есть сила, и серьезные лидеры инвестируют в эту силу и наращивают ее. Необходимость инноваций и новые вызовы требуют творческого подхода и к тому, как измерять успех, — и не только собственный, но и своих клиентов. ## Примеры: ### Прмиер 1 Самый обширный набор подобных примеров — это попытки установить «объективные, понятные и прозрачные» правила премирования и/или пересмотра зарплат. Возможно, вы знаете людей, которые, будучи полными разгильдяями, удовлетворяли всем формальным критериям для повышения. В начале 1990-х годов сеть американских магазинов Sears, в состав которой входили в том числе автомастерские, снизила для работников этих автомастерских почасовую заработную плату и ввела систему стимулов, согласно которой персонал должен был ежедневно выполнять определенное количество операций и продавать определенное количество запчастей. Стремясь выполнить нормативы под страхом увольнения, работники стали завышать клиентам стоимость работ, заменять не требующие замены запчасти, а в некоторых случаях даже специально повреждать автомобили, чтобы потом их отремонтировать. Это [привело](https://apnews.com/article/62c5728e71fb83c4c491001b5853ad69) к нескольким коллективным искам клиентов, широкому общественному резонансу и в итоге отзыву у Sears лицензий на авторемонт. Председателю совета директоров Sears Эдварду Бреннану пришлось [признать](https://web.archive.org/web/20201111153937/https:/www.latimes.com/archives/la-xpm-1992-06-23-fi-900-story.html), что принятая компанией программа поощрения работников создала «неограниченную возможность для совершения ошибок»: от нее отказались. ### Прмиер 2 **Во что бы то ни стало** Компания Ford в конце 1960-х проигрывала конкуренцию на рынке США зарубежным производителям небольших экономичных автомобилей и поставила целью в сжатые сроки наладить выпуск недорогой малолитражки — таким стал Ford Pinto. Однако вскоре после его выпуска десятки людей погибли или серьезно пострадали из-за возгораний автомобиля: бензобак в нем был расположен так, что при ударе автомобиля сзади легко повреждался. Расследование показало, что во время краш-тестов Ford обнаружила этот конструктивный недостаток, но руководители, нацеленные на скорейший выпуск автомобиля, [сочли](https://web.archive.org/web/20201106041805/https:/users.wfu.edu/palmitar/Law&Valuation/Papers/1999/Leggett-pinto.html), что затраты компании на судебные иски из-за возможных возгораний будут меньшими, чем затраты на исправление конструкции. В итоге компания была вынуждена [отозвать](https://web.archive.org/web/20201111153720/https:/www.nytimes.com/1978/06/10/archives/ford-orders-recall-of-15-million-pintos-for-safety-changes-inquiry.html) с рынка 1,5 млн Ford Pinto, вскоре его производство прекратилось. --- ### Прмиер 3 В книге Голдрата Элияху "Цель", когда люди гнались за снижением издержек, а надо было - за прибылью. --- Человек хочет сменить профессию и ставит цель "получить диплом программиста такого-то", и, получается, диплом-то может получить, а знаний - нетуньки, т.к. диплом != знания. Но тут тоже вопрос в формулировке цели. Надо было: получить знания и навыки в следующих областях: язык программирования такой-то, уровень такой-то, базы данных такие-то  --- - Если пробовали следить за количеством задач в своих списках. Как правило, мы ограничивали сверху размер этого списка, говоря себе, что, пока в нем меньше (например) 40 задач, мы чувствуем себя спокойно. Пока размер списка остается заметно меньше установленного предела, не происходит ничего страшного. Беда начинается, когда количество задач приближается к верхней границе или превышает ее. Выглядит это так. При получении очередного входящего внутренний голос едва слышно шепчет: «У тебя уже много задач в списке. Зачем добавлять туда еще одну, давай ее оставим пока тут или просто так запомним?» Стоит только поддаться на уговоры, как вся система личной эффективности начинает разваливаться [[Неявные списки задач]] --- «Если мы живем ради KPI и делаем что-либо только ради KPI, то с Alibaba покончено», — [заявил](https://www.thestar.com.my/news/regional/2018/10/03/alibaba-ceo-daniel-zhang-tells-employees-not-to-live-for-kpis-in-speech-after-being-named-jack-mas-s/) сотрудникам Дэниел Чжан, генеральный директор Alibaba Group, преемник основателя компании Джека Ма. Но примечательно, что подобные «нападки» на метрики исходят от компании, добившейся выдающихся результатов именно благодаря продуманным ключевым показателям эффективности, [обращает внимание](https://sloanreview.mit.edu/article/dont-let-metric-critics-undermine-your-business/) Майкл Шраге, научный сотрудник MIT.