Лекция 8. Как лгут с помощью статистики

«Есть ложь, наглая ложь и статистика», — шутили ещё в позапрошлом веке. Цифры кажутся объективными и неопровержимыми: против фактов, мол, не поспоришь. Но именно этой репутацией и пользуются, чтобы вводить в заблуждение — причём часто не единым ложным числом, а честными цифрами, поданными так, что вывод получается неверным. Сегодня разберём главные способы лгать статистикой, не соврав ни в одной цифре, и вооружимся пятью вопросами, которые разоблачают большинство таких фокусов. Это защита от рекламы, заголовков и недобросовестных «исследований».

1. Почему цифрам верят слишком легко

У чисел особая власть над нами. Слова кажутся мнением, а цифра — фактом: «многие считают» можно оспорить, а «73% опрошенных» звучит как приговор. Мы инстинктивно принимаем цифру за объективную истину и редко спрашиваем, откуда она и что на самом деле означает. Этой-то доверчивостью и пользуются.

Важно понять главное: цифра почти никогда не лжёт сама по себе — лжёт то, как её подают и что из неё выводят. Чаще всего в манипуляции все числа абсолютно точны, а обманывает подача: с чем сравнили, что скрыли, как нарисовали. Поэтому наш подход будет не «а точная ли цифра», а «а что она в действительности значит и не подсунули ли мне неверный вывод из верных данных». Разберём самые частые приёмы — вы удивитесь, как часто будете их теперь замечать.

2. Проценты без базы

Самый ходовой фокус — проценты и относительные величины без указания, от чего они считаются. «Новое лекарство снижает риск на 50%!» — звучит как прорыв. Но 50% от чего? Если риск был один на миллион, а стал один на два миллиона, то абсолютная польза ничтожна, хотя формально «риск снижен вдвое». А если был высоким — польза реальна. Без исходной величины процент не значит ничего.

Тот же приём наоборот пугает: «этот продукт повышает риск болезни на 100%!». Удвоение! Но если речь о росте с одного случая на сто тысяч до двух, волноваться особо не о чем. Относительное изменение («на столько-то процентов») почти всегда звучит драматичнее, чем абсолютное («с стольких-то до стольких-то случаев»), и именно поэтому в заголовках любят первое, умалчивая второе. Родственный трюк — процент без общего числа: «90% пользователей довольны» — а пользователей было десять? Или «продажи выросли втрое» — с двух штук до шести? Всегда спрашивайте, что стоит за процентом: относительно чего он и какова база. Голый процент создан, чтобы впечатлять, а не информировать.

3. Обрезанная ось графика

Графики убеждают ещё сильнее цифр — картинку мозг считывает мгновенно и доверчиво. И самый распространённый графический обман предельно прост: манипуляция вертикальной осью.

Хитрость в том, где ось начинается. По правилам столбчатую диаграмму рисуют от нуля — тогда высота столбиков честно отражает величины. Но если начать ось не с нуля, а, скажем, с числа чуть меньше самих значений, крошечная разница раздувается до пропасти. На нашей схеме 48 и 52 при честной оси почти равны, а при обрезанной один столбик выглядит втрое выше другого — хотя числа те же самые. Так «рисуют» драматический рост там, где его почти нет, или пугающее падение на ровном месте. Тем же целям служат искажённые пропорции, хитрый выбор промежутка времени (показать только удобный кусок), картинки-иконки разного размера. Правило простое: встретив впечатляющий график, первым делом гляньте на ось — с нуля ли она и что именно по ней отложено. Половина «шокирующих» графиков обезвреживается одним этим взглядом.

4. Среднее, которое лжёт

Слово «среднее» звучит надёжно, но прячет ловушку. Обычное среднее (арифметическое) складывает все значения и делит на количество — и одно-единственное огромное значение способно перекосить его так, что «среднее» перестаёт описывать типичный случай.

Классический пример: в компании из десяти человек девять получают по 30 тысяч, а директор — миллион. «Средняя зарплата» выходит около 127 тысяч — цифра, которая не описывает никого: девятеро получают вчетверо меньше, а один — в разы больше. Здесь честнее другая величина — медиана: значение ровно посередине, если всех выстроить по росту дохода. Медиана в нашем примере — 30 тысяч, и она куда вернее говорит о «типичном» работнике, потому что её не задирает один богач. Этим и пользуются: когда хотят приукрасить, берут среднее (его легко задрать выбросами), когда хотят напугать — тоже подбирают удобную из двух мер. Услышав «в среднем», спросите: это среднее или медиана и нет ли в данных редких, но огромных значений, которые перекашивают картину. Одно слово «средний» скрывает целый веер разных историй.

5. Кого спросили: выборка

Любая статистика о людях получена, спросив не всех, а некоторую выборку, — и весь вопрос в том, кого именно спросили. Если выборка перекошена, точные цифры описывают искажённый мирок, а не реальность, хотя выглядят солидно.

Примеры повсюду. «80% наших читателей поддерживают эту идею» — но читатели издания заведомо не случайные люди, они уже разделяют его взгляды. Опрос на тематическом форуме отражает мнение завсегдатаев форума, а не населения. Голосование в соцсети собирает тех, кто подписан на автора. Отдельная коварная разновидность — самоотбор: когда откликаются лишь неравнодушные (очень довольные или очень злые), а молчаливое большинство остаётся за кадром, о чём мы говорили, разбирая отзывы. Есть и знаменитая ловушка выжившего: если изучать только «выживших» (успешные компании, дошедшие самолёты, долгожителей), выводы получаются обманчивыми, потому что провалившиеся в данные не попали и молчат. Поэтому за каждой цифрой о людях ищите выборку: кого спросили, сколько их было, как отобрали и кто не попал. Цифра надёжна ровно настолько, насколько представительна выборка за ней.

6. Пять вопросов к любой цифре

Соберём защиту в компактный набор. Столкнувшись с любой впечатляющей цифрой, статистикой или графиком, прогоните их через пять вопросов — они вскрывают почти все приёмы, что мы разобрали.

Первый — относительно чего? Проценты и «во столько-то раз» требуют исходной величины, иначе они пусты. Второй — какова база, сколько всего? Процент без общего числа за спиной ничего не весит. Третий — среднее или медиана? Не задрало ли «среднее» одно огромное значение. Четвёртый — кого спросили? Какова выборка, представительна ли она, кто в неё не попал. Пятый — с чем сравнить? Одинокое число без точки отсчёта не говорит, много это или мало: «выросло», «упало», «погибло столько-то» осмысленны лишь в сравнении с чем-то. Эти пять вопросов не требуют математики — только привычки не проглатывать цифру целиком. Задайте их, и большинство статистических манипуляций рассыплются у вас на глазах.

7. Не бояться цифр, но проверять

Из этой лекции легко вынести неверный урок: «статистике верить нельзя». Это было бы печальной ошибкой — противоположной той, что мы лечим. Статистика — не враг, а один из лучших инструментов познания мира: именно она позволяет увидеть то, чего не разглядишь на единичных примерах, и отличить закономерность от случайности. Хорошие данные бесценны; проблема не в цифрах, а в их недобросовестной подаче.

Поэтому цель — не отмахиваться от всякой статистики («знаем, цифрами что угодно докажешь»), потому что это удобная лазейка отвергать любые неудобные данные и верить только чувствам. Цель — читать цифры грамотно: отличать корректную статистику от манипулятивной, задавать пять вопросов и уважать хорошие данные ровно так же, как не доверять кривым. Грамотный человек не боится чисел и не преклоняется перед ними — он умеет их допрашивать. И последнее, что стоит держать в уме: тяжелее всего мы допрашиваем ту статистику, которая подтверждает нашу правоту, и легче всего верим цифрам, которые нам приятны. Об этой, самой коварной ловушке — предвзятости подтверждения — как раз следующая, девятая лекция: про главного оппонента критического мышления, которым оказываемся мы сами.

Итоги

• Цифра почти никогда не лжёт сама — лжёт подача: с чем сравнили, что скрыли, как нарисовали; часто все числа при этом точны.
• Проценты без базы пусты: «на 100%» может быть ростом с одного случая на миллион до двух; относительное всегда драматичнее абсолютного.
• Обрезанная ось графика раздувает крошечную разницу в пропасть — смотрите, с нуля ли начинается вертикальная ось.
• «Среднее» задирается редкими огромными значениями; медиана честнее описывает типичный случай.
• Статистика о людях надёжна ровно настолько, насколько представительна выборка; берегитесь самоотбора и ловушки выжившего.
• Пять вопросов к цифре: относительно чего, какова база, среднее или медиана, кого спросили, с чем сравнить.

Вопросы для самопроверки

1. Почему «риск вырос на 100%» может быть почти безобидным? Чем относительное изменение отличается от абсолютного?
2. Как обрезанная ось искажает график? Что проверить в первую очередь, увидев резкий скачок?
3. В чём разница между средним и медианой? Придумайте случай, где среднее вводит в заблуждение.
4. Что такое перекошенная выборка, самоотбор и ловушка выжившего? Приведите пример каждого.
5. Назовите пять вопросов к любой цифре. Примерьте их к статистике из недавней рекламы или заголовка.

Литература

• Дарел Хафф. «Как лгать при помощи статистики» — классический разбор статистических уловок.
• Чарльз Уилан. «Голая статистика» — как понимать данные без страха и обмана.
• Тим Харфорд. «Как найти правду в цифрах» — о честном и нечестном обращении со статистикой.

Это восьмая лекция курса «Критическое мышление». В следующей доберёмся до самого трудного противника — самих себя: разберём предвзятость подтверждения и почему тяжелее всего проверять то, во что уже веришь. А любую подозрительную цифру всегда можно прогнать по пяти вопросам вместе с Фреди.