Лекция 3. Качество доказательств: от анекдота до эксперимента

«Мне это помогло — значит, работает». «У знакомого сработало». «Сто отзывов не могут врать». Каждый день нас убеждают историями — живыми, конкретными, трогательными. И они работают: одна яркая история бьёт по нам сильнее, чем сухая статистика. Проблема в том, что как доказательство история почти ничего не стоит. Сегодня разберёмся, чем хорошее доказательство отличается от плохого, выстроим лестницу от анекдота до эксперимента и поймём главный секрет надёжного знания — сравнение. Это самый практичный навык всего курса.

1. Почему история — не доказательство

Начнём с честного признания: истории убеждают нас сильнее всего. «Моя бабушка курила до девяноста лет» перевешивает в голове горы статистики о вреде курения. Так устроен наш ум: конкретный живой случай ярче, ближе и запоминается лучше, чем безличные цифры. На этом стоит вся реклама с отзывами и все «случаи из жизни».

Но именно яркость и делает анекдот опасным доказательством. Единичная история — это одна точка, вырванная из тысяч. Мы не знаем, скольким то же средство не помогло (о них не рассказывают), не знаем, что ещё происходило с человеком, не знаем, не показалось ли ему. Бабушка, курившая до девяноста, существует — но существуют и миллионы, кого курение свело в могилу рано; просто мёртвые не дают интервью. Анекдот не лжёт — он показывает исключение и молчит о правиле. Поэтому первое правило качества доказательств: одна история, даже правдивая, — это иллюстрация, а не доказательство.

2. Четыре самозванца вместо эффекта

Разберём, почему даже честное «я принял и мне помогло» ничего не доказывает. У любого улучшения после действия есть несколько объяснений, и лишь одно из них — что помогло само действие.

Вот эти самозванцы. Первый — естественное течение: большинство болезней, плохих настроений и полос невезения проходят сами; примешь ты что-нибудь или нет, спад всё равно наступит, а «заслугу» припишешь средству. Второй — эффект плацебо: сама вера в лечение способна реально облегчить состояние, даже если это была пустышка; ум лечит телом. Третий — совпадение, или, более хитро, регресс к среднему: за помощью бросаются на пике плохого, а после любого пика почти неизбежно становится лучше — не благодаря, а просто потому, что хуже уже некуда. Четвёртый — параллельные причины: одновременно вы и выспались, и поели, и отдохнули, а спасибо скажете таблетке. По одному случаю отделить настоящий эффект от этой четвёрки невозможно в принципе. И тут мы подходим к главному.

3. Главный секрет: сравнение и контроль

Весь секрет хорошего доказательства умещается в одно слово: сравнение. Чтобы узнать, помогает ли средство, нужно сравнить тех, кто его принял, с теми, кто не принял, — во всём остальном такими же. Эта вторая группа называется контрольной, и она — сердце всякого честного опыта.

Смотрите, как элегантно это работает. Если болезнь прошла бы сама — она пройдёт и в контрольной группе, значит, само течение вычитается. Если дело в вере — дадим контрольной группе пустышку, и эффект плацебо тоже вычтется. Совпадения и регресс к среднему коснутся обеих групп одинаково — и снова вычтутся. Остаётся только разница между группами — и вот она уже про само средство. Контрольная группа — это способ спросить «а что было бы, если бы мы ничего не делали?» и вычесть ответ. Без неё любое «после этого — значит, из-за этого» повисает в воздухе. С ней анекдот превращается в доказательство. Запомните этот вопрос — «а с чем сравнивали?» — он вскрывает половину сомнительных заявлений.

4. Лестница доказательств

Теперь мы можем выстроить доказательства по силе — от самых слабых к самым надёжным. Это не формальность, а рабочая шкала: услышав довод, полезно сразу прикинуть, на какой он ступеньке.

Внизу — единичный анекдот: одна история без всякого сравнения. Выше — груда отзывов и историй: их много, но, как увидим, количество слабых доказательств не даёт сильного. Ещё выше — наблюдение, заметившее связь: например, «люди, которые больше гуляют, реже болеют»; это уже данные, но пока лишь корреляция, о ловушках которой — отдельный разговор. Дальше — контролируемое сравнение, где появляется та самая контрольная группа. Ещё выше — полноценный эксперимент: людей случайно распределяют по группам (чтобы группы не различались заранее) и применяют слепой метод. А на вершине — не отдельное исследование, а результат, который независимо повторили другие и свели воедино в обзор: то, что выдержало множество проверок. Чем выше довод на этой лестнице, тем серьёзнее к нему стоит относиться.

5. Почему «много отзывов» не спасает

Возникает соблазн: пусть один отзыв слаб, но если их тысяча — разве это не убедительно? Увы, нет, и понять почему очень важно. Тысяча анекдотов — это не эксперимент, а тысяча анекдотов. Если все они собраны кривым способом, количество лишь умножает ту же ошибку.

Смотрите: отзывы оставляют не все подряд, а те, кому есть что сказать, — и обычно это либо восторженные, либо возмущённые. Молчаливое большинство, у кого «ну, средне» или «не подействовало», просто не пишет. Это называется систематическим отбором: выборка перекошена ещё до того, как вы её прочли. Плюс никто из тысячи не сравнивал себя с контрольной группой — у каждого работают всё те же четыре самозванца. В итоге тысяча перекошенных, несравнённых историй убеждает сильнее одной, но доказывает ровно столько же — почти ничего. Сила не в числе рассказчиков, а в устройстве проверки. Одно аккуратное исследование с контрольной группой весит больше миллиона отзывов.

6. Слепой метод и защита от самообмана

Поднимемся на верхние ступени лестницы — там прячется ещё одна тонкая, но важная защита. Даже с контрольной группой мы можем невольно себя обмануть, и наука придумала, как это предотвратить, — слепой метод.

Представьте, что врач знает, кому дал лекарство, а кому пустышку. Он невольно чуть внимательнее к «настоящей» группе, чуть иначе задаёт вопросы, чуть оптимистичнее толкует ответы. Да и пациент, знающий, что получил «настоящее», уже настроен на улучшение. Ожидания — с обеих сторон — незаметно подкрашивают результат. Слепой метод убирает это: участники не знают, в какой они группе, а в двойном слепом — не знает и сам исследователь, пока опыт не закончен. Так вычитается ещё и самообман через ожидание. Это и есть суть научной строгости: не в том, что учёные умнее, а в том, что они заранее не доверяют себе и выстраивают препятствия собственным иллюзиям. Хорошее доказательство — то, которое устроено так, чтобы обмануть себя было трудно.

7. Как пользоваться лестницей

В быту вам не проводить экспериментов — но шкала работает как встроенный измеритель веса любого довода. Услышав «это точно работает, вот смотрите», задайте три вопроса. Первый: это история или данные? Одна история — иллюстрация, не доказательство. Второй, главный: а с чем сравнивали? Была ли контрольная группа, или это «после — значит, вследствие»? Третий: могло ли быть иначе — само прошло, плацебо, совпадение, отбор отзывов?

Эти вопросы не превращают вас в зануду, который ничему не верит. Они лишь помогают взвешивать: к доводу с вершины лестницы отнестись серьёзно, к анекдоту снизу — с интересом, но без доверия, а большинство рекламных «доказано» спокойно распознать как истории в костюме науки. И честно признавать ступень собственных убеждений: многое из того, во что мы верим, стоит на анекдотах — и это нормально, если помнить об этом. В следующей лекции поднимемся к вопросу, тесно связанному с доказательствами, но всё же отдельному: как оценивать не само доказательство, а того, кто его приводит, — источник.

Итоги

• Одна история — иллюстрация, а не доказательство: анекдот показывает исключение и молчит о правиле.
• У любого «мне помогло» есть четыре самозванца: само прошло, плацебо, совпадение (регресс к среднему), параллельные причины.
• Главный секрет хорошего доказательства — сравнение с контрольной группой: вопрос «а с чем сравнивали?» вскрывает половину сомнительных заявлений.
• Лестница доказательств: анекдот → отзывы → наблюдение → контролируемое сравнение → эксперимент со слепым методом → воспроизведение и обзор.
• «Много отзывов» не спасает: систематический отбор перекашивает выборку, а количество слабых доказательств не даёт сильного.
• Слепой и двойной слепой метод вычитают самообман через ожидание; хорошее доказательство устроено так, чтобы обмануть себя было трудно.

Вопросы для самопроверки

1. Почему единичная история — слабое доказательство, даже если она правдива? Что такое «мёртвые не дают интервью»?
2. Назовите четырёх самозванцев, объясняющих улучшение помимо самого средства. Как контрольная группа их вычитает?
3. Расставьте по силе: отзыв, эксперимент со слепым методом, наблюдённая корреляция, обзор исследований. Обоснуйте порядок.
4. Почему тысяча отзывов не сильнее одного аккуратного исследования? При чём тут систематический отбор?
5. Зачем нужен слепой метод, если контрольная группа уже есть? От какого обмана он защищает?

Литература

• Мейстер А. «Концептикон. Семь линз для ясного мышления» — семь способов смотреть на одну и ту же ситуацию и что каждый из них показывает.
• Бен Голдакр. «Обман в науке» — как отличать настоящие доказательства от их имитации в медицине и рекламе.
• Карл Саган. «Мир, полный демонов» — глава о «наборе инструментов против чуши».
• Дарел Хафф. «Как лгать при помощи статистики» — классика об отборе и подмене доказательств.

❓ Частые вопросы

Почему личная история — не доказательство?

Потому что это одна точка, вырванная из тысяч: мы не знаем, скольким то же средство не помогло (о них не рассказывают), что ещё происходило с человеком и не показалось ли ему. Анекдот не лжёт, но показывает исключение и молчит о правиле — как «бабушка, курившая до девяноста»: она есть, а миллионы умерших от курения интервью не дают.

Почему «мне помогло» ещё не значит, что помогло средство?

Потому что у улучшения есть четыре других объяснения: болезнь прошла сама (естественное течение), сработал эффект плацебо (помогла вера), это совпадение или регресс к среднему (после пика плохого всегда легчает), помогло что-то ещё (поспал, поел). По одному случаю отделить настоящий эффект от них нельзя — нужна контрольная группа.

Что такое контрольная группа и зачем она нужна?

Это те, кто средство не принимал, но во всём остальном такие же. Она отвечает на вопрос «а что было бы, если бы мы ничего не делали?». Естественное течение, плацебо и совпадения касаются обеих групп и вычитаются — остаётся только разница, которая и есть эффект средства. Вопрос «а с чем сравнивали?» вскрывает половину сомнительных заявлений.

Тысяча отзывов — это же убедительно?

Нет: тысяча анекдотов — это тысяча анекдотов, а не эксперимент. Отзывы оставляют не все, а восторженные и возмущённые — это систематический отбор, перекашивающий выборку. И никто из них не сравнивал себя с контрольной группой. Одно аккуратное исследование со слепым методом весит больше миллиона отзывов: сила не в числе рассказчиков, а в устройстве проверки.

Это третья лекция курса «Критическое мышление». В следующей перейдём от самого доказательства к тому, кто его приводит: как оценивать источник — экспертность, предвзятость, интерес. А любое «доказано, что…» всегда можно разобрать по лестнице вместе с Фреди.