Проверка на правду: как ловить галлюцинации ИИ

Представьте: вы готовите доклад и просите нейросеть подкрепить мысль фактом. Она отвечает мгновенно и красиво: «По данным исследования Кембриджского университета 2019 года, 73 процента людей принимают решения именно так — см. статью Джонсона в „Журнале когнитивной психологии“». Точная цифра, солидный университет, конкретный автор, название журнала. Вы вставляете это в работу, произносите в споре, побеждаете. А через неделю кто-то дотошный лезет проверять — и не находит ничего. Ни статьи Джонсона, ни этого исследования, ни таких 73 процентов. Всё выдумано. Причём выдумано так убедительно, что вы ни на секунду не усомнились. Сегодня — о том, как эта ловушка устроена и как из неё не попадаться.

1. Одинаковый голос для правды и для вымысла

В первой лекции курса мы уже называли главную странность этих систем: нейросеть не знает, что говорит правду. Она собирает правдоподобный текст, а не сверяется с реальностью. Сегодня углубим самое опасное следствие этого факта.

Вот в чём беда. Когда человек не уверен, это обычно слышно. Он тянет паузу, оговаривается «кажется», «вроде бы», отводит глаза. У нейросети такого предохранителя нет. Она выдаёт выдуманную цифру ровно тем же гладким, уверенным тоном, что и общеизвестный факт. Нет ни дрожи в голосе, ни оговорки, ни сноски «тут я не уверена». Идеально круглая интонация — и над правдой, и над вымыслом.

Запомните это как главный тезис лекции: уверенность тона ничего не говорит о правдивости. Красивая формулировка, точное число, ссылка на авторитет — это не признаки истины, это признаки хорошо построенного текста. А строить хороший текст модель как раз умеет блестяще. Именно поэтому вымысел от неё опаснее, чем от человека: он приходит без единого сигнала тревоги.

2. Что модель выдумывает охотнее всего

Галлюцинируют не одинаково по всему полю. Есть места, где вымысел почти неизбежен, и знать их — половина защиты.

Тяжелее всего модели даётся всё точечное и проверяемое. Числа и проценты — она подставит правдоподобную цифру вместо настоящей. Даты — сдвинет год, перепутает век. Имена — присвоит цитату не тому человеку. Цитаты — соберёт фразу, которую герой никогда не произносил, но мог бы. И отдельная больная тема — ссылки на источники. Нейросеть с поразительной лёгкостью выдумывает несуществующие книги, статьи и исследования: правдоподобное название, настоящий автор, солидный журнал, конкретный год — и ничего этого нет в природе. Она не лжёт в человеческом смысле, она достраивает форму «здесь должна быть ссылка» до убедительного вида.

А вот там, где нет точечных фактов, галлюцинировать почти не в чем. Пересказать общеизвестную идею, объяснить понятие, причесать ваш черновик, накидать варианты формулировок — здесь модель сильна и надёжна. Разница именно в этом: широкое и общеизвестное — безопасно, точечное и проверяемое — зона риска.

3. Светофор доверия: где можно расслабиться, а где нет

Чтобы не проверять всё подряд и не проверять слишком мало, держите в голове простой светофор. Он делит любой ответ нейросети на три зоны по уровню доверия.

Обратите внимание: светофор не говорит «нейросети нельзя верить». Он говорит, где верить безопасно, а где сначала сверить. Большая часть работы с ИИ — зелёная зона, и это хорошая новость. Опасна узкая красная полоса — и вот её надо знать в лицо.

4. Три приёма, которые ловят вымысел

Теория без действия быстро выветривается, поэтому — три конкретных приёма. Они занимают минуты и снимают почти весь риск.

Приём первый — спросите источник. Прямо в диалоге: «Откуда это? Приведи источник». Модель назовёт книгу, статью, ссылку. Но — и это критически важно — сам факт, что она назвала источник, ещё ничего не доказывает: источник она тоже может выдумать. Поэтому приём второй: проверьте сам источник. Скопируйте название, автора, год — и найдите их в настоящем поиске, в реальной библиотеке, на сайте издания. Существует ли эта статья? Писал ли этот человек эту книгу? Есть ли там эта цифра? Половина выдуманных ссылок отваливается на первом же запросе — их просто нет. Приём третий — перепроверьте сам факт независимо: не «подтвердила ли себя нейросеть», а есть ли это в реальном мире, вне разговора с ней. Один независимый источник со стороны стоит больше, чем сколько угодно уверений модели.

Свести всё можно к одному правилу: не доверяйте нейросети в том, что одновременно важно и проверяемо. Неважное — не тратьте силы. Непроверяемое — там и проверять нечего. А вот на пересечении «важно и проверяемо» — всегда сверяйте сами. Это тот же навык, что мы разбирали в курсах критического мышления и медиаграмотности: там мы учились не верить красивому заголовку на слово — здесь ровно то же самое, только источник соблазнительнее, потому что отвечает лично вам и очень складно.

5. Суд: где здесь правда, а где перегиб

Взвесим тему честно, без паники и без благодушия. Правда в том, что галлюцинации реальны, встречаются регулярно и особенно густы там, где цена ошибки высока: точные факты, источники, свежие данные. На важном и проверяемом слепое доверие нейросети — прямой путь опозориться или навредить.

Но есть и другая сторона, и её нечестно замалчивать. Проверка стоит времени, и проверять всё подряд — невротизм, который убивает всю пользу инструмента. Для черновика, для мозгового штурма, для «переформулируй мне это яснее» проверка не нужна вообще: там нечего проверять. Опасность живёт не везде, а в узкой зоне — где важно и проверяемо одновременно. Туда и направляйте бдительность, остальное отпустите.

И ещё одно, чтобы снять лишние эмоции. Нейросеть не злонамеренно врёт. У неё вообще нет понятия истины — а значит, нет и намерения обмануть. Она не хитрит и не выкручивается, как человек, который знает правду и прячет её. Она просто достраивает правдоподобный текст, не отличая выдуманную ссылку от настоящей. Обижаться на неё за это так же бессмысленно, как обижаться на калькулятор. Наша задача не разоблачить злодея, а помнить об устройстве инструмента и подставлять проверку там, где он предсказуемо промахивается.

Итоги лекции

Вопросы для самопроверки

1. Объясните своими словами, почему вымысел от нейросети опаснее, чем неуверенность живого человека.
2. В чём разница между проверяемым и непроверяемым утверждением? Приведите свой пример каждого.
3. Почему недостаточно просто попросить у модели источник — что нужно сделать дальше и зачем?
4. К какой зоне светофора вы отнесёте просьбу «перескажи сюжет известного романа», а к какой — «назови точный тираж его первого издания»? Обоснуйте.
5. Приведите случай из своей жизни, когда вы поверили красиво поданной информации без проверки. Как здесь помог бы принцип «важно и проверяемо»?

Литература

Даниэль Канеман, «Думай медленно… решай быстро» — о том, как уверенность ощущения обманывает нас и почему беглость мысли мы принимаем за истину. Карл Саган, «Мир, полный демонов» — классический набор инструментов проверки сомнительных утверждений, применимый один в один к ответам ИИ. Наши собственные курсы «Критическое мышление» и «Медиаграмотность» — там мы подробно разбираем, как оценивать качество доказательств и не верить источнику на слово; эта лекция — их прямое продолжение применительно к нейросетям.

Разобравшись с доверием и научившись ловить вымысел, в следующей лекции перейдём к главному — как применить нейросеть к реальной работе так, чтобы её сила приносила пользу, а слабые места оставались под контролем.