Знакомая сцена. Человек просит нейросеть посоветовать книгу по теме — и получает уверенный ответ: автор, точное название, год, даже краткое содержание. Всё выглядит безупречно. Он идёт в магазин, в библиотеку, в поиск — а книги нет. Ни автора, ни названия, ничего. Модель не ошиблась в детали — она выдумала книгу целиком, ровным спокойным голосом, каким люди сообщают правду. То же случается с несуществующими ссылками, с цитатами, которых классик никогда не говорил, с законом, которого нет в кодексе. Сегодня разберёмся, почему так происходит — не как с багом, который скоро починят, а как со свойством самого устройства. Поняв это, вы перестанете обижаться на инструмент и научитесь им пользоваться.
Главная мысль одной фразой: чат-бот на основе ИИ — это не база знаний и не человек, а языковая модель, обученная предсказывать следующее слово; её сила и её выдумки растут из одного корня, поэтому верить ей на слово нельзя, а качество ответа зависит от того, как вы её спрашиваете. Разберём: кто вообще отвечает по ту сторону экрана; что значит «предсказывать следующее слово»; почему модель уверенно выдумывает факты; чем машина продолжения текста отличается от базы данных; где ей можно доверять, а где категорически нет; и почему отсюда всё решает ваш запрос.
1. Не человек и не энциклопедия: кто отвечает по ту сторону
Первая ошибка — самая естественная. Мы разговариваем с нейросетью словами, она отвечает связно, вежливо, по делу — и мозг автоматически подставляет привычный образ: с той стороны либо человек, который знает, либо справочник, где всё записано. Оба образа неверны, и именно из них растут все разочарования.
С человеком мы ждём, что он различает, где знает точно, а где гадает, и честно скажет «не помню». С энциклопедией мы уверены: если факта в ней нет — там будет пусто, а не выдумка. Нейросеть не делает ни того, ни другого. Она не хранит факты как ячейки в базе и не переживает разницы между «знаю» и «сочиняю». Она устроена принципиально иначе — и пока мы держим в голове ложный образ, её поведение кажется враньём или глупостью. На самом деле она честно делает ровно то, для чего создана.
Возьмём нашего Фреди — ИИ-помощника этого сайта. Когда он отвечает тепло и к месту, это не значит, что внутри сидит маленький психолог с картотекой случаев. Внутри — языковая модель, и понять её природу важнее, чем выучить список её умений.
2. Что значит «предсказывать следующее слово»
Представьте самую скучную на свете игру: вам дают начало фразы и просят угадать, каким словом она продолжится. «Утром я выпил чашку…» — вы, не задумываясь, скажете «кофе» или «чая». Вы угадали не потому, что где-то записано, что именно я пил, а потому что за жизнь слышали эту фразу тысячи раз и знаете, как обычно бывает. Языковая модель — это та же игра, доведённая до предела: её месяцами тренировали угадывать следующее слово на огромном массиве текстов, книга за книгой, статья за статьёй.
И вот что важно понять до конца. Когда модель пишет вам ответ, она не достаёт готовую мысль и не «вспоминает» — она раз за разом решает одну задачу: какое слово вероятнее всего идёт следующим? Поставила слово — снова спросила себя, что дальше, — и так до точки. Ответ рождается не из хранилища фактов, а из чувства языка: что здесь звучало бы естественно и правдоподобно.
Языковая модель
Языковая модель — программа, обученная на гигантском объёме текстов предсказывать следующее слово по предыдущим. Отсюда её сила: она впитала структуру человеческого языка и умеет говорить связно, гладко, по-человечески, обобщать и объяснять. Но отсюда же её слепое пятно: она моделирует не мир, а тексты о мире. Она знает, какие слова обычно стоят рядом, — но не проверяет, соответствуют ли они реальности. Живой пример: попросите её объяснить сложную идею простыми словами — выйдет прекрасно, потому что это задача про язык. Попросите точную дату малоизвестного события — и начинается зона риска, потому что это задача про факт.
3. Почему модель уверенно выдумывает факты
Теперь всё складывается. Если задача модели — выдать правдоподобное продолжение, то у неё нет отдельной кнопки «а это точно правда?». Правдоподобие и правда обычно совпадают: самое естественное продолжение фразы про столицу Франции — «Париж», и оно же верное. Но когда вы спрашиваете о том, чего в текстах почти не было — редкая книга, свежая новость, факт лично о вас, — совпадение ломается. Верного продолжения модель не выучила, а замолчать не умеет: её работа — продолжать. И она достраивает самое правдоподобное на вид: правильной формы название, убедительную фамилию, ссылку, которая выглядит как настоящая ссылка.
Это и называют галлюцинацией. Слово удачное: человек в галлюцинации не лжёт — он искренне видит то, чего нет. Модель точно так же «искренне» выдаёт выдумку, потому что внутри для неё выдумка и факт неотличимы: и то и другое — просто вероятное продолжение текста. Оттого и тон один — ровный и уверенный. Ждать, что она сама предупредит «дальше я сочиняю», бессмысленно: она не знает, что сочиняет.
Галлюцинация
Галлюцинацией называют случай, когда модель уверенно выдаёт правдоподобную выдумку за факт: несуществующую книгу, выдуманную цитату, битую ссылку, придуманную статистику. Это не сбой и не ложь — это прямое следствие устройства: модель обучена быть правдоподобной, а не правдивой, и не отличает одно от другого. Живой пример: студент просит подобрать научные источники для работы — получает аккуратный список с авторами и годами, сдаёт, не проверив, а половины работ не существует. Модель не хотела обмануть — она честно достроила текст, который выглядит как список литературы.
Устройте модели проверку на том, чего она знать не может. Задайте три вопроса подряд. Первый — про очень свежую новость этой недели. Второй — личный факт про вас, которого нет нигде в интернете: имя вашего школьного учителя, что вы ели вчера. Третий — точную дословную цитату из редкой или старой книги с указанием страницы. Не подсказывайте, что ответа может не быть. А теперь смотрите не на правильность, а на тон: заметьте, с какой ровной уверенностью она выдаёт то, чего знать не в состоянии, — ни тени сомнения, ни «я не уверена». Один этот опыт делает прививку от слепого доверия крепче любых объяснений.
4. Суд: где ей можно верить, а где нельзя
Из всего сказанного легко сделать неверный вывод — «раз врёт, значит, бесполезна». Это такая же ошибка, как считать её всезнающей. Инструмент мощный, просто он силён и слаб в разных местах, и граница проходит ровно там, где мы её провели: язык против фактов.
Где модель по-настоящему сильна — там, где ценится работа с языком, а не точность справки. Переписать корявый текст гладко. Собрать черновик письма, поста, плана. Объяснить сложную идею простыми словами и на примерах. Придумать варианты, названия, аргументы. Структурировать ваши же мысли, которые вы ей дали. Перевести, сократить, изменить тон. Во всём этом её задача — правдоподобный складный текст — совпадает с тем, что вам нужно.
А где доверять нельзя — там, где цена ошибки лежит на фактах. Точные цифры и статистика. Даты, имена, названия, цитаты. Ссылки и источники — их модель охотнее всего сочиняет. Свежие события: то, что случилось после её обучения, она в лучшем случае не знает, а в худшем додумает. Юридические, медицинские, финансовые детали, где ошибка дорого стоит. Здесь правило одно: любой факт, полученный от нейросети, — это не ответ, а гипотеза, которую нужно проверить в надёжном источнике. Честный итог суда: перед вами не оракул и не лжец, а очень способный собеседник, который блестяще говорит и не отвечает за точность слов.
5. Раз всё решает контекст — значит, всё решает ваш запрос
И здесь прячется главный практический вывод, ради которого стоило разбираться в устройстве. Если модель достраивает ответ, отталкиваясь от того, что вы написали, — то ваш текст запроса и есть та почва, на которой вырастает ответ. Скудный, размытый запрос даёт модели мало опоры — и она заполняет пустоту домыслами. Точный, полный контекстом запрос сужает поле правдоподобного и подводит её к тому, что нужно вам.
Иначе говоря, качество ответа — это во многом качество вопроса. Одна и та же модель на ленивый запрос выдаст воду и выдумки, а на продуманный — точную, полезную работу. Это не магия и не везение, это прямое следствие того, как она устроена. Именно поэтому следующая наша тема — как формулировать запрос: разберём по шагам, что дать модели, чтобы получить от неё лучшее и оставить как можно меньше места для галлюцинаций.
Итоги лекции
- Чат-бот на основе ИИ — не человек и не энциклопедия, а языковая модель; ложный образ порождает все разочарования.
- Её работа — предсказывать следующее слово: ответ рождается из чувства языка, а не из хранилища фактов.
- Отсюда сила: связная, человеческая речь, объяснения, обобщение, черновики.
- Отсюда слабость — галлюцинации: модель уверенно выдумывает, потому что обучена быть правдоподобной, а не правдивой.
- База данных, не найдя факта, молчит; машина продолжения текста — придумывает, и тем же уверенным тоном.
- Доверять можно работе с языком; нельзя — фактам, цифрам, датам, цитатам, ссылкам и свежим событиям: любой факт проверяйте.
- Модель достраивает по вашему запросу — поэтому качество ответа во многом равно качеству вопроса.
Вопросы для самопроверки
- Объясните своими словами, почему нейросеть — это не база знаний. В чём разница в поведении, когда нужного факта нет?
- Что значит «предсказывать следующее слово»? Приведите свой пример фразы, продолжение которой очевидно, — и объясните, откуда берётся эта очевидность.
- Почему модель выдумывает так же уверенно, как говорит правду? Свяжите ответ со словами «правдоподобие» и «правда».
- Приведите свой пример задачи, где модели стоит доверять, и задачи, где нельзя. Что общего у всех «опасных» задач?
- Почему из устройства модели следует, что качество ответа зависит от качества вашего запроса?
Литература
Мелани Митчелл, «Искусственный интеллект. Руководство для мыслящих людей» — ясный научпоп о том, как на самом деле работают современные нейросети и где проходят их границы. Стюарт Рассел, «Совместимость. Как контролировать искусственный интеллект» — о природе и рисках ИИ от одного из ведущих исследователей. Дэниел Канеман, «Думай медленно… решай быстро» — не про ИИ напрямую, но незаменимо для понимания, почему уверенный тон так легко принимают за правду, в том числе от машины.
🧠 Тренируйте разговор с ИИ прямо сейчас
Фреди — ИИ-собеседник этого сайта. Здесь можно на живом примере попробовать всё из курса: сформулировать запрос, довести ответ в диалоге, попросить сыграть оппонента.