ИИ-галлюцинации: где модель выдумывает факты и как их проверять

Короткий ответ

Галлюцинация ИИ — это правдоподобное, но ложное утверждение: вымышленная цифра, событие, цитата или ссылка. Большая языковая модель (LLM) строит продолжение текста, а не гарантированно извлекает запись из проверенной базы.

Ответ можно использовать как черновик. Но проверяемый факт нужно отметить, сверить с первичным источником, проверить независимо и передать ответственному человеку.

Зачем это читателю

Проверять весь ответ с одинаковой тщательностью долго. Доверять всему опасно: одна выдуманная цифра или ссылка может попасть в рекламу, отчёт или решение руководителя.

Лестница проверки помогает направить время туда, где ошибка дороже. На выходе остаётся карточка: что утверждаем, чем подтверждаем и кто разрешил использовать факт.

Почему уверенный тон ничего не доказывает

Текстовый ассистент подбирает продолжение по закономерностям обучения и контексту запроса. Поэтому он быстро объясняет и сравнивает, но тем же способом может собрать гладкую фразу о факте, которого нет.

Исследователи OpenAI называют галлюцинациями правдоподобные, но ложные утверждения. Их работа выделяет две части механизма.

Сначала модель учится предсказывать продолжение по текстам без готовой метки «истина» для каждого предложения. Затем оценка только по точности может поощрять догадку вместо признания неопределённости.

Это не единственное объяснение ошибки. Оно показывает главное для работы: беглость текста и надёжность факта — разные свойства.

У модели нет человеческой уверенности или намерения обмануть. Фраза «я уверен» — тоже часть сгенерированного текста. Доверять стоит не тону, а доступному доказательству и подходящей процедуре проверки.

Где выдумки концентрируются

Проверять каждое слово одинаково дорого. Начинайте с пяти зон, где красивый черновик особенно легко принять за факт.

1. Точные числа. Размер рынка, рост продаж, средний чек, доля аудитории и любая цифра после запятой выглядят убедительно. Для них нужны источник, период, единица измерения и метод расчёта.
2. Названия и реквизиты. Исследования, компании, должности, номера документов, цитаты, ссылки и ISBN можно правдоподобно сконструировать из знакомых деталей.
3. Свежие и локальные сведения. Тариф, функция сервиса, региональная статистика или действующее правило могли измениться либо вообще не входить в доступный контекст.
4. Редкие исключения. Ответ часто передаёт общее правило и теряет условия, при которых оно не действует. В договоре или инструкции именно исключение может быть главным.
5. Склейка нескольких источников. По отдельности факты могут существовать, но итоговый вывод, причинная связь или сравнение не следуют из них автоматически.

Поиск внутри ассистента уменьшает часть работы, но не отменяет проверку. Найденная страница — лишь кандидат на источник.

Доказательством она становится после того, как человек открыл документ и убедился: он подтверждает именно эту формулировку, для нужного периода и географии.

Пример

Представим учебный сценарий, а не реальный кейс. Сеть из 12 кофеен в Екатеринбурге готовит пост о запуске программы лояльности.

Маркетолог просит ИИ написать обоснование и получает фразу: «Рынок мобильных программ лояльности в Свердловской области вырос на 37% по отчёту Ассоциации цифровой розницы за 2025 год».

Фраза удобна для макета, но содержит сразу четыре проверяемые части: существование ассоциации, существование отчёта, география исследования и показатель 37%. Ссылка, которую ассистент выдаст по следующей просьбе, ещё не решает задачу.

Маркетолог проходит лестницу и не находит официального отчёта с таким названием. Утверждение удаляют целиком: слова «возможно» и «по некоторым данным» не создают доказательство.

Команда заменяет псевдофакт проверяемыми сведениями о продукте: как начисляются бонусы, где лежат правила и к кому обратиться. Владелец программы сверяет текст с утверждённой версией документа.

Ценность проверки здесь не в том, что человек «поймал нейросеть». Команда вовремя изменила тип доказательства: вместо эффектной, но неподтверждённой статистики использовала сведения, которыми владеет и за которые может отвечать.

Практика: лестница проверки утверждений

Эту лестницу можно вставить в редакционный регламент. Поднимайтесь выше, если ошибка способна повлиять на деньги, обязательства, репутацию или безопасность.

Ступень 1. Выделить утверждение

Отметьте всё, что внешний читатель может проверить: число, дату, имя, событие, цитату, причинную связь. Отделите это от рекомендации и гипотезы. Формулировка «можно протестировать» не равна формулировке «это увеличит продажи».

Ступень 2. Найти первичный источник

Ищите документ того, кто создал данные или установил правило: официальный отчёт, исходное исследование, справку продукта, внутреннюю выгрузку с владельцем. Пересказ в подборке помогает найти след, но не заменяет оригинал.

Ступень 3. Сверить точный смысл

Источник должен поддерживать именно вашу фразу. Проверьте период, географию, выборку, единицы, определения и дату обновления. Реальная ссылка может вести на материал, который говорит о другом.

Ступень 4. Проверить независимо

Пересчитайте сумму из исходных строк, сопоставьте её с независимым источником или попросите коллегу проверить утверждение без просмотра ответа ИИ.

Команда той же модели «теперь проверь себя» может найти слабое место. Но это не независимое доказательство.

Ступень 5. Назначить владельца

Человек с подходящей компетенцией принимает решение: опубликовать, смягчить, заменить или удалить. Чем выше ущерб от ошибки, тем важнее предметный эксперт и зафиксированное одобрение.

Копируемая карточка для одного факта:

Утверждение:
Тип: факт / расчёт / вывод / гипотеза
Цена ошибки: низкая / средняя / высокая
Первичный источник и дата:
Что именно источник подтверждает:
Независимая проверка:
Решение: оставить / переписать / удалить
Ответственный человек:

Что лестница не решает

Лестница не превращает любой источник в истину. Исследование может быть слабым, официальный документ — устаревшим, а внутренняя выгрузка — ошибочной.

Для медицины, права, финансов, безопасности и других областей с высокой ценой ошибки нужны профильный специалист и правила конкретной организации.

Метод также не оценивает вкус и стратегическую уместность. Фраза может быть фактически верной, но бесполезной для аудитории. После фактчекинга остаются редакторская проверка, проверка бренда и решение владельца результата.

Наконец, точность зависит от задачи, данных и версии продукта. Универсального процента «правильных ответов ИИ» для всех сценариев нет. Проверяйте свой рабочий процесс на своих материалах.

Что делать

Перед следующей публикацией выполните короткий проход:

1. Подчеркните в черновике числа, имена, даты, цитаты, ссылки и причинные выводы.
2. Для каждого пункта заполните карточку хотя бы до третьей ступени.
3. Удалите утверждения, для которых не найдено подходящего доказательства. Не прячьте пробел за словами «вероятно».
4. Для расчётов откройте исходные строки и пересчитайте результат отдельно от модели.
5. Определите цену ошибки. Пост с обратимым обещанием и договор с обязательствами не должны проходить одинаковую проверку.
6. Запишите имя человека, который принял итоговую версию. Ответственность нельзя делегировать текстовому ассистенту.

FAQ

Что такое галлюцинация ИИ простыми словами?

Галлюцинация ИИ — это правдоподобное, но ложное утверждение модели: выдуманная цифра, дата, цитата, название исследования или ссылка. Большая языковая модель (LLM) подбирает продолжение текста по закономерностям обучения и контексту запроса, а не извлекает запись из проверенной базы. Поэтому гладкая формулировка и уверенный тон ничего не доказывают: беглость текста и надёжность факта — разные свойства. Ответ годится как черновик, но каждый проверяемый факт в нём нужно подтвердить отдельно.

Можно ли доверять ссылке, которую выдал ChatGPT или Claude?

Нет. Ссылка от ассистента — это кандидат на источник, а не доказательство. Модель может собрать правдоподобный адрес, название отчёта или номер документа из знакомых деталей, а настоящая ссылка нередко ведёт на материал о другом периоде, регионе или выборке. Доказательством страница становится только после того, как человек открыл документ и убедился, что он подтверждает именно вашу формулировку. Встроенный поиск сокращает работу, но проверку не отменяет.

Помогает ли попросить нейросеть проверить свой же ответ?

Частично. Команда «теперь проверь себя» иногда находит слабое место в черновике, но независимым доказательством её результат не является: проверку выполняет та же модель тем же способом, каким получен исходный текст. Независимая проверка — это пересчёт суммы из исходных строк, сверка с отдельным источником или коллега, который оценивает утверждение, не видя ответа ИИ. Самопроверку используйте как фильтр перед работой человека, а не вместо неё.

Нужно ли проверять каждое предложение в ответе ИИ?

Нет: время дешевле направлять в пять зон повышенного риска — точные числа, названия и реквизиты, свежие и локальные сведения, редкие исключения из правил, склейка нескольких источников в один вывод. Остальной текст обычно объясняет и структурирует, а не утверждает проверяемый факт. Список зон не зависит от ассистента — ChatGPT, Claude, YandexGPT или GigaChat: универсального процента правильных ответов для всех сценариев нет, поэтому проверяйте свой процесс на своих материалах.

Что делать, если источник для цифры из ответа ИИ не нашёлся?

Удалите утверждение целиком. Оговорки «возможно», «вероятно» и «по некоторым данным» не создают доказательства — они лишь маскируют пробел и переносят риск в публикацию. Вместо эффектной, но неподтверждённой статистики поставьте сведения, которыми компания владеет сама: условия продукта, правила программы лояльности, внутреннюю выгрузку с известным владельцем. Такой факт можно показать, датировать и закрепить за ответственным человеком.

Кто отвечает за ошибку, если текст подготовил ИИ?

Человек, который принял итоговую версию. Ответственность нельзя делегировать текстовому ассистенту, поэтому в карточке факта фиксируют само утверждение, его тип (факт, расчёт, вывод или гипотеза), первичный источник с датой, независимую проверку и имя владельца. Чем выше цена ошибки — деньги, обязательства, репутация, безопасность, — тем важнее предметный эксперт и зафиксированное одобрение. Для медицины, права и финансов нужны профильный специалист и правила конкретной организации.

Источники

• OpenAI Research: Why Language Models Hallucinate, опубликовано 5 сентября 2025 года, проверено 30 августа 2026 года. Источник определения и механизма; показатели моделей не переносились.
• NIST AI 600-1: Generative Artificial Intelligence Profile, опубликовано 26 июля 2024 года, проверено 30 августа 2026 года. Это рамка управления риском, а не оценка продукта.

Продолжить

Следующий урок — «Почему ИИ слишком легко с вами соглашается». Он поможет не принять удобный ответ за независимое подтверждение.

Затем выберите режим контроля в статье «Как проверять ответ ИИ по цене ошибки». Весь маршрут собран в хабе /learn/ai/.