06. Протокол фактчекинга: ваш главный навык

Все, о чем мы говорили до сих пор, работало на скорость. Эта часть работает на то, чтобы скорость не обернулась катастрофой. Если из всего курса вы усвоите только один навык, пусть это будет именно он.

Ранее я обещала, что покажу, как превратить проверку из мучительной обязанности в быструю привычку. Выполняю обещание. Секрет не в том, чтобы перепроверять все подряд до изнеможения, так вы и правда потеряете больше времени, чем сэкономили. Секрет в системе: проверять с умом, в нужных местах и в правильном порядке. И разговор пойдет не в теории, а на конкретных примерах, как подделка выглядит и как ее ловят за минуту.

Как выглядит ошибка ИИ: три примера с натуры

Абстрактное «модель иногда ошибается» ничему не учит. Поэтому посмотрим на три самые опасные ошибки вблизи так, как они приходят к вам в чат.

Пример 1. Фальшивая ссылка. Вы просите подобрать литературу и среди прочего получаете такую запись:

Miller, J., & Roberts, K. (2019). Digital overload and teacher burnout. Journal of Educational Psychology, 111(4), 623–640. https://doi.org/10.1037/edu0000345

Выглядит безупречно: настоящий журнал, правдоподобные том и страницы, DOI как живой. Открываете ссылку, а по ней либо пусто, либо совсем другая статья. Ищете название в Google Scholar, и там не находится. Журнал существует, а этой работы в нем нет. Модель собрала ссылку из деталей, которые «обычно бывают» у настоящих статей, и получилась идеальная по форме пустышка.

Пример 2. Реальный источник, приписанный вывод. Здесь все гораздо хуже. Модель пишет:

Как показали Maslach и Jackson (1981), цифровая коммуникация со студентами во внерабочее время — ведущая причина выгорания преподавателей.

Ссылка настоящая: работа Maslach и Jackson 1981 года действительно существует и действительно о выгорании. Вот только она посвящена методике его измерения, а ни про какую «цифровую коммуникацию» в 1981 году и речи быть не могло. Источник реальный, а вывод к нему пришит чужой. Это коварнее прямой выдумки: ссылка проходит беглую проверку, и искажение спокойно доезжает до вашей рукописи.

Пример 3. Уверенно угаданное число. Вы вставляете в чат таблицу с баллами выгорания сорока опрошенных преподавателей и просите: «посчитай средний балл и долю тех, кто выше клинического порога». Модель мгновенно выдает: «Средний балл: 3,8; выше порога: 42,5%». Выглядит точно и по делу. Вот только она эти числа не вычислила, а прикинула на глаз, подобрала правдоподобные, как подбирает слова. Пересчитайте сами (или, как мы разберем в части об анализе данных, попросите ее написать код и выполнить его) и цифры скорее всего окажутся другими. Модель гладко считает словами и плохо считает числами.

Все три случая роднит одно: правда и вымысел поданы с одинаковой уверенностью, и по тону ошибку не поймать. Поэтому нужна процедура. Но применять ее ко всему подряд не надо, только к тому, что вправду рискованно.

Проверяйте всегда: ссылки и цитаты; приписанные источникам выводы; любые числа и расчеты; свежие данные (о них модель по памяти не знает); факты в узкой теме, которые не с чем сверить. Проверять глубоко не нужно там, где исходный смысл под вашим контролем: редактура вашего же текста, мозговой штурм, структурирование, черновой перевод: вы и так видите результат. Бдительность тратьте туда, где ошибку не поймаешь на глаз.

Первая линия обороны: промпты-ограничители

Проверять проще, когда ошибок с самого начала меньше. Правильно поставленный запрос заметно снижает число выдумок еще до того, как вы возьметесь их искать.

Поэтому не ограничивайтесь краткой формулировкой:

«Найди научные статьи о влиянии формативного оценивания на успеваемость студентов».

Сразу задайте критерии поиска и попросите ИИ подтвердить релевантность каждого источника. Например:

Мне нужны источники для обзора литературы.

Тема: влияние формативного оценивания на академическую успеваемость студентов бакалавриата.

Вопрос: есть ли устойчивый эффект и от каких условий он зависит.

Где искать: журналы из Scopus и Web of Science, а также российские издания из перечня ВАК и ядра РИНЦ. Годы: 2018–2026. Только рецензируемые эмпирические исследования и систематические обзоры; препринты, тезисы конференций и учебные пособия не нужны.

Контекст: приоритет работам на материале высшего образования России и постсоветских стран. Зарубежные включай, если выводы переносимы, и указывай, в какой образовательной системе проводилось исследование.

Объем: не больше 10 источников, отсортированных по релевантности. Если строго подходящих меньше, верни только их и укажи, сколько нашлось всего.

По каждому источнику:

• авторы, год, название, журнал и его индексация, DOI;
• дизайн исследования;
• выборка: кто, сколько человек, страна;
• дословная цитата в одно-два предложения с ключевым выводом по моему вопросу;
• раздел и страница, где эта цитата находится.

Правило: не включай источник, если не можешь привести дословную цитату. Пересказ не подходит.

Последний пункт особенно важен. ИИ всегда может пересказать статью своими словами, в том числе такую, которой нет. Он должен показать вам конкретный фрагмент, на основании которого считает ее релевантной.

Мне нужны источники для обзора литературы.
Тема: [тема в одном предложении]. Вопрос: [что именно вы хотите выяснить].
Где искать: [базы и типы изданий, например, Scopus и Web of Science, перечень ВАК, ядро РИНЦ]. Годы: [диапазон]. Только [тип работ: рецензируемые эмпирические исследования, систематические обзоры, теоретические статьи]; [что исключить: препринты, тезисы конференций, учебные пособия, диссертации] не нужны.
Контекст: приоритет работам на материале [страна, регион, период, тип институции или другая рамка]. Остальные включай, если выводы переносимы, и указывай [в каком контексте проводилось исследование].
Объем: не больше [число] источников, отсортированных по релевантности. Если строго подходящих меньше, верни только их и укажи, сколько нашлось всего.
По каждому источнику:
- авторы, год, название, журнал и его индексация, DOI;
- тип работы и метод;
- на чем основано исследование: [выборка, корпус, набор данных, кейс];
- объем, страна, период;
- дословная цитата в одно-два предложения с ключевым выводом по моему вопросу;
- раздел и страница, где эта цитата находится.
Правила:
- не включай источник, если не можешь привести дословную цитату. Пересказ не подходит.
- не выдумывай ссылки, DOI, названия статей и данные. Если источник не найден или ты не уверен в его существовании, прямо напиши: «источник не подтвержден».
- не приписывай статье вывод, если он не следует из ее аннотации, результатов или обсуждения.
- если данных недостаточно, задай уточняющий вопрос или напиши, каких данных не хватает.

Но здесь важно не обмануться. Ограничители снижают риск, а не отменяют проверку. Модель вполне способна пообещать «привожу только реальные ссылки» и следующей же строкой привести выдуманную. Это первая линия обороны, а не единственная.

Сердце протокола: проверка источников

Раз ссылки — главная зона риска, с них и начнем. Правило, которое стоит запомнить намертво: ни один источник не существует, пока вы не открыли его в оригинале.

Полученную выборку источников проверить можно очень быстро. Проходим по порядку три шага. Первые два механические, на десять источников уйдет не более пяти минут.

1. DOI. Вставьте его на doi.org. Смотрите не на то, открылось ли что-то, а на то, совпадают ли название, авторы и год. Ссылка, которая ведет на другую статью, — самая частая находка на этом шаге.
2. Цитата. Откройте текст и найдите ее поиском. Искать лучше по четырем-пяти словам из середины фразы, а не по всей цитате целиком: переносы, лигатуры и типографские тире ломают точное совпадение, и настоящая цитата может «не найтись» из-за форматирования. Если не находится и по фрагменту, вычеркиваем источник.
3. Контекст. Единственный шаг, где нужны вы. Прочитайте абзац вокруг цитаты и ответьте на один вопрос: о том ли этот фрагмент. Та ли выборка, нет ли оговорки в следующем предложении, и не пересказывают ли авторы здесь чужой результат, тогда вы цитируете не их, а того, на кого ссылаются они.

Получается простая схема:

ИИ ищет → показывает основание → вы проверяете первоисточник и контекст.

Как понять, на чем основан ответ модели

Еще один момент, на котором стоит остановиться отдельно. Мы должны каждый раз понимать, на чем основан ответ модели: память, веб-поиск или ваши файлы. Вопрос напрашивается сам собой, а как это, собственно, увидеть?

Самый надежный ответ — не угадывать постфактум, а задавать режим самому. Источник, из которого отвечает модель, в основном определяете вы. Оставили обычный чат, ничего не приложив и не включив поиск, модель отвечает по памяти, и вся конкретика под подозрением. Включили веб-поиск или режим глубокого исследования, она идет в интернет. Прикрепили файл и попросили работать с ним, она опирается на ваш документ.

То есть чаще всего вы не выясняете режим задним числом, а выбираете его заранее под задачу: нужны факты и ссылки, включите поиск или дайте файлы, не оставляйте модель наедине с памятью.

Есть и видимые признаки. Когда система ходила в сеть, интерфейс почти всегда это показывает: строка «ищу в интернете», список открытых сайтов, кликабельные сноски в ответе. Если под утверждениями есть живые ссылки, которые открываются, работал веб. Если же ответ идет сплошной прозой без единого источника, это почти наверняка память, как бы уверенно он ни звучал.

А вот чему верить не стоит — это словам самой модели о собственной работе. На вопрос «ты искал в интернете?» она может бодро ответить «да, конечно» и привести выдуманные ссылки просто потому, что такой ответ выглядит правдоподобно. Модель не наблюдает за собственным процессом и честно отчитаться о нем не способна. Поэтому опирайтесь на то, что видно и что открывается, на включенный режим и реальные ссылки, а не на ее заверения.

Угодничество: когда ИИ говорит то, что вы хотите услышать

Модели склонны соглашаться с собеседником и подстраиваться под его ожидания: это свойство называют угодничеством (sycophancy). Для ученого оно опаснее всего, потому что бьет в желание получить подтверждение собственной правоты.

Покажу на контрасте. Допустим, у вас гипотеза, что выгорание сильнее у молодых преподавателей.

• Запрос с зашитым ожиданием: «Подтверди, что молодые преподаватели выгорают сильнее опытных». В ответ получаем стройный список доводов «за» и ни слова о том, что данные противоречивы.
• Тот же вопрос без нажима: «Оцени, выгорают ли молодые сильнее опытных: аргументы за и против». В ответе уже контрдоводы, оговорки, признание, что тема изучена слабо.

Факты одни и те же — вывод противоположный. В первом случае вы получили не оценку, а эхо собственных слов и вышли из диалога с ложной уверенностью, будто эксперт с вами согласился.

Как распознать поддакивание:

• гладкое согласие без единого возражения;
• модель повторяет вашу же формулировку;
• на вопрос «а где слабые места?» отвечает вяло и общо.

Три приема против него:

1. Формулируйте нейтрально. Не «докажи, что X верно», а «оцени X: аргументы за и против».
2. Просите оспорить. «Выступи оппонентом, найди изъяны», прием красной команды из пятой части.
3. Проверяйте на свежую голову. Тот же вопрос в новой сессии или другой модели, без наводок. Ответ поменялся, значит, первый вы, по сути, продиктовали сами.

Как проверять то, в чем вы пока не эксперт

Все, что описано выше, отлично работает, когда вы понимаете предмет. Но есть отдельная, более сложная ситуация: модель рассказывает о теме, в которой вы не специалист, и вы физически не можете «на глаз» отличить корректное утверждение от звучащего похоже, но неверного. Это главная проблема новичка в фактчекинге: в своей области ошибку модели вы, скорее всего, заметите, а в новой — нет.

Здесь помогает не попытка мгновенно стать экспертом, а правильная последовательность действий.

1. Сначала установите базовую картину, а не проверяйте узкое утверждение.

Не начинайте с самой конкретной статьи. Если модель рассказывает вам о малоизвестном методе или явлении, сначала найдите что-то одно из следующего:

• обзорную статью по теме;
• учебник или академическую монографию;
• официальное руководство или методические рекомендации;
• систематический обзор или метаанализ, если они существуют.

Ваша задача на этом этапе не доказать конкретный факт, а понять терминологию и общую картину.

Пример. Если вы впервые сталкиваетесь со статистическим методом, который упомянула модель, сначала выясните: для чего он вообще применяется, какие данные ему нужны и какие у него основные ограничения. После этого гораздо легче заметить, когда модель использует метод совершенно не по назначению, например, применяет метод для малых выборок к описанию большого массива данных, а это уже методологическая ошибка, которую видно даже без глубокой экспертизы, если вы знаете это базовое ограничение.

2. Используйте правило двух независимых источников.

Для важного утверждения желательно найти не одно, а хотя бы два независимых подтверждения.

Пример. Модель утверждает: «Метод X рекомендуется для анализа Y». Найдите:

• оригинальную методологическую работу, где метод впервые описан или обоснован;
• независимый обзор, учебник или официальное руководство, которое к этой работе не сводится.

Если оба источника независимо друг от друга приходят к одному выводу, уровень уверенности повышается.

3. Ищите красные флаги, их видно даже без специальных знаний.

• статья существует, но в ней нет указанной цифры;
• цифра относится к другой выборке или другой подгруппе, чем утверждает модель;
• модель превращает корреляцию в причинность;
• вывод в самой статье значительно осторожнее, чем вывод, который сделала модель;
• один источник используется для доказательства слишком большого количества разных утверждений подряд;
• несколько «независимых» источников на поверку оказываются пересказами одного и того же исследования;
• утверждение звучит слишком категорично: «доказано», «всегда», «никогда», «все исследования показывают».

Последний пункт особенно важен: в научном тексте абсолютные формулировки требуют особенно сильных доказательств, и их стоит проверять в первую очередь, даже если вы совсем не разбираетесь в теме.

Правило подписи

Под всем этим лежит один принцип. Работу подписываете вы. Для науки и этики нет разницы, ошиблись вы сами или переписали ошибку у ИИ: отвечаете вы, и репутация страдает ваша.

Поэтому относитесь к любому фрагменту от модели как к черновику способного, но безответственного стажера: идей много, пишет бойко, за фактами не следит. Такой черновик вы не отправите в журнал не читая, и это не паранойя, а обычная профессиональная гигиена.

Протокол мы будем включать на каждом этапе: при поиске источников, при анализе данных, при финальной вычитке рукописи. Скоро он станет фоновым навыком.