Почему AI неправильно читает PDF — и как подготовить документ

На странице всё понятно. Почему в ответе иначе?

В документе две колонки. Человек дочитывает левую и переходит к правой. А в извлечённом тексте строки могут чередоваться: кусок первого объяснения, кусок второго, снова первое. Нейросеть получает уже перемешанный материал и пытается придать ему смысл. Иногда результат звучит настолько гладко, что испорченный порядок трудно заметить.

У работы с PDF есть несколько отдельных этапов: открыть файл, получить текст и изображения, восстановить структуру, найти нужное место и ответить на вопрос. Ошибка на любом из них может выглядеть как «AI не понял документ». Поэтому начинать полезнее с того, что модель действительно увидела.

Не каждый файл требует сложной подготовки. Если короткий документ с одной колонкой читается правильно, его можно использовать как есть. Дополнительная обработка нужна там, где она решает обнаруженную проблему, а не ради самого процесса.

Что находится внутри PDF

Расширение файла не сообщает, как устроены его страницы. В одном PDF хранится текст, который можно выделить. В другом — изображения отсканированных листов. Бывают и смешанные документы: несколько обычных страниц, затем скан приложения, затем схема.

Есть ещё сканы с распознанным текстовым слоем. Глаз видит фотографию бумаги, а поиск работает по буквам, которые программа добавила поверх или под изображением. Этот слой может содержать ошибки, даже когда сама страница выглядит хорошо.

Различие между извлечением существующего текста и распознаванием изображения подробно описано в документации pypdf. Извлечение читает данные из файла, OCR пытается распознать символы по картинке. Одно не заменяет другое во всех случаях. В частности, отсутствие текста при простом извлечении не означает, что страница пустая.

Простейшая проба — выделить абзац, скопировать его в обычный текстовый редактор и прочитать результат. Сохранились ли слова? Не поменялись ли местами строки? Есть ли пробелы и отрицания? Это быстрая диагностика конкретного места, а не проверка всего документа.

Сначала задача, потом способ подготовки

Для краткого обзора, точной цитаты и переноса таблицы нужны разные результаты. Запрос «изучи PDF» не объясняет, что считать успешной работой.

Если нужен общий обзор, достаточно правильно передать основные разделы и оговорки автора. Если требуется выписать условия совместимости, важны конкретные формулировки и исключения. Если нужно сравнить числовые показатели, на первый план выходят заголовки столбцов, единицы измерения и примечания.

Перед загрузкой можно сформулировать задачу так:

Найди в документе условия использования метода и его ограничения. Для каждого пункта укажи название раздела, страницу файла и короткий фрагмент, на который опирается ответ. Не дополняй документ внешними знаниями. Если нужное место не читается, перечисли его отдельно.

Это не гарантирует безошибочного ответа. Зато становится понятно, что именно предстоит сверять. Вместо расплывчатого пересказа получится список утверждений с адресами в исходнике.

Проверка файла перед загрузкой

Сначала стоит открыть несколько разных страниц: начало, середину, лист с таблицей и страницу приложения. Внешне похожие страницы могут быть подготовлены разными способами. Хороший первый лист ещё не означает, что весь файл содержит читаемый текст.

Удобно посмотреть на документ с трёх сторон:

• Вид страницы. Не обрезан ли край, правильно ли повёрнут лист, различимы ли мелкие подписи?
• Копирование текста. Сохраняются ли слова и порядок фрагментов после вставки в редактор?
• Навигация. Можно ли понять, где начинается раздел, к какой таблице относится примечание и как вернуться к найденному месту?

Не нужно исправлять всё заранее. Если задача касается одного приложения, подготовка именно этого приложения может оказаться разумнее обработки сотен ненужных страниц. Но вырезанный фрагмент должен оставаться понятным: вместе с таблицей нужны её название, единицы и относящиеся к ней сноски.

Оригинал лучше сохранить отдельно. Исправленный PDF, извлечённый текст и таблицы — рабочие производные. Когда возникает спор о слове или числе, возвращаются к исходному документу, а не к последней «улучшенной» копии.

Когда нужен OCR

OCR — распознавание текста на изображении. Оно полезно для сканов и фотографий документов, но не восстанавливает автоматически смысл плохо видимого места. Если на исходнике неразличим символ, правдоподобная догадка программы не становится достоверным чтением.

Например, OCRmyPDF добавляет к сканированному PDF текстовый слой, чтобы в документе можно было искать и копировать текст. Это удобный промежуточный результат. Его всё равно проверяют по изображению страницы, особенно в местах с числами, формулами и именами.

Перед распознаванием имеет смысл исправить поворот, сильный наклон и грубые дефекты скана. Если есть возможность получить исходный цифровой документ, это нередко полезнее попыток вытянуть буквы из размытой фотографии. Генеративная дорисовка текста для такой задачи не подходит: она может сделать строку красивее и одновременно изменить её.

Язык распознавания должен соответствовать документу, а для смешанного текста нужно проверить и кириллицу, и латиницу. В техническом материале похожие символы могут быть разными идентификаторами. В числах отдельно проверяются десятичные разделители, минусы и знаки сравнения.

Если текст уже нормально извлекается, повторный OCR не является обязательным улучшением. Сначала сравнивают результат на нескольких страницах. Лишняя обработка тоже способна внести ошибки.

Порядок чтения важнее красивого экспорта

После извлечения полезно читать текст не по диагонали, а несколько абзацев подряд. Заканчивается ли мысль до начала следующего раздела? Не вклинилась ли подпись к рисунку в середину предложения? Не повторяется ли название главы после каждой страницы?

У документа могут быть заголовки, абзацы, боковые примечания и сноски. Простое соединение всех найденных слов в одну строку эту структуру не сохраняет. Например, слово «исключение» в боковой плашке может относиться ко всему правилу, хотя после конвертации окажется далеко от него.

Существуют инструменты, которые явно представляют структуру документа. В формате DoclingDocument отдельно описываются текст, таблицы, изображения, иерархия и порядок чтения, а также сведения об исходном расположении. Это полезная модель организации данных, но наличие такого формата само по себе не доказывает, что конкретная страница разобрана правильно.

Для ручной подготовки можно обойтись проще: оставить понятные заголовки, обычные абзацы и отметки страниц. Удалять повторяющийся колонтитул допустимо, если он действительно служебный. А сноску, которая ограничивает вывод автора, выкидывать вместе с ним нельзя.

Иногда достаточно передать модели одну страницу изображением и отдельно её текст. Но и здесь стоит спросить, какой вход используется для ответа: текстовый слой, изображение или оба. Возможности обработки зависят от выбранного сервиса, поэтому факт успешной загрузки не означает, что вся визуальная часть документа была прочитана.

Таблица без заголовка теряет смысл

Числа в таблице могут остаться целыми, а вывод — стать неверным. Причина проста: значение перескочило в соседнюю строку, исчезла единица измерения или заголовок объединённых столбцов перестал относиться к данным.

Перед передачей таблицы полезно проверить четыре связи: число с названием строки, число с заголовком столбца, показатель с единицей измерения и таблицу с её примечаниями. Если одна связь потеряна, нейросеть может заполнить пробел знакомой интерпретацией.

Для простой таблицы подходит аккуратный текстовый формат. Для сложной — отдельный табличный файл с сохранёнными заголовками и пояснениями. Преобразование объединённых ячеек требует внимания: иногда общий заголовок нужно повторить в каждом относящемся к нему столбце, чтобы связь стала явной.

Допустим, в учебном примере рядом стоят столбцы «время обработки» и «объём файла». Значения 12 и 8 сами по себе ничего не объясняют. Без подписей нельзя понять, где секунды, где мегабайты и относится ли меньшая цифра к улучшению. Поэтому сверяется не только количество извлечённых чисел, но и их адреса.

Если результат нужен для расчёта, выбранные исходные значения лучше проверить вручную. Затем считать формулой или кодом, который можно просмотреть и повторить. Генерация красивого текстового вывода не заменяет арифметику.

Схемы, графики и формулы

Текстовая выгрузка может не передать то, что очевидно на рисунке: направление стрелки, цвет легенды, границу области или расположение индекса в формуле. В такой задаче нужен сам визуальный фрагмент, а иногда и соседний абзац с пояснением.

У графика проверяют названия осей, единицы, масштаб и легенду. Не стоит просить точное значение по размытой линии, если исходные данные недоступны. Можно получить приблизительное чтение с явно обозначенной погрешностью или отказаться от числа, которое нельзя уверенно снять.

У формул значимы скобки, индексы и дробные черты. Если модель переписала выражение, его сравнивают символ за символом с оригиналом. Объяснение после неверно прочитанной формулы может быть логичным, но относиться уже к другому выражению.

Для учебного материала иногда хочется сразу перерисовать сложную схему. Здесь лучше разделить два действия: сначала проверить смысл исходника, потом создавать новую иллюстрацию. Такой порядок полезен и при подготовке практических материалов по нейросетям и монтажу, которыми занимается Timesaver VFX: понятная картинка должна объяснять уже проверенную мысль.

Если новую иллюстрацию собирают в ComfyUI, техническую сторону можно сверить с русскоязычным справочником по этой среде. Но генератор изображений не заменяет извлечение фактов из PDF: названия, числа и связи переносятся из проверенного материала, а не придумываются в процессе рисования.

Как разделить большой документ

Удобная граница проходит по смыслу: глава, вопрос, группа связанных таблиц. Ровные куски по одинаковому числу страниц проще нарезать, но они могут разорвать правило и исключение или оторвать подпись от рисунка.

К каждому фрагменту полезно добавить название документа, раздел и диапазон исходных страниц. Если кусок начинается с «в этом случае», стоит захватить предыдущий абзац, чтобы было понятно, о каком случае речь. При этом общий объём тоже имеет значение: бесконечное дублирование соседних разделов не улучшает читаемость.

В автоматическом поиске по документам такое деление называют chunking. Найденный фрагмент затем может попасть в ответ системы RAG. Подробный механизм разобран в материале о поиске по своим документам. Подготовка PDF предшествует этому этапу: поиск не исправляет перемешанные строки сам по себе.

Для разовой работы сложная поисковая система может быть не нужна. Небольшой набор нужных глав с понятными подписями проще проверить, чем большую автоматическую базу, устройство которой пока неизвестно.

Номер страницы: два разных адреса

У PDF бывает номер листа в программе просмотра и напечатанный номер на самой странице. Обложка, оглавление и вступление смещают их относительно друг друга. Фраза «на странице 12» тогда недостаточно точна.

В рабочей заметке можно записывать оба значения: «лист файла 14, печатная страница 12, раздел „Ограничения“». Это условный пример, не ссылка на конкретный документ. Ещё надёжнее добавить короткий фрагмент текста, по которому место легко найти поиском.

Если страницы были вырезаны или переставлены, нумерация нового файла уже не совпадает с оригиналом. Связь сохраняют отдельно. Иначе ссылка, которая работала во время анализа, станет бесполезной после пересборки PDF.

Не нужно верить номеру только потому, что его указала модель. При проверке цитаты открывают нужный лист и убеждаются, что текст действительно находится там. Источник должен быть доступен читателю, которому передают результат, а не только автору рабочего чата.

Практический маршрут для одной инструкции

Возьмём условную задачу: из длинной инструкции нужно получить список ограничений метода. Там есть обычный текст, двухколоночный раздел и приложение с таблицей. Вместо просьбы «прочитай всё и скажи главное» работа делится на несколько проверяемых шагов.

Найти относящиеся к вопросу разделы

Сначала просматривают оглавление и ищут слова, связанные с ограничениями и совместимостью. Поиск помогает найти кандидатов, но не заменяет чтение: нужное условие может быть сформулировано иначе или находиться в подписи к таблице.

На этом этапе результат — перечень мест для анализа. Если нейросеть предлагает список разделов, его можно сверить с оглавлением. Уже здесь обнаруживаются ответы по общим знаниям вместо работы с загруженным файлом.

Проверить передачу материала

Из двухколоночного раздела копируют несколько абзацев и смотрят порядок. Из таблицы выбирают одну строку и проверяют её вместе с заголовками. Неразборчивые места помечают, а не исправляют наугад.

Если извлечение явно испорчено, сначала меняют способ подготовки: отдельная страница, другой конвертер, OCR для скана или ручная передача короткого фрагмента. Переформулировать вопрос модели бессмысленно, пока ей приходит повреждённый материал.

Получить ответ с опорой на страницы

Полезный формат здесь — «условие / где найдено / точная формулировка или аккуратный пересказ / что осталось неясным». Не нужно заполнять все поля выдуманными данными. Отсутствие подтверждения — допустимый результат.

Отдельно можно попросить перечислить страницы, которые не удалось обработать, и фрагменты, по которым уверенного вывода нет. Этот список тоже проверяют: модель не всегда точно знает границы доступного ей материала.

Сверить вывод и только затем сократить

Когда факты собраны, их сравнивают с исходником. Не потерялись ли слова «кроме», «только», «при условии»? Не превратилось ли описание одного режима в общее свойство метода? Остались ли рядом оговорки из приложения?

После этого можно просить краткий пересказ. Сокращение в конце удобнее тем, что основания уже сохранены. Если начать с очень короткого резюме, важное исключение может исчезнуть раньше, чем его успеют заметить.

Что не стоит отправлять в случайный сервис

Документ может содержать персональные данные, внутренние комментарии и материалы, которые нельзя передавать третьей стороне. Перед облачной обработкой нужно понимать, куда уходит файл и разрешена ли такая передача в вашей ситуации. Здесь нет одного безопасного правила для всех организаций и сервисов.

Если для вопроса достаточно открытого фрагмента, незачем загружать весь внутренний архив. Локальная обработка тоже требует внимания к выбранному инструменту: некоторые приложения или узлы обращаются к внешнему API, хотя окно программы открыто на вашем компьютере.

Закрашивание текста обычным прямоугольником не следует считать подтверждённым удалением данных. Для удаления чувствительных сведений нужен предназначенный для этого инструмент и проверка результата; пример такого процесса описан в документации Adobe по удалению конфиденциального содержимого. В сомнительной ситуации проще подготовить отдельный документ только с разрешёнными данными, чем надеяться на внешний вид закрытой области.

Как понять, что подготовка достаточна

Файл не обязан стать идеальным во всех отношениях. Он должен надёжно поддерживать конкретную задачу. Нужные разделы читаются в правильном порядке, существенные таблицы сохранены, визуальные элементы доступны, а каждый вывод можно найти в оригинале.

Хорошая контрольная проба включает обычный абзац и сложное место: таблицу, сноску или две колонки. Если на них всё работает, можно продолжать анализ, сохраняя проверку важных утверждений. Это не сертификат безошибочности всего документа, а понятная отправная точка.

Частые вопросы

Лучше загружать PDF или скриншоты страниц?

Зависит от задачи и инструмента. Текстовый PDF удобен для поиска и больших фрагментов; изображение страницы помогает сохранить визуальный контекст. Иногда полезны оба представления. Скриншот сам по себе не гарантирует точного распознавания мелких деталей.

Если текст выделяется, OCR точно не нужен?

Это хороший признак, но нужно проверить скопированный результат. Выделяться может ошибочный слой распознавания. Кроме того, часть страниц в смешанном документе может оставаться только изображением.

Можно ли доверять краткому пересказу большого PDF?

Как ориентиру — после проверки ключевых пунктов. Для точной инструкции, расчёта или цитаты нужны конкретные исходные места. Пересказ может пропустить исключение, даже если основные мысли переданы верно.

Исправит ли более сильная модель плохое извлечение?

Она может заметить проблему или предположить пропущенное, но догадка не восстанавливает доказательство. Надёжнее передать корректный исходный фрагмент и проверить ответ по нему.

Что делать, если ответ ссылается не на ту страницу?

Проверить различие между листом файла и напечатанной нумерацией, затем найти фразу поиском. Если фразы нет, не переносить ссылку в публикацию. Подробнее о такой проверке — в разборе фактов, ссылок и цитат.

PDF остаётся источником, а не только вложением

Главная польза подготовки — возможность проследить путь от ответа до страницы. Тогда ошибку можно найти на конкретном этапе: распознавание, порядок чтения, поиск или интерпретация.

Для многих задач достаточно небольшой аккуратной подготовки и нескольких контрольных сверок. Сложный конвертер нужен не каждому документу. А вот сохранённый оригинал и понятные ссылки на него полезны и в простом пересказе, и в серьёзной работе с источниками.