Интеллектуальная обработка документов (IDP): от пачки сканов до проверенных полей

Почему пачка сложнее одного документа

В жизни приходит письмо с тремя вложениями, одно из которых — склейка из восьми страниц разных документов. Сначала нужно понять, где один документ заканчивается и начинается следующий. Признаки границы: номер страницы «1 из N», шапка с названием документа, смена шрифта и формата, подпись и печать на последней странице. Ни один признак не надёжен сам по себе, поэтому их складывают, а сомнительные границы отдают человеку.

Тип документа и его схема

Для каждого типа заранее записана схема: какие поля нужны, какие обязательны, в каком формате лежат и по каким правилам проверяются. Счёт, акт и заявление имеют разные схемы, и перепутанный тип приводит к тому, что поиск «ИНН продавца» запускается на документе, где продавца нет. Если тип не определился уверенно, документ не пытаются разобрать «как получится», а передают оператору с пометкой «тип не определён». Незнакомые типы копятся в отдельной очереди, и схему заводят для тех, что встречаются достаточно часто.

Проверки пишет код, а не модель

Сумма равна сумме строк, НДС соответствует ставке, дата не раньше даты договора, реквизиты контрагента совпадают с карточкой в справочнике, номер документа не встречался ранее. Это обычный код, он детерминирован и проверяем.

Порог уверенности по полю, а не по документу

У модели и у OCR есть оценка уверенности. Общий порог на документ скрывает ситуацию, когда пятнадцать полей прочитаны отлично, а номер банковского счёта нет. Порог ставится на каждое поле, исходя из цены ошибки: неверный комментарий безобиден, неверная сумма платежа нет. Как выбирать значение, описано в статье «Порог уверенности модели».

Очередь оператора

Оператор видит страницу, подсвеченное место, откуда взято значение, и причину отправки: «низкая уверенность», «сумма не сходится», «контрагент не найден». Исправление занимает несколько секунд, и должна быть возможность вернуть документ в обработку после правки справочника.

• Журнал. Каждая правка записывается: что было, что стало, кто исправил.
• Обратная связь. Правки накапливаются как новая размеченная выборка. По ней видно, где система ошибается чаще всего, и по ней же перепроверяют улучшения.

Доля документов, которые уходят человеку, — не провал, а настройка. Её выбирают на пилоте: чем строже порог, тем меньше ошибок в учёте и тем больше ручной работы.

Если нужна узкая услуга «накладные и счета в учёт» с понятным набором типов, начинайте со страницы «Распознавание документов и ввод данных в учёт». Эта страница — про более широкий случай: несколько групп документов, пачки, свободный текст, разные источники.

Если документы нужно не разбирать на поля, а искать по ним и отвечать на вопросы, вам нужна RAG-система: она читает документы и отвечает со ссылкой на источник. Если задача в обработке текстов обращений, писем и отзывов, смотрите NLP-решения. Общую рамку для таких проектов описывает страница «Разработка ИИ на заказ», а приложения вокруг языковых моделей — страница «Разработка LLM-приложений».