IDP: интеллектуальная обработка документов и чем она не OCR

IDP (intelligent document processing, интеллектуальная обработка документов) отличается от OCR тем, что OCR только превращает картинку в текст, а IDP определяет тип документа, находит нужные поля, проверяет их, отправляет сомнительные случаи человеку и записывает результат в систему, где с ним работают дальше. Распознавание текста в этой цепочке один шаг из нескольких, причём не самый проблемный.

Покупатели обычно сравнивают системы по тому, насколько точно они читают текст. Деньги же теряются на соседних шагах: пачка из трёх документов принята за один, номенклатура в счёте не совпала со справочником, сомнительное поле ушло в учёт без проверки. Чем отличаются подходы к самому распознаванию (классический OCR, языковые модели и гибрид), разобрано в статье «OCR или LLM для распознавания документов», здесь речь о конвейере целиком. Услуга описана на странице «Интеллектуальная обработка документов».

Чем IDP отличается от OCR

OCR берёт изображение и возвращает текст, иногда с координатами. Что этот текст значит, он не знает: для него сумма «Итого» и номер телефона одинаково строки. IDP добавляет понимание структуры и контроль результата.

Из таблицы видно, где IDP нужен. Если документы одной формы приходят из одного источника, их читает шаблон, и хватает OCR. Если форм много, поставщики меняются, а результат должен попасть в учёт без перепечатывания, нужен конвейер.

Из каких шагов состоит конвейер

Типовая цепочка включает восемь шагов. Не каждый нужен в каждом проекте, но пропущенный шаг не исчезает: его работу выполняет человек или, хуже, ошибка в учёте.

Метрики считаются на каждом шаге, а не одной цифрой «точность системы». Как устроена такая проверка, описано в статье «Как измерить точность распознавания документов».

Приём и классификация: пачки, копии и похожие документы

Первые проблемы появляются до распознавания. Бухгалтерия присылает один PDF из десяти страниц, в котором лежат три счёта, акт и чужое письмо. Система, которая считает файл одним документом, склеит поля из разных бумаг и выдаст правдоподобную запись, поэтому ошибка вскрывается не сразу.

• Разделение пачки. Конец документа определяется по штампу, итогам, нумерации страниц, смене реквизитов. Правила для этого пишутся на ваших пачках, а не на общих примерах.
• Классификация. Счёт и счёт-фактура, акт и УПД похожи, а правила учёта у них разные. Путаницу между близкими типами проверяем отдельно, матрицей ошибок.
• Дубли. Один счёт приходит по почте и через ЭДО, а потом ещё и сканом. Сравнение по номеру, дате, контрагенту и сумме отсекает копии до записи.
• Неизвестный тип. У классификатора должен быть ответ «не знаю». Без него новый тип документа получит первую попавшуюся метку и пойдёт в учёт.

Если контрагент присылает документ в электронном виде с полями через оператора ЭДО, распознавать нечего: данные уже структурированы, и их достаточно разобрать. Распознавание нужно для сканов, фотографий и PDF без структуры.

Таблицы и позиции: где точность падает чаще всего

Реквизиты на странице занимают предсказуемые места, таблица с позициями нет. Строки переносятся на следующую страницу, ячейки объединены, наименование занимает две строки, а колонка «Цена» стоит то до, то после «Количества». Модель, хорошо читающая шапку, может перепутать колонки в таблице, а ошибка в одной строке не видна, пока сумма позиций не разойдётся с итогом.

Поэтому для таблиц мы закладываем отдельные меры:

• Арифметическая проверка. Количество на цену равно сумме строки, сумма строк равна итогу, налог посчитан от основы. Расхождение отправляет документ на ручную проверку.
• Сопоставление номенклатуры. Название из документа сопоставляется с позицией справочника по правилам и поиску по смыслу (см. семантический поиск по документам), неуверенные случаи подтверждает человек. Это самое слабое место и самое частое место ручной работы, подробнее на странице автоматической загрузки документов в 1С.
• Отдельная метрика для таблиц. Доля документов, у которых все позиции извлечены верно, строже и честнее средней точности по полям.

Проверки и очередь исключений: что решает человек

Главный вопрос проекта: какая доля документов проходит без человека и какая ошибка допустима. Он решается не моделью, а ценой ошибки. Неверное имя файла дёшево, неверная сумма в платёжном документе дорого.

Решение принимает порог уверенности по каждому полю и проверки кодом, а не общая «оценка документа». Принцип выбора порога описан в статье «Порог уверенности модели». Очередь на ручную проверку тоже часть продукта: на ней видно исходный файл рядом с полями, подсвечено сомнительное поле и есть кнопка «исправить и запомнить». Если проверяющий тратит на документ столько же времени, сколько на перепечатывание, автоматизация не окупается.

Как IDP учится на исправлениях и когда это опасно

Каждое исправление человека в очереди проверки несёт информацию: система ошиблась здесь. Из неё можно получить правила для поставщика, пополнение справочников и материал для дообучения. Но обучение «на ходу» без контроля опасно: модель может запомнить единичную ошибку проверяющего или испортить то, что работало.

• Исправления копятся, модель меняется по решению. Новая версия выкатывается после прогона на эталонной выборке, а не сразу после очередной правки.
• Эталонная выборка не пополняется исправлениями без проверки. Иначе вы измеряете качество на материале, на котором обучали.
• Дрейф. Поставщики меняют форму счёта, появляются новые типы документов. Раз в период разбираем свежую выборку и смотрим, куда ушла точность.
• Откат. Прежняя версия модели и правил хранится, чтобы вернуться, если новая хуже.

Что решить до начала проекта

Эти вопросы стоят дешевле любой модели и определяют объём работ. Ответы на них составляют документ обследования.

1. Какие документы. Типы, источники, примерный поток и доля сканов, фото и документов без структуры.
2. Какие поля и зачем. Для каждого поля записано, что с ним делает учёт и сколько стоит ошибка.
3. Куда пишем. 1С, ERP, СЭД или CRM, и разрешено ли автосоздание или только черновик.
4. Справочники. Насколько они чисты. Если контрагент заведён трижды, система ошибётся из-за справочника, а не распознавания.
5. Кто проверяет. Человек, время на документ, график, замена при отпуске.
6. Где обрабатываем. Договоры, платёжные документы и кадровые бумаги могут быть данными ограниченного доступа; облачные сервисы распознавания для них чаще не подходят по требованиям заказчика, поэтому модели запускаются на ваших серверах.
7. Как принимаем. Выборка, метрики по полям, порог и доля документов без человека записываются в договор до работ.

Выборку лучше собрать заранее: как это делается, описано в статье «Как подготовить данные для ИИ-пилота».

Когда IDP не нужен

Конвейер стоит денег, поэтому иногда дешевле обойтись без него.

• Маленький поток. Если документов немного и сотрудник справляется за разумное время, лёгкий пилот на выборке покажет, окупится ли автоматизация. Если нет, остановиться можно без потерь.
• Документы приходят в электронном виде с полями. Обмен через оператора ЭДО даёт структурированные данные, распознавание не нужно, нужна интеграция.
• Форма одна и не меняется. Шаблонный разбор одной формы дешевле и надёжнее модели.
• Задача про смысл, а не про поля. Если нужно найти ответ в сотнях договоров или регламентов, это не IDP, а поиск и ассистент: ИИ-ассистент по документам.

Что делаем мы и с чего начать

Начинаем с обследования: 200 000 ₽ и 2–3 недели за один-два процесса (например, входящие счета и акты), 350 000 ₽ и 3–4 недели, если документы идут из нескольких источников в несколько систем. На выходе перечень документов и полей с ценой ошибки, схема конвейера, план замера на вашей выборке и вилка бюджета. Стоимость вычитается из первого этапа, если продолжаете с нами, а документом можно пользоваться без нас.

Дальше лёгкий пилот на выборке ваших документов (150 000–400 000 ₽, 2–8 недель), затем при необходимости тяжёлый пилот с подключением к учёту (400 000–1 200 000 ₽, 2–3 месяца) и вывод в эксплуатацию от 1 500 000 ₽ этапами по 300 000–700 000 ₽. На любой ступени можно остановиться. Мы делаем конвейер для одного потока документов, а не цифровизацию документооборота целиком, не дежурим круглосуточно, а исходники лежат в вашем репозитории с первого коммита. Все цены и сроки на странице «Тарифы», описание услуги на странице «Интеллектуальная обработка документов».