ИИ для проверки договоров: первичный разбор в закрытом контуре

Договор — не плоский текст, а дерево пунктов, которые ссылаются друг на друга. Если превратить его в одну длинную строку и отдать модели, пункт 5.2 потеряется среди колонтитулов, а условие «в порядке, предусмотренном п. 7.3» потеряет адресата. Поэтому перед моделью стоит разбор структуры, и значительная часть инженерной работы приходится на него.

Нумерация

В документах Word номера пунктов нередко задаются автонумерацией: в тексте файла самих цифр нет, их рисует программа при показе. Если вытащить текст «как есть», пункты теряют номера, и ссылка «п. 5.2» указывает в пустоту. Номера восстанавливаются из структуры документа и проверяются на пропуски и повторы. В PDF и сканах номера лежат в тексте, но их ломают переносы, колонтитулы и пункты, разорванные границей страницы.

Перекрёстные ссылки

Ссылка «см. п. 5.2» разрешается в конкретный пункт, и его текст подкладывается к условию, которое на него ссылается. Если пункт не найден, ссылка помечается как неразрешённая, а условие идёт юристу. Это типичная беда договоров, которые правили несколько раз: нумерация съехала, а ссылки остались прежними. Человек замечает это, только если читает очень внимательно; система должна помечать каждую такую ссылку.

Определения

Договор определяет термины («Товар», «Рабочий день», «Приёмка») и дальше их использует. «Пять дней» в разделе об оплате означает разное в зависимости от того, как определён рабочий день. Определения собираются отдельно и подкладываются к условиям, где используются термины; если термин в тексте есть, а определения нет, это отдельная пометка.

Таблицы и приложения

Спецификации, графики платежей и перечни — таблицы. Из PDF таблица нередко извлекается как набор несвязанных строк, и цена оказывается не рядом с товаром. Для таблиц идёт отдельный разбор с проверкой итогов: сумма строк сравнивается с итоговой строкой, и при расхождении таблица уходит юристу вместе с изображением страницы. Приложения собираются в пакет вместе с договором и дополнительными соглашениями; система показывает, какие части найдены, а условие, которое определяется приложением, извлекается из приложения. Ввод первичных документов (счетов, накладных, УПД) в учётную систему — отдельная задача, о ней страница «Автоматическая загрузка документов в 1С»; здесь мы только читаем договор и ничего не записываем в учёт.

Страница и фрагмент оригинала

Для каждого вывода сохраняются страница и область на ней. Юрист по клику видит цитату рядом с фрагментом оригинала. Для сканов это принципиально: распознанный текст может отличаться от напечатанного. Цитата проверяется по распознанному тексту с допуском на ошибки распознавания, а юрист сверяет её с картинкой страницы.

Чек-лист (в англоязычной практике его называют playbook) — документ, где записано, что компания принимает, что согласует с руководством, а чего не подписывает. У большинства он существует в виде привычек юриста и старых писем. Чтобы система могла его применять, позицию нужно записать так, чтобы каждое правило проверялось на примерах.

Правило состоит из нескольких частей:

• К чему относится. Условие и типы договоров: оплата, ответственность, расторжение, подсудность; поставка, услуги, аренда.
• Три исхода. Допустимо; требует согласования (и с кем); недопустимо. Границы задаёт юрист: допустимые сроки оплаты, ставки, симметрия ответственности.
• Запасная формулировка. Текст, который юрист предложит контрагенту, если условие не подходит.
• Что делать, если условия нет. Отсутствие условия — тоже отклонение, и правило должно сказать, считать ли его таким.
• Примеры. Несколько формулировок, на которых правило должно срабатывать, и несколько, на которых не должно. По ним правило принимается и перепроверяется.
• Владелец и версия. Кто отвечает за правило и когда оно менялось. Каждая проверка записывает, по какой версии чек-листа она сделана.

Не всякую позицию можно записать правилом. «Сбалансированные условия» и «по обстановке» остаются юристу: система может показать условие, но не оценить его. Расплывчатые правила дают расплывчатые срабатывания, поэтому часть первой работы — вместе с юристом сделать правила достаточно точными. Конфликты между правилами выявляются на тестовых примерах до запуска, а не в первом боевом договоре.

Чек-лист подаётся модели как данные на каждый запрос, а не «вшивается» в неё дообучением: правку юриста видно сразу, а любое срабатывание можно объяснить конкретным правилом. Почему мы по умолчанию не дообучаем модель на ваших договорах, коротко разобрано в материале «RAG или дообучение LLM».

Заранее сказать, «насколько точно» система проверит ваши договоры, нельзя: это зависит от форм, сканов и от того, что для вас считается ошибкой. Поэтому качество измеряется на выборке, а критерии записываются в акт до начала работ.

1. Выборка. Реальные договоры нужного типа, включая неудобные: сканы, договоры с правками, договоры на форме контрагента. Подбираем вместе с вами, а не берём самые чистые.
2. Разметка. Юрист отмечает, что считается правильным: значение каждого условия, пункт и страницу, отклонения от чек-листа. Это самая трудоёмкая часть и работа на вашей стороне; её объём определяем на обследовании. Если юристам некогда размечать, проект лучше не начинать: без эталона нельзя ни принять результат, ни улучшить.
3. Разделение. Часть выборки идёт на настройку, часть остаётся отложенной и считается только в конце, чтобы не подгонять правила под проверку.
4. Метрики по условиям, а не «в среднем». По каждому условию: найдено верно; найдено неверно; не найдено, хотя в договоре есть; найдено то, чего в договоре нет. Для сверки с чек-листом: обнаружено, пропущено, ложное срабатывание.
5. Пропуски дороже ложных срабатываний. Лишнее замечание юрист отбросит за секунды, а пропущенное условие подпишут. Поэтому жёсткие пороги в акте ставятся на пропуски и на выдуманные значения, а не на общий итог.
6. Параллельный прогон. На пилоте система работает рядом с обычным просмотром: юрист делает работу как раньше, потом сравнивает со списком системы. Ничего не заменяется, пока расхождения не разобраны.
7. Повторные замеры. После каждой смены модели, разбора или чек-листа тот же набор прогоняется заново, и результат сравнивается с прежним.

Способы измерения по полям и защиту от выдуманных значений подробнее описывают материалы «Как измерить точность распознавания документов» и «OCR или LLM для распознавания документов».