Измерять точность распознавания нужно на отложенной эталонной выборке реальных документов вашего потока, отдельно по каждому полю и по каждой группе документов (поставщик, форма, качество скана). Главных показателей три: точность по полям, доля документов, прошедших без единой правки, и доля ошибок, которые система приняла сама и которые дошли до учёта незамеченными. Порог уверенности выбирают не на глаз, а по кривой, где одна ось — доля автоматизации, другая — доля пропущенных ошибок.
В статье нет рейтингов, чужих замеров и фраз вида «в среднем N процентов»: такие цифры без вашей выборки не переносятся. Есть правила сбора выборки, таблицы метрик с типичными ловушками, способы поймать самообман, порядок регрессионных тестов и мониторинга и перечень того, что стоит записать в акт приёмки. Подходы к распознаванию и проверки против выдуманных значений разобраны в статье OCR или LLM для распознавания документов; здесь речь об измерении. Как эти метрики применяются к бухгалтерским документам, смотрите на странице автоматическая загрузка документов в 1С.
Почему одна цифра точности ничего не значит
Фраза «система распознаёт документы с точностью в N процентов» не поддаётся проверке, пока не отвечены пять вопросов. Что считали: символы, слова, поля или документы? На чём считали: на ваших документах или на подобранных? Усредняли ли по всем поставщикам сразу? Все ли ошибки считали одинаково серьёзными? И что принято за правильный ответ? У разных ответов получаются разные числа, и каждое из них называют «точностью».
Таблица показывает, что может стоять за одной цифрой.
| Что назвали точностью | Что измерено на самом деле | Чем вводит в заблуждение |
|---|---|---|
| Точность по символам | Доля верно прочитанных знаков | Ошибка в одном знаке суммы или ИНН делает неверным всё поле; высокая точность по символам совместима с заметной долей испорченных полей |
| Точность по словам | Доля верно прочитанных слов текста | Слова в комментарии и в адресе весят столько же, сколько слово в сумме; важные числа теряются среди неважного текста |
| Среднее по полям | Усреднённый результат по всем полям документа | Лёгкие поля (дата, номер) разбавляют трудные (строки таблицы); среднее скрывает, что плохо читается именно то поле, от которого зависит учёт |
| Точность по документам | Доля документов, где верно всё | Честная метрика, но она зависит от того, сколько полей и строк считались обязательными; числа с разным набором полей сравнивать нельзя |
| Результат на «показательном» наборе | Документы, подобранные вручную | Для показа нередко берут удобное: чистые сканы, крупных поставщиков, типовые формы. На обычном потоке число будет другим |
| Результат на документах из настройки | Документы, на которых подгоняли правила и промпты | Показывает, насколько система подогнана под этот набор, а не как она справится с новыми документами |
Поэтому осмысленный вопрос к любому замеру звучит так: на каких документах, по каким полям, в каких группах и с каким последствием для учёта. Ответ на него состоит из нескольких метрик, а не из одной.
Эталонная выборка: как собрать и сколько брать
Эталонная выборка — это документы, поля которых специалист разметил вручную. Они служат «правильными ответами», с которыми сравнивается всё остальное, поэтому ошибка в выборке портит все выводы.
Берите документы так, как они приходят
Источник выборки — реальный поток за период, а не удачные образцы из архива. В неё должны попасть мятые сканы, фотографии, документы редких поставщиков и странные случаи. Если поток сезонный (конец квартала, начало года), период должен включать и пики, и спокойное время.
Разбивайте на страты
Страта — заранее заданная группа, внутри которой нужны результаты отдельно. Минимальный набор осей:
- тип документа: счёт, накладная, УПД, акт и другие;
- поставщик: несколько крупных по отдельности и «длинный хвост» редких вместе;
- форма: разные формы и версии вёрстки внутри одного типа документа;
- канал и качество: электронный документ, PDF с текстовым слоем, чистый скан, плохой скан, фотография;
- размер документа: одностраничные и многостраничные, с короткой и длинной таблицей.
Сколько брать: правила вместо числа
Универсального «нужно N документов» не существует. Размер определяют три вещи.
- Самая малая группа, по которой вы будете принимать решение. Если вывод «система годится для этого поставщика» нужен вам отдельно, документов этого поставщика должно быть столько, чтобы одна-две случайные ошибки не меняли вывод. Если решение принимается только для потока в целом, мелкие группы можно объединять.
- Цена ошибки. Чем дороже ошибка в поле и чем реже вы готовы её допускать, тем больше документов нужно, чтобы такую ошибку вообще увидеть. Редкую ошибку на малой выборке не поймать, даже если она есть.
- Бюджет разметки. Разметка — работа специалиста: число документов умножается на время разбора и на ставку. Лучше признать это ограничение сразу, чем размечать «сколько успеем».
Полезное правило против самообмана: если на n независимых документах не найдено ни одной ошибки, это не значит «ошибок нет». Это значит, что доля ошибок, скорее всего, не выше примерно трёх, делённых на n (так называемое правило трёх; оно приближённое и предполагает, что документы независимы). Небольшая выборка без единой ошибки не отличает систему с редкими ошибками от безупречной, и сказать «ошибок нет» по ней нельзя.
Делите выборку на части
- Настроечная часть. На ней подбирают правила, промпты, шаблоны и пороги; разработчики видят её документы и разбирают ошибки.
- Контрольная часть. По ней считают итоговые метрики. Разработчики получают только числа и не разбирают конкретные документы, иначе контрольная постепенно становится настроечной.
- Приёмочная часть. Откладывается заранее и используется один раз, при приёмке. Если по результатам что-то исправили, для следующего замера нужна новая.
Часть поставщиков стоит целиком оставить только в контрольной выборке: так вы увидите, как система ведёт себя с поставщиками, которых «не видела». Контрольную часть лучше брать из более позднего периода, чем настроечную: в жизни система всегда работает с документами из будущего.
Как измерить точность распознавания документов: метрики по полю, документу и учёту
Метрик нужно несколько, потому что они отвечают на разные вопросы: насколько хорошо читается каждое поле, сколько работы остаётся человеку и сколько ошибок попадёт в учёт.
| Метрика | Что измеряет | Как считать словами | Ловушка |
|---|---|---|---|
| Точность поля | Насколько верно читается конкретное поле | Среди документов, где поле есть в эталоне, доля тех, где значение системы после нормализации совпало с эталонным. Для каждого поля своя цифра | Слишком мягкая нормализация (убрали регистр, пробелы, знаки, лишние цифры) завышает результат. Правила сравнения фиксируют до замера |
| Полнота поля | Находит ли система поле, когда оно есть | Доля случаев, когда поле есть в эталоне и система вернула какое-то значение | Система, которая всегда что-то отвечает, имеет высокую полноту и низкую точность; смотреть нужно на обе вместе |
| Доля документов без единой правки | Сколько документов человек не трогает | Доля документов, где все обязательные поля верны с первого раза | Зависит от набора обязательных полей: добавили поле, и доля упала. Сравнивать можно только при одном и том же наборе |
| Доля передачи человеку | Сколько документов система не взяла на себя | Доля документов, ушедших в очередь проверки | Передав человеку всё, можно получить «ноль ошибок». Метрика осмысленна только в паре с долей пропущенных ошибок |
| Доля ошибок, дошедших до учёта | Сколько неверных данных попадает в базу без проверки человеком | Среди документов, принятых системой без человека, доля тех, где хотя бы одно критичное поле неверно | Знаменатель — только принятые документы, а не все. В эксплуатации такую ошибку не видно, поэтому считать её нужно на контрольной выборке, а потом на аудите |
| Точность таблицы | Верность строк, а не только итога | Совпадение числа строк с эталоном и доля строк, прочитанных верно целиком: наименование, количество, цена, сумма | Итог может сойтись при склеенных или потерянных строках и при ошибках, которые компенсируют друг друга |
| Результат по срезам | Где система работает хуже всего | Те же метрики внутри каждой группы: поставщик, форма, канал, качество | Среднее скрывает, что один контрагент или один тип сканов даёт заметную часть проблем; смотрите на худшие срезы, а не на общий итог |
| Правки оператора | Какие поля человек исправляет в эксплуатации | Число исправлений по полям на документ, с разбивкой по причинам | Оператор, которого торопят, перестаёт исправлять. Правки дополняют выборочным аудитом и не принимают за истину |
Три метрики обязательны в любом замере: точность по критичным полям, доля документов без правок и доля ошибок, дошедших до учёта. Остальные помогают понять, почему первые три именно такие.
Что считать ошибкой
Виды ошибок разделяют: поле не найдено (человек заполнит его сам), найдено неверное значение (опасно без проверок), значение выдумано (в документе его нет). И отдельно считают ошибки модели и ошибки всей цепочки. Если модель ошиблась в сумме, а арифметическая проверка это поймала, для системы в целом это не ошибка в учёте, но для выбора модели это сигнал, и его нельзя терять.
Цена ошибки по полям: какое поле дороже
Ошибки в разных полях стоят по-разному, и допуски для них должны быть разными. Сумма и реквизиты стоят дорого, комментарий дёшево. Цену ошибки оценивает владелец процесса, а не разработчик: он знает, во что обходится неверный платёж или документ, привязанный не к тому контрагенту.
| Поле | Что происходит при ошибке | Что поймает помимо модели | Что записать в приёмку |
|---|---|---|---|
| Сумма, НДС, итоги | Искажаются взаиморасчёты и отчётность; часто ошибка видна только на сверке с поставщиком | Арифметика строк и итогов, сверка с заказом | Жёсткий допуск на пропущенные ошибки; отдельно сумма в многостраничных документах |
| ИНН и КПП | Документ привязан к другому контрагенту или к несуществующему | Контрольные разряды, поиск в справочнике, соответствие названию | Верный по формату, но чужой ИНН форматом не ловится, его ловит справочник; допуск жёсткий |
| Дата документа | Документ попадает не в тот период, неверно считаются сроки оплаты | Допустимый диапазон, закрытый период, сравнение с датами соседних документов | Отдельно считать перепутанные день и месяц |
| Номер документа | Ложный или пропущенный дубль, документ трудно найти | Ключ дубля, формат нумерации контрагента | Номер входит в ключ дубля, поэтому его ошибки влияют на защиту от дублей |
| Наименование и выбор позиции справочника | Товар приходуется не на ту позицию; ошибка тихая и находится на инвентаризации | Таблица соответствий, артикулы и штрихкоды, единицы измерения | Считать отдельно точность чтения наименования и точность выбора позиции |
| Количество и единица | Расходятся остатки, неверна цена за единицу | Количество на цену равно сумме, единицы из карточки, заказ | Критичное поле: потерянная запятая меняет значение на порядок |
| Банковские реквизиты | Платёж уходит не туда | Контрольный ключ счёта вместе с БИК, сравнение с карточкой контрагента | Расхождение с карточкой не исправляется молча, а останавливает документ |
| Комментарий, основание | Неудобство, но не деньги | Не требуется | Допускает мягкий порог |
Отсюда практическое правило: пороги и допуски задают по полям, а не одним числом на документ. Документ, в котором все поля уверенно прочитаны, кроме комментария, не должен уходить человеку из-за комментария.
Пороги уверенности: как выбрать по кривой автоматизации
Порог уверенности делит документы на две группы: принять без человека и отправить в очередь. Выбирать его нужно по контрольной выборке, а не по ощущению.
Откуда берётся уверенность
Сигналы бывают четырёх видов: оценка движка распознавания по словам и символам, вероятности ответа языковой модели (если сервер их отдаёт), согласие нескольких независимых путей чтения и результаты проверок (арифметика, форматы, справочники). Как их комбинировать, зависит от системы. Для порога важно одно: по каждому документу и полю есть число или решение «принять / не принять».
Строим кривую
- Берём контрольную выборку и для каждого документа (или поля) значение уверенности.
- Выбираем пробный порог. Все документы выше него считаем принятыми автоматически, ниже него переданными человеку.
- Среди принятых считаем долю с ошибками в критичных полях. Это доля пропущенных ошибок.
- Среди всех документов считаем долю принятых. Это доля автоматизации.
- Повторяем для набора порогов от мягких до строгих и получаем кривую: по одной оси автоматизация, по другой пропущенные ошибки.
С ужесточением порога доля автоматизации падает, а доля пропущенных ошибок уменьшается. Рабочая точка не обязана быть красивой: это компромисс между нагрузкой оператора и риском для учёта.
Кто выбирает точку и как
- Идут от допустимого риска, а не от желаемой автоматизации. Сначала владелец процесса называет, какую долю пропущенных ошибок в критичных полях он готов принять. Затем по кривой находят самый мягкий порог, который укладывается в этот допуск.
- Порог ставят по полям. Сумма и ИНН получают строгий порог, комментарий мягкий.
- Берут запас. Кривая построена на конечной выборке, поэтому порог ставят чуть строже точки на кривой и перепроверяют после запуска.
- Проверяют калибровку. Среди значений с высокой уверенностью доля ошибок должна быть заметно ниже, чем среди значений со средней. Если это не так, уверенность как сигнал не работает, и порогу нужны другие опоры, например проверки.
Типичная ошибка: подогнать порог так, чтобы автоматизация выглядела прилично, а пропущенные ошибки обнаружить на сверке через квартал. Общий принцип порога описан в материале порог уверенности модели.
Как не обмануться: способы получить красивую цифру
Завышенная точность не всегда результат умысла: часто она возникает из добросовестных ошибок в организации замера. Вот типичные случаи.
| Как получается самообман | Как выглядит | Как предотвратить |
|---|---|---|
| Утечка настроечных документов в контрольные | Один и тот же счёт, его скан и копия из почты или два документа одного пакета попали в разные части выборки | Делить выборку по группам (поставщик, период, пакет), а не по отдельным файлам; искать дубли и близкие копии до разбиения |
| Чистые сканы | Выборку собрали из хороших образцов, которые легко дать для теста | Брать документы из потока без отбора, включая плохие; отдельно считать срез по качеству |
| Смещённый выбор | В выборку попали только документы, которые уже разбирали вручную, или только крупные поставщики, или только то, что нашлось в архиве | Выяснить, как собрана выборка; добавить документы редких поставщиков и спорные случаи |
| Эталон размечен системой | Разметчик правит предразметку системы, а не размечает с нуля, и склонен соглашаться с ней | Контрольную часть размечать вслепую, без предразметки; часть документов размечать независимо двумя людьми |
| Многократный просмотр контрольной | После каждого замера разработчики разбирают ошибки на контрольных документах и правят правила | Разбирать ошибки только на настроечной части, а контрольную обновлять новыми документами |
| Исключение «неподходящих» документов | Трудные документы объявили «не нашими» и убрали из замера | Критерии исключения записывать до замера; исключённые документы учитывать отдельно, как переданные человеку |
| Среднее по строкам вместо документов | Ошибки единичных строк растворились в тысячах строк таблиц, а документ с одной неверной строкой считается почти верным | Считать и по строкам, и по документам; для учёта важен документ |
Разметка эталона: инструкция и согласованность разметчиков
Эталон хорош настолько, насколько однозначна инструкция разметки.
- Размечает предметный специалист: бухгалтер, кладовщик, юрист, а не разработчик, которому придётся угадывать смысл.
- Есть письменная инструкция, что считать значением поля. Дата документа или дата отгрузки? Сумма с НДС или без? Как записать нечитаемое? Что делать, если в документе два номера?
- Контрольную часть размечают без предразметки системы, чтобы эталон не наследовал её ошибки.
- Часть документов размечают дважды, независимо. Расхождения между разметчиками считают по полям.
- Спорные случаи разбирают вместе, решение вносят в инструкцию, после чего спорные документы размечают заново.
Если по какому-то полю люди расходятся заметно, это предел измеримой точности по этому полю: требовать от системы большей точности, чем согласие экспертов, нельзя. Уточнять нужно определение поля, а не винить модель. Подробнее о подготовке эталона и о том, как отличить «данных мало» от «данные плохие», написано в статье как подготовить данные для ИИ-пилота.
Отдельная ловушка — готовый эталон из учёта, то есть документы, которые бухгалтерия когда-то ввела вручную. Удобно, потому что разметка уже есть, но и в ручном вводе бывают опечатки и исправления «по привычке». Прежде чем считать введённое правильным, сравните выборочные записи с оригиналами.
| Тип расхождения | Типичная причина | Что делать |
|---|---|---|
| Разметчики по-разному читают поле | Определение неоднозначно: «дата» или «сумма» могут значить несколько вещей | Уточнить определение в инструкции и привести примеры |
| Расходятся на нечитаемом | Нет правила для плохих сканов | Ввести отметку «нечитаемо» и считать её отдельно, а не как ошибку |
| Расходятся в таблице | Разное понимание, что считать строкой: перенос, подитоги, пустые строки | Описать правила строк и подитогов |
| Один разметчик систематически отличается | Другая привычка или недопонимание инструкции | Разобрать на примерах и донести правило |
Регрессионные тесты: что проверять при смене модели, правил или порога
Система распознавания меняется: обновляется движок или модель, дописываются правила для нового поставщика, подстраивается порог. Любое из этих изменений может исправить одно и сломать другое, причём на документах, которые никто не смотрел. Защита от этого — регрессионный набор: зафиксированные документы с эталоном, которые прогоняются заново при каждом изменении.
- Состав набора. Типичные и трудные документы, по несколько на каждую группу, и каждый реальный сбой из эксплуатации. Набор растёт из инцидентов: документ, который однажды сломал систему, остаётся в нём навсегда.
- Сравниваем не только итоговую цифру. Смотрим метрики по полям и срезам и список документов, у которых результат изменился: было верно, стало неверно, и наоборот. Именно первый список показывает регрессию.
- Правило приёмки изменения записано заранее. Например: изменение принимается, если ни одно критичное поле не ухудшилось ни в одном срезе сверх допуска, согласованного с заказчиком. Выигрыш на одном поставщике не оправдывает потерь на другом.
- Версии фиксируются. Версия эталона, версия системы (модель, правила, порог) и результат прогона хранятся вместе, чтобы любой замер можно было повторить.
- Нестабильность учитывается. Ответы языковой модели могут немного отличаться между прогонами. Для важных документов прогон повторяют и смотрят разброс, а не одно значение.
- Регрессионный набор не заменяет контрольную выборку. Контрольная нужна для оценки качества и «сгорает», когда по ней разбирают ошибки. Регрессионный набор нужен для проверки, что изменение не сломало уже известное, и разбирать его документы можно и нужно.
Мониторинг после запуска: дрейф, новые поставщики и смена форм
После запуска качество меняется, даже если систему не трогали. Приходят новые поставщики, старые обновляют формы и программы печати, меняются форматы электронных документов, ухудшается качество сканов, растёт сезонный поток. Это дрейф, и замер при приёмке его не покажет.
| Сигнал | Что он может значить | Что делаем |
|---|---|---|
| Растёт доля передачи человеку | Новые поставщики или формы, ухудшение сканов, порог оказался слишком строгим для нового потока | Разбить рост по поставщикам и формам; добавить правила или примеры; не ослаблять порог, пока не ясна причина |
| Растёт доля исправлений оператора по полю | Система стала хуже читать это поле или изменился сам документ | Взять свежие исправленные документы в регрессионный набор; проверить версию системы |
| Сдвигается распределение уверенности | Изменился вход (качество, форма) или изменилась сама система | Сравнить с базовым периодом; повторить замер на свежей выборке |
| Растёт доля документов, не прошедших арифметику или формат | Хуже читаются числа или поменялась вёрстка таблиц | Посмотреть примеры; проверить канал поступления и сканер |
| Много документов неизвестных поставщиков | Изменился поток | Запланировать расширение эталона и таблицы соответствий |
| Растёт время в очереди | Оператор не успевает, возрастает риск формальных подтверждений | Пересмотреть порог и состав очереди, добавить оператора; следить, не стали ли подтверждения «по привычке» |
Аудит принятого без человека
Показатели из таблицы показывают нагрузку и косвенные признаки, но не пропущенные ошибки: система не знает, где она ошиблась уверенно. Единственный способ оценить их в эксплуатации — аудит. Регулярно берут случайную выборку документов, принятых системой без человека, и специалист проверяет их по оригиналам. Выборка случайная и охватывает все группы, особенно новые; результат сравнивают с допуском из акта. Если аудит находит ошибки сверх допуска, класс документов возвращают на уровень ниже: например, автосоздание заменяют черновиком, который проверяет человек. Частота аудита зависит от объёма и скорости изменений потока: начинают с частой и снижают по результатам.
Приёмка: что записать в договор и акт
Измерение имеет смысл, если его условия записаны до начала работ. Иначе после пилота начнётся спор о том, что считать точностью. В акт приёмки стоит включить следующее.
| Что записать | Пример формулировки без чисел | Зачем |
|---|---|---|
| Контрольная выборка | Кто собрал, из какого периода, по каким правилам разбита на группы, сколько документов в каждой; выборка не участвовала в настройке | Чтобы результат нельзя было получить подбором данных |
| Эталон и разметка | Кто размечал, по какой инструкции, какова согласованность двух разметчиков на общей части | Чтобы определение поля было общим для сторон |
| Метрики и допуски | Точность по критичным полям, доля документов без правок, доля ошибок, дошедших до учёта; допустимые значения вписаны в приложение обеими сторонами | Чтобы у слов «достаточно хорошо» была граница |
| Жёсткие условия | Допуск на пропущенные ошибки в критичных полях жёстче, чем по остальным; повторная отправка одного документа двумя каналами не создаёт второй | Чтобы красивая доля автоматизации не покупалась ценой ошибок |
| Срезы | Результаты отдельно по крупным поставщикам и по группе плохих сканов; ни в одном срезе результат не хуже допуска | Чтобы среднее не скрыло слабое место |
| Воспроизводимость | Исполнитель передаёт эталон, инструкцию разметки и скрипт замера, чтобы заказчик мог повторить прогон самостоятельно | Чтобы замер не зависел от подрядчика |
| Порядок после замера | Что происходит при провале: разбор ошибок по группам, исправление, повторный замер на новой контрольной выборке, а не на той же | Чтобы исправление не превращалось в подгонку |
| Эксплуатация | Регрессионный набор, аудит принятого без человека, мониторинг показателей, порядок возврата класса документов на уровень ниже | Чтобы качество не рассыпалось через месяц после приёмки |
Допуски, как и сам набор метрик, нельзя подставить «по умолчанию»: они зависят от цены ошибки, которую знает владелец процесса. Юридическую формулировку условий согласуйте с юристом. Если пилот не прошёл критерии, это тоже результат; о том, когда пилот стоит остановить, написано в материале когда останавливать ИИ-пилот.
Что делаем мы
Замер начинаем с вашей выборки, а не с выбора модели. На обследовании (200 000 ₽ при одном-двух процессах, 2–3 недели; вычитается из следующего этапа) смотрим, какие документы приходят и в каком виде, как разбить их на группы и кто сможет размечать эталон. Измерение на контрольной выборке входит в пилот: лёгкий пилот распознавания на одном типе документов стоит 150 000 – 400 000 ₽ и занимает 2–8 недель, по тарифам. Допуски записываем в акт до начала работ. Эталон, инструкция разметки и скрипт замера остаются у вас. Мы не обещаем долю автоматизации и точность до замера на ваших документах и не обещаем отсутствия ошибок: цель в том, чтобы ошибки были измерены и ограничены порогом.
Как это применяется к бухгалтерским документам и записи в 1С, описано на странице автоматическая загрузка документов в 1С, общая услуга — распознавание документов и ввод данных в учёт. Схожая задача измерения встаёт и при извлечении условий из договоров, см. ИИ-проверка договоров.
Частые вопросы
Какая точность распознавания документов считается достаточной?
Универсальной цифры нет. Достаточна та точность, при которой доля ошибок, дошедших до учёта, укладывается в допуск владельца процесса, а нагрузка на оператора приемлема. Допуск задают по полям исходя из цены ошибки: суммы и реквизиты требуют более жёстких допусков, чем комментарии.
Сколько документов нужно для эталонной выборки?
Число зависит от задачи, важнее правила. В выборке должны быть представлены все типы документов, основные поставщики, разные формы и качество сканов. В самых малых группах, по которым вы принимаете решение, должно быть достаточно документов, чтобы единичные ошибки не меняли вывод. Если на небольшой выборке не нашли ни одной ошибки, это не доказывает, что их нет.
Что важнее: точность по полям или по документам?
Нужны обе. Точность по полям показывает, что читается плохо, доля документов без правок показывает нагрузку на людей, доля ошибок, дошедших до учёта, показывает риск. Для приёмки решающими обычно служат критичные поля и последняя из этих метрик.
Как понять, что контрольная выборка не «протекла» в настройку?
Делите выборку по поставщикам и периодам, а не по отдельным файлам, ищите дубли и близкие копии до разбиения, не разбирайте ошибки на контрольных документах и обновляйте контрольную часть новыми документами. Приёмочную часть используйте один раз.
Можно ли доверять уверенности, которую выдаёт модель?
Только после проверки. На контрольной выборке нужно убедиться, что среди значений с высокой уверенностью ошибок заметно меньше, чем среди значений со средней. Если это не так, порог по такой уверенности бесполезен, и опираться нужно на другие сигналы: проверки арифметики, форматов и справочников, согласие нескольких путей чтения.
Как часто пересчитывать точность после запуска?
Косвенные показатели (доля передачи человеку, правки оператора) отслеживают постоянно, случайную выборку принятого без человека проверяют регулярно, а регрессионный набор прогоняют заново при любом изменении системы. Частота аудита зависит от объёма потока и скорости его изменений: начинают с частой и снижают по результатам.
Как измерить точность распознавания документов, если готовой разметки нет?
Разметку придётся создать: предметный специалист (бухгалтер, кладовщик, юрист) размечает выборку вручную по письменной инструкции. Часть документов размечают двое независимо и сравнивают расхождения, контрольную часть размечают без предразметки системы. Ускорить работу можно, взяв документы, уже введённые в учёт, но выборочно сверьте их с оригиналами: в ручном вводе тоже бывают ошибки.
Что вписать в договор о точности распознавания?
Не одну цифру, а метрики по критичным полям, долю документов без правок и долю ошибок, дошедших до учёта, с допустимыми значениями; правила сбора контрольной выборки и разметки; результаты по срезам поставщиков и качества; порядок повторного замера; передачу заказчику эталона и скрипта замера. Юридическую формулировку согласуйте с юристом.
Сколько стоит замер точности на наших документах?
Замер входит в пилот распознавания. Лёгкий пилот на одном типе документов стоит 150 000 – 400 000 ₽ и занимает 2–8 недель; обследование перед ним — 200 000 ₽ за один-два процесса, 2–3 недели, и вычитается из следующего этапа. Точную цену следующих ступеней называем по результатам обследования.