Размечать данные для ИИ нужно в пять приёмов: сформулировать решение, которое поддерживает метка, записать инструкцию с примерами и спорными случаями, разметить пробную партию двумя людьми независимо, посчитать согласованность и разобрать каждое расхождение, и только потом размечать основной объём. Инструкция важнее инструмента, а проверка согласованности важнее числа размеченных записей.
Статья для тех, кто заказывает разметку или организует её своими силами: для текстов, документов, снимков и записей разговоров правила общие. Услуга описана на странице «Обработка и разметка данных для ИИ», подготовка данных к пилоту в целом — в статье «Как подготовить данные для ИИ-пилота», а особенности снимков — в статье «Как подготовить данные для распознавания изображений».
Зачем размечать, даже если вы не обучаете модель
Разметка нужна в двух случаях. Первый очевиден: модель обучается на примерах с метками. Второй встречается чаще: метки нужны, чтобы проверить готовую систему. Поиск по документам, извлечение полей и ассистент отвечают на вопросы, но качество ответов нельзя оценить без набора, где правильный ответ известен заранее. Такой набор тоже размечают люди.
Поэтому разметка нужна почти любому проекту с ИИ, и ошибки в ней стоят дорого. Если метки в проверочном наборе неверны или противоречивы, вы измеряете модель линейкой с неровными делениями: цифра качества выглядит убедительно, а к реальности отношения не имеет. Если неверны метки в обучающем наборе, модель выучивает ошибки разметчиков вместе с закономерностями.
Размечать выборку целиком, как правило, не нужно. Нужен набор, который отражает реальный поток по поставщикам, периодам и типам обращений, и в котором есть редкие случаи. Как собирать такую выборку и очищать данные до разметки, описано в статье о подготовке данных к пилоту, здесь только сама разметка.
Шаг 1. Сформулируйте решение, а не метку
Прежде чем придумывать классы, ответьте на вопрос: какое решение примет человек или система, получив метку? От этого зависит схема. Метка, которая ничего не меняет в процессе, лишняя: она увеличивает стоимость и число разногласий.
| Решение | Схема меток | Цена ошибки | Типичная ловушка схемы |
|---|---|---|---|
| Направить обращение в нужный отдел | один класс из списка | Обращение уходит не туда | Классы пересекаются, и разметчик не знает, какой выбрать |
| Найти в тексте названия, суммы, сроки | границы фрагментов и типы | Не найден или обрезан фрагмент | Не оговорено, входит ли слово «ООО» в название и как считать сокращения |
| Определить, что в документе есть риск | несколько меток на документ | Пропущенное условие или лишняя тревога | Метка «есть риск» зависит от точки зрения того, кто читает |
| Оценить ответ модели | оценка по критериям | Плохой ответ принят за хороший | Оценка «хорошо» без критериев превращается в вкусовщину |
| Выбрать более точный из двух ответов | сравнение пары | Выбрана более гладкая, но менее точная формулировка | Разметчик выбирает длинный или красивый ответ, а не точный |
В каждой строке есть слабое место: схема допускает несколько разумных ответов. Это ловушка схемы, а не небрежность разметчика. Исправляется она на уровне схемы и инструкции, а не уговорами внимательнее смотреть.
Шаг 2. Инструкция: пример, как правка убирает расхождение
Инструкция по разметке состоит из пяти частей: определение каждого класса словами с границами, примеры «это класс», «это не класс» и «пограничный случай и как его решили», правила для спорных ситуаций, метка «не могу определить» и дата версии. Пограничные примеры полезнее остальных: именно на них люди расходятся.
Условный пример: в обращениях клиентов размечается класс «срочное». Показываем, как инструкция меняется после пробной партии.
| Версия | Формулировка класса «срочное» | Что показала проверка | Что изменили |
|---|---|---|---|
| Первая | «Срочное: клиенту нужно быстро» | Разметчики расходятся: одни ставят метку на любое слово «срочно», другие нет | Добавили признак: срок назван или названо последствие задержки |
| Вторая | «Срочное: в тексте указан срок или последствие задержки» | Расходятся на обращениях, где срок прошёл, и на повторных письмах | Прописали: прошедший срок — срочное; повтор письма в течение суток не меняет класс |
| Третья | Срок или последствие, прошедший срок, правило для повторов, пять пограничных примеров | Разногласия остались на единичных редких случаях | Эти случаи вынесены в метку «не могу определить» и разбираются отдельно |
Видно, что люди расходились не из-за невнимательности: само слово «срочное» допускало три прочтения. Каждый раунд проверки превращает неявное знание отдела в письменное правило, и это один из главных результатов разметки, кроме самого набора. Версию инструкции записывают в паспорт набора: через полгода по нему видно, по каким правилам ставились метки.
Шаг 3. Кто размечает и где
Размечать должен тот, кто принимает такое решение в работе. Обращения лучше размечает сотрудник поддержки, договоры — юрист, дефекты на снимках — контролёр. Посторонний человек даёт ровную, но поверхностную разметку, а эксперты расходятся из-за собственных привычек. Этот выбор определяет, чего вы добьётесь: посторонних достаточно для простых классов, эксперты нужны там, где метка требует знания предметной области.
Три практических правила. Первое: нагрузка ограничена. Усталость сдвигает метки к самым частым классам, поэтому лучше короткие сессии по списку и перерывы. Второе: инструмент стоит внутри контура, если данные ограниченного доступа, и не требует выгружать документы наружу. Третье: если разметчику не нужны фамилии, номера и адреса, они заменяются до того, как материал попадает к нему; статус оператора персональных данных и основания обработки определяет юрист заказчика.
Нужны журнал правок и роли: разметчик, проверяющий, арбитр. Без журнала нельзя ответить на вопрос, кто и когда поменял метку, а без ролей арбитр оказывается одним из разметчиков и спорит сам с собой.
Шаг 4. Пробная партия и согласованность разметчиков
Пробная партия — небольшая выборка, которую два человека размечают независимо друг от друга по текущей версии инструкции. Размер выбирают так, чтобы в нём были все классы, включая редкие. Затем считают согласованность, и вот почему простого процента совпадений мало.
Условный пример: два разметчика разметили сто записей двумя классами. Класс A встретился у первого 92 раза, у второго 90 раз. Они совпали на 85 записях класса A и на 3 записях класса B, то есть согласны в 88 случаях из 100. Цифра выглядит приемлемо. Но если почти все записи принадлежат одному классу, два человека, действующие вслепую, совпадут на большинстве из них. Ожидаемое случайное совпадение здесь 0,836, и коэффициент согласованности с поправкой на случай получается около 0,27, то есть согласие едва лучше случайного. Редкий класс при этом разметчики почти не согласовали.
| Показатель | Что показывает | Когда обманывает | Что делать |
|---|---|---|---|
| Доля совпадений | Как часто метки равны | Когда один класс встречается почти всегда | Смотреть вместе с поправкой на случай и по классам |
| Коэффициент с поправкой на случай (каппа Коэна для двух разметчиков) | Согласие выше случайного | Когда классов много и они сильно разного размера | Считать по классам, смотреть таблицу расхождений |
| Таблица расхождений | Какие пары классов путают | Почти никогда | Править определения путаемых классов |
| Согласие по редким классам | Понимают ли редкое | Когда в пробной партии их нет | Докладывать редкие примеры в партию специально |
Порог приемлемой согласованности договариваются заранее и записывают. Универсальной цифры нет: для границ дефекта на снимке она одна, для категории обращения другая. Для трёх и более разметчиков применяют обобщения коэффициента; принцип тот же. Как смотреть уверенность модели после обучения, описано в статье «Порог уверенности модели».
Шаг 5. Разбор расхождений и арбитраж
Каждое расхождение — это либо ошибка разметчика, либо дыра в инструкции, либо спорный пример. Разбираем их по группам, а не по одному. Таблица помогает понять причину по тому, как выглядит картина.
| Что видно | Что это значит | Что делаем |
|---|---|---|
| Расходятся все со всеми по одному классу | Определение класса допускает несколько прочтений | Переписываем определение, добавляем пограничные примеры |
| Расходится один разметчик | Он иначе понял задачу или не прошёл обучение | Разбираем его примеры вместе с ним, повторяем пробную партию |
| Путают два конкретных класса | Границы между ними не заданы | Описываем границу, при необходимости объединяем классы |
| Согласие падает со временем | Правила меняются устно, внимание ослабевает | Фиксируем версии, включаем контрольные примеры в поток |
| Разметчики согласны, но модель на этих метках ошибается | Общая ошибка в понимании или схема не тем решением | Проверяем выборку экспертом, пересматриваем схему |
Спорные записи решает арбитр: старший эксперт, который не участвовал в разметке. Его решение попадает в инструкцию как пример, иначе завтра такой же спор повторится. В поток основной разметки подмешиваем контрольные записи с известным ответом: они показывают, не уплыло ли качество, пока набор рос. Если после каждого раунда согласованность не растёт, проблема в самой задаче: возможно, решение нельзя принять по тем данным, которые вы разметчику показываете.
Эталонный набор: версии, утечки и когда его трогать нельзя
Набор, по которому вы измеряете качество системы, называют эталонным. С ним связаны три правила. Первое: он разделён с обучающей частью без пересечений. Один и тот же документ или близкая копия, попавшие и туда и сюда, делают результат завышенным. Разделять надо по источникам: по поставщикам, по клиентам, по периодам, а не по случайным записям.
Второе: версия набора, версия инструкции и версия схемы хранятся вместе. Если схема меняется, например два класса объединили, старые метки приводятся к новой схеме явно, а результаты сравнения со старой версией помечаются. Третье: эталонный набор не правят после того, как увидели результат модели. Иначе метки незаметно подгоняются под ответы системы, и измерение теряет смысл. Если нашлась ошибка, она исправляется по общему правилу с записью в журнал, а замер повторяется.
Предразметка моделью ускоряет работу, но смещает людей: разметчик склонен соглашаться с подсказкой. Поэтому для эталонного набора её не используют или проверяют на отдельной выборке, размеченной с нуля. Тексты на русском языке имеют свои подводные камни, они разобраны в статье «Анализ тональности и извлечение сущностей на русском».
Что делаем мы и с чего начать
Начинаем с обследования: 200 000 ₽ и 2–3 недели за один набор для одной задачи, 350 000 ₽ и 3–4 недели, если источников и систем несколько. На выходе схема меток, первая версия инструкции, план пробной партии, правила выборки и вилка бюджета. Сумма вычитается из первого этапа, если продолжаете с нами; документами можно пользоваться и без нас. Пробная разметка с инструментом и размеченной выборкой оформляется как лёгкий пилот, 150 000–400 000 ₽.
Мы пишем инструкцию, настраиваем инструмент внутри вашего контура, считаем согласованность и ведём разбор расхождений. Размечать должны ваши эксперты, мы не подменяем их. Юридические вопросы обработки персональных данных решает юрист заказчика. Исходники скриптов и версии набора лежат в вашем репозитории с первого коммита. Цены — на странице «Тарифы», описание услуги — на странице «Обработка и разметка данных для ИИ».
Частые вопросы
Сколько записей нужно размечать?
Общей цифры нет: объём зависит от числа классов, их редкости и сложности решения. Для проверочного набора нужно столько, чтобы в нём были все классы, включая редкие, и чтобы по каждому можно было что-то сказать. Начинайте с пробной партии и расширяйте набор по результатам проверки согласованности.
Сколько человек должны размечать каждую запись?
В пробной партии два независимых разметчика, чтобы посчитать согласованность. В основной разметке часто хватает одного, если согласованность подтверждена и часть записей перепроверяется. Для спорных и ответственных классов разметка двойная, а решение принимает арбитр.
Какая согласованность считается достаточной?
Универсального порога нет. Его договариваются до начала для каждого типа метки и записывают рядом с инструкцией: для границ дефекта он один, для категории обращения другой. Главное, чтобы цифра считалась с поправкой на случайные совпадения и отдельно по классам.
Можно ли разметить данные с помощью модели?
Можно использовать предразметку, но не для эталонного набора. Разметчик склонен соглашаться с подсказкой, и ошибки модели переходят в метки. Если предразметку используете, проверяйте её на выборке, размеченной с нуля, и считайте согласованность отдельно.
Что делать, если эксперты расходятся принципиально?
Это значит, что решение по данным нельзя принять однозначно или определение класса неточно. Разбираем спорные записи вместе, пишем пограничные примеры и решение арбитра. Если после нескольких раундов расхождение остаётся, меняем схему: объединяем классы или добавляем метку «не могу определить».
Как не отдать документы наружу при разметке?
Инструмент ставится внутри вашего контура, разметчики работают с ним оттуда, а фамилии, номера и адреса, не нужные для метки, заменяются заранее. Облачные сервисы разметки для данных ограниченного доступа чаще не подходят по требованиям заказчика. Основания обработки определяет юрист заказчика.
Сколько стоит разметка данных?
Начинаем с обследования: 200 000 ₽ за один набор, 350 000 ₽ при нескольких источниках и системах, вычитается из первого этапа. Пробная разметка с инструментом оформляется как лёгкий пилот, 150 000–400 000 ₽. Стоимость основной разметки зависит от числа записей и сложности решения и называется после пробной партии.
Нужна ли разметка для RAG и ассистента по документам?
Для обучения чаще нет, для проверки да. Нужен набор вопросов и эталонных ответов со ссылками на источники, иначе качество поиска и ответов нечем измерить. Его размечают эксперты по тем же правилам: схема, инструкция, пробная партия, согласованность.