Обработка и разметка данных для ИИ: набор, на котором модель можно обучить и проверить

Каждый шаг записывается в паспорт набора: откуда данные, что с ними сделано и что осталось за бортом. Через полгода по паспорту видно, почему модель ведёт себя так, а не иначе.

1. Инвентаризация. Откуда берутся данные, кто их владелец, в каком формате лежат и можно ли их использовать для обучения по вашим политикам.
2. Очистка. Битые файлы, пустые страницы, служебные вложения и письма-ответы, которые повторяют предыдущие целиком.
3. Дубли и почти дубли. Один и тот же документ в трёх папках размечать трижды бессмысленно, а хуже того, он попадёт и в обучение, и в проверку. Ищем точные совпадения и близкие копии.
4. Обезличивание. Если разметчику не нужны фамилии, номера и адреса, они заменяются до того, как материал попал к нему. Технически это делается правилами и моделью по сущностям, результат проверяется выборочно. Статус оператора и основания обработки определяет юрист заказчика.
5. Выборка для разметки. Размечать первые попавшиеся записи опасно: они скажут о потоке меньше, чем кажется. Выбираем по срезам: поставщик, период, источник, тип обращения, и добавляем редкие случаи, которые иначе в набор не попадут.

Из чего состоит инструкция

• Определение класса словами и границы. Не «жалоба», а «клиент выражает недовольство и требует действия; вопрос о статусе заказа без недовольства жалобой не считается».
• Примеры трёх видов. «Это класс», «это не класс» и «пограничный случай и как его решили». Пограничные примеры полезнее остальных.
• Правила для спорных ситуаций. Что делать, если подходят два класса, если текст оборван, если снимок нечёткий.
• Метка «не могу определить». Она нужна, чтобы разметчик не угадывал. Такие примеры потом разбирает старший эксперт, а доля меток «не могу определить» сама показывает, что с данными не так.
• Версия и журнал изменений. Что поменяли и с какого дня; метки, поставленные по старой версии, помечаются.

Пилотная разметка перед основной

Небольшой кусок выборки двое размечают независимо друг от друга. Затем смотрим расхождения и правим инструкцию, а не разметчиков. Круг повторяют, пока расхождения не сводятся к действительно трудным случаям. Только после этого запускается основная работа. Порядок описан в статье «Как размечать данные для ИИ».

Эта страница про подготовку данных: очистку, правила, инструмент и контроль. Что делать с набором дальше, зависит от задачи. Если нужно обучить или настроить модель на ваших текстах, смотрите NLP-решения или дообучение языковых моделей. Для снимков и видео — распознавание изображений.

Для языковой модели с поиском по документам обучающая разметка часто не нужна, а нужен небольшой эталонный набор вопросов и ответов. Он собирается теми же приёмами, но служит для проверки, а не для обучения, и описан на странице «Оценка качества LLM-систем». Как набор попадает в рабочую систему и как за ней следят, описано на странице MLOps.