Разработка NLP-решений на заказ: тональность, сущности и классификация текстов на русском

Шкала и объект оценки

Трёх классов — позитив, нейтраль, негатив — для бизнеса обычно мало. Нужно знать, к чему относится оценка: к сроку, цене, качеству, сотруднику. Поэтому тональность чаще привязывают к теме: «доставка — негатив, товар — позитив». Шкалу и список объектов мы согласуем с вами на обследовании, до разметки: потом менять их дорого.

Что ломает тональность

• Ирония и вежливая жалоба. «Спасибо, что так быстро ответили через неделю» читается как благодарность по словам и как претензия по смыслу.
• Нейтральный тон при серьёзной проблеме. Сухое «прошу разобраться, оплата не прошла» важнее эмоционального отзыва, но тональность у него нейтральная. Поэтому срочность определяется отдельно.
• Отраслевые слова. «Отказ», «срыв», «вскрытие» бывают нейтральными терминами. Общая модель принимает их за негатив.
• Короткие тексты. Подпись «ок» или смайл без контекста говорит о тоне меньше, чем кажется.

Тональность как входной сигнал, а не как цель

Одна оценка настроения мало что меняет. Работает связка тональности, темы, срочности и клиента: «негатив по оплате от крупного клиента уходит руководителю смены». Правило записываете вы, мы обеспечиваем надёжность входных сигналов.

Схема сущностей

Для начала записываем, что именно искать: люди, организации, договоры, суммы, даты, артикулы, адреса, номера заказов. Каждой сущности нужно определение с границами: входит ли в «организацию» форма собственности, как отмечать несколько сумм в одном предложении, что делать с вложенными названиями. Без записанных правил два разметчика размечают по-разному, и модель учится на противоречиях.

Нормализация и связывание

Найденная строка «ООО Ромашка» превращается в запись справочника, только если строку сопоставили с реквизитами. Для артикулов и номеров договоров применяют форматы и проверочные правила, для названий — сопоставление по справочнику с оценкой совпадения. Если уверенности нет, значение остаётся неразрешённым и уходит человеку, а не подставляется «по похожести».

Чем отличается извлечение моделью разметки и языковой моделью

Модель разметки последовательностей быстро и дёшево находит сущности в больших потоках, но требует размеченной выборки. Языковая модель по схеме полей справляется без обучения на редких формах, но медленнее, дороже по ресурсам и может «достроить» значение, которого в тексте нет. Поэтому её ответ проверяется кодом: значение должно находиться в исходном тексте.

Разметка и согласованность

Эталон размечают ваши сотрудники по записанной инструкции, часть текстов размечают двое независимо. Расхождение между ними показывает, насколько задача сама по себе однозначна: если люди спорят, модель не может быть точнее.

Метрики по классам

Для каждого класса считаются полнота (сколько нужных случаев найдено) и точность (сколько найденного верно). Редкий, но дорогой класс вроде жалобы на безопасность может иметь высокую общую точность и нулевую полноту. Смотрим на матрицу ошибок: какие классы путаются между собой.

После запуска

Тексты меняются: появляются новые продукты и слова. Поэтому в эксплуатации мы следим за долей неуверенных ответов и распределением классов, а правки операторов собираем в новую выборку. Порог уверенности подбирается под цену ошибки, см. порог уверенности модели.

Если нужен диалог с клиентом, это чат-бот или ИИ-ассистент: он использует NLP внутри, но продаёт сценарий. Если нужно отвечать на вопросы по базе знаний со ссылкой на источник, это RAG-система. Поиск по смыслу без генерации ответа — задача семантического поиска.

Тексты звонков сначала нужно превратить в текст, затем уже анализировать. Эта цепочка описана на странице речевой аналитики. Документы с таблицами и бланками разбирает интеллектуальная обработка документов, а помощника первой линии по базе знаний — страница про ИИ для техподдержки.

Общая рамка — страница «Разработка ИИ на заказ», обучение собственной модели — разработка моделей машинного обучения.