Разговорный ИИ и виртуальные ассистенты: диалог, а не набор ответов

Каждая реплика проходит один и тот же путь, и чинить его можно по звеньям.

От реплики до ответа

• Приведение реплики к рабочему виду. Исправляем очевидные опечатки, раскрываем «то же самое» и «а второй» по предыдущим репликам.
• Намерение и параметры. Что человек хочет (узнать, записать, отменить, пожаловаться) и какие данные уже назвал (дата, номер, адрес). Модель извлекает их из свободного текста, значения затем проверяются по формату и справочнику.
• Состояние диалога. Что собрано, чего не хватает, на каком шаге сценария мы находимся. Это отдельная запись в базе, а не «то, что модель помнит из переписки».
• Решение. Ответить из документов, спросить недостающее, выполнить действие в системе, отказаться или передать человеку.
• Формулировка ответа. Здесь работает языковая модель: она излагает найденное своими словами в вашей манере, но не добавляет фактов.
• Запись. Диалог, найденные источники и выполненные действия сохраняются в журнале.

Если поручить всё модели целиком, непонятно, на каком звене произошла ошибка, поэтому мы тестируем звенья отдельно. Принцип поиска по документам описан в статье «Что такое RAG», а сама диалоговая часть — в статье «Как устроен диалог в разговорном ИИ».

В живой переписке люди пропускают слова, уходят в сторону и возвращаются. Ассистент, рассчитанный на аккуратный ввод, ломается на первом же отклонении. Мы закладываем четыре поведения и проверяем каждое отдельным тестом.

• Переспросить, когда не хватает данных. Один вопрос за раз и с вариантами, если их немного. Не более двух уточнений подряд: после этого предлагаем оператора, иначе человек почувствует допрос.
• Подтвердить важное. Дату, сумму, адрес и номер ассистент повторяет и ждёт «да». Подтверждение стоит одной реплики, ошибка в записи стоит дороже.
• Принять смену темы. Если посреди записи человек спрашивает про оплату, ассистент отвечает и предлагает вернуться к записи, а не обнуляет собранное.
• Принять отмену. Слова «стоп», «не надо», «хочу человека» работают на любом шаге без «а вы уверены?».

Отдельный тест — неоднозначность: «отмените» может относиться к заказу, записи или подписке, и ассистент должен спросить, а не угадать. Если условия в документах нет, он не выдумывает его, а предлагает передать вопрос менеджеру.

Основа проверки — набор реальных диалогов с вашей линии: обезличенные, разметка итога («решено», «передано», «ошибка»).

Что считаем

• Доля диалогов, дошедших до цели без оператора и отдельно доля передач, которые были правильными.
• Доля ошибочных действий: неверно записанная заявка, неверный статус, ответ, противоречащий документу.
• Доля ответов со ссылкой на источник и доля ссылок, которые действительно подтверждают ответ. Это проверяет человек на выборке.
• Поведение на трудных случаях: смена темы, опечатки, две просьбы в одной реплике, попытки обойти правила.

Когда прогоняем

Набор диалогов запускается при каждой смене модели, инструкций или базы знаний. Если показатель ухудшился, изменение не принимается. Целевые значения согласуем с вами заранее и записываем в критерий приёмки; чужие цифры качества мы не обещаем, потому что они зависят от ваших вопросов и ваших документов.

Названия в брифах плавают, поэтому спрашиваем не как это называется, а что система должна делать. Если нужно принимать обращения в мессенджере по понятной схеме, достаточно чат-бота для бизнеса; его связь с учётом описана на странице интеграции с CRM. Если ассистент должен сам менять данные в нескольких системах, это ИИ-агент с более строгими правами; разница описана в статье «Чем ИИ-агент отличается от чат-бота».

Разговор по телефону добавляет распознавание и синтез речи и жёсткие требования к паузам: ему посвящена страница голосовых ассистентов. Если же главная задача сотрудников — найти ответ в регламентах, то сначала стоит посмотреть ассистента по документам, а диалоговые возможности добавить к нему вторым шагом. Общие принципы приложений на языковых моделях — на странице разработки LLM-приложений.