Разработка системы речевой аналитики: транскрибация и анализ звонков с ИИ

Получение записи

Записи берутся с АТС или из CRM по событию окончания звонка либо по расписанию. Удобнее всего, когда оператор и клиент записаны в разные каналы: тогда не нужно угадывать, кто говорит. Если канал один, добавляется диаризация, то есть разделение речи по говорящим. Она ошибается чаще, особенно когда собеседники перебивают друг друга.

Распознавание речи

Модель превращает звук в текст с временными метками. Телефонный канал узкий и шумный, и модели, обученные на чистой записи, на звонках могут работать заметно хуже. Поэтому выбранную модель проверяем на вашей выборке и при необходимости добавляем словарь терминов, названий товаров и фамилий.

Подготовка текста

Числа записываются цифрами, а номера карт и паспортные данные, которые произнёс клиент, маскируются по правилам вашей службы безопасности.

Разметка

Языковая модель на вашем сервере классифицирует звонок, находит нужные фрагменты и извлекает поля. Ответ она возвращает в заданной структуре, а проверяет его код: допустимые значения, номера заказов по справочнику, суммы по CRM. Каждое утверждение в отчёте идёт с цитатой и меткой времени, по которой открывается запись, поэтому оценку можно оспорить.

Отчёты и запись в учёт

Руководитель получает сводку по темам и скрипту, очередь звонков для прослушивания и поиск по расшифровкам. Результат пишется в карточку сделки, если CRM это позволяет: смотрите интеграцию с amoCRM и с Битрикс24.

Основная метрика распознавания — доля ошибочных слов на размеченной выборке. Берём звонки из вашего потока, люди печатают эталонный текст, мы сравниваем с ответом модели. Одной цифры мало: смотрим отдельно по линиям и по качеству связи, потому что среднее может прятать плохую линию.

Ошибки неравноценны: промах в слове «здравствуйте» ничего не меняет, а промах в сумме или номере заказа меняет итог. Поэтому для чисел, фамилий и артикулов считаем отдельную долю ошибок.

Что портит распознавание

• Канал и шум. Гарнитура, улица, громкая связь, потеря пакетов.
• Перебивание. Наложенные реплики распознаются хуже, и по ним сбивается разделение говорящих.
• Лексика. Названия брендов, артикулы, профессиональный жаргон, аббревиатуры.
• Числа и коды. Номер заказа, продиктованный по цифрам, легко теряет одну из них.

Что с этим делаем

Добавляем словарь терминов и названий, проверяем числа и номера по справочникам (есть ли такой заказ в CRM), считаем уверенность и ставим порог: звонок ниже порога помечается «разобрать вручную» и не попадает в автоматический отчёт без метки. Принцип подробнее описан в статье о пороге уверенности. Критерии приёмки (выборка, метрики, порог) записываются в договор до начала работ, а не после первого показа.

Речевая аналитика разбирает разговоры, которые уже состоялись между людьми. Если нужен ИИ, который сам отвечает на звонок или перезванивает клиенту, это голосовой ИИ-ассистент: у него другие требования к задержке и к ответственности за сказанное. Если разговор идёт в переписке и мессенджерах, речь о чат-боте с интеграцией CRM.

Расшифровки звонков затем удобно обрабатывать так же, как любой текст: определять тональность, извлекать названия и суммы, искать по смыслу. Эти задачи описаны на страницах NLP-решений и семантического поиска по документам, а общий состав услуг — на странице разработки ИИ на заказ.

Подсказки оператору по ходу разговора мы в первую версию обычно не включаем: им нужна малая задержка. Начинаем с обработки после звонка, а нужен ли режим реального времени, решаем по результатам пилота.