Как работает анализ звонков с ИИ: от записи до отчёта

Анализ звонков с ИИ работает так: запись переводится в текст программой распознавания речи, текст размечается по темам, чек-листу и исходу, разметка складывается в отчёты, а выборку результатов проверяет человек. Модель не слушает голос, она читает расшифровку, поэтому качество всего анализа почти целиком определяется первыми двумя шагами: записью и распознаванием.

Из этого следует практическое правило: пилот начинается не с отчётов и не с выбора языковой модели, а с проверки, насколько хорошо ваши записи превращаются в текст. Если этот шаг не работает, остальное строится на ошибках. Готовое решение под вашу задачу описано на странице «Речевая аналитика звонков», здесь только устройство и способы проверки.

Пять шагов: что происходит с записью

Конвейер состоит из пяти шагов, и ошибка на ранних шагах переходит на поздние. Если слово «договор» распознано как «до говора», тема не определится, и отчёт покажет, что клиент ничего не спрашивал о договоре.

Важно понимать, что шаги независимы. Распознавание можно заменить, не трогая разметку, а разметку можно менять, не распознавая звонки заново. Поэтому расшифровки хранятся отдельно от аудио и от меток: при смене модели пересчитывается только изменённый шаг.

Запись: почему качество определяется до нейросети

Распознаванию достаются те записи, которые собрала ваша телефония. Три особенности записи влияют на результат сильнее выбора модели.

• Каналы. Если менеджер и клиент пишутся на отдельные дорожки, различать их просто и точно. Если на одну, программа разделяет голоса по звучанию, и на коротких репликах и при перебивании путает, кто что сказал. Тогда отчёт приписывает фразу менеджера клиенту.
• Полоса и сжатие. Телефонная линия передаёт узкую полосу частот, часть записей дополнительно сжата. Модели, обученные на чистых записях, на такой телефонии работают хуже, поэтому проверку ведут на ваших записях, а не на демонстрационных.
• Привязка к карточке. Без связи записи с клиентом, сделкой и сотрудником отчёт превращается в архив: нельзя сравнить исход разговора с тем, что случилось дальше.

Если запись настроена плохо, первое действие — исправить запись, а не подбирать модель. Это дешевле и даёт эффект сразу. Настройка телефонии остаётся задачей вашего оператора связи или администратора АТС, мы описываем требования.

Вопрос уведомления собеседника о записи и сроков хранения записей относится к юристу заказчика. Мы юридических консультаций не даём, но закладываем в систему срок хранения и удаление записей по расписанию.

Распознавание речи: как мерить и где оно ошибается

Качество распознавания обычно измеряют долей слов, в которых программа ошиблась. Это полезная цифра для сравнения моделей, но она не отвечает на деловой вопрос. Для анализа звонков ошибка в союзе и ошибка в сумме договора несоизмеримы, а в общей доле они весят одинаково. Поэтому считаем две вещи отдельно.

Что улучшает результат: словарь ваших терминов и названий, который подаётся распознавателю, и пост-обработка, исправляющая типичные ошибки по списку. Модели распознавания речи с открытыми весами работают на ваших серверах и не требуют отправки записей наружу. Какая именно подойдёт, показывает сравнение на вашей выборке: общего ответа «эта модель точнее» нет, он зависит от записей, акцента и лексики. Для данных ограниченного доступа облачные сервисы распознавания чаще не подходят по требованиям заказчика, и тогда расчёт ведётся в контуре.

Разметка: что можно извлечь из текста и как

Когда расшифровка готова, из неё извлекают то, что нужно бизнесу. Не всё одинаково надёжно, и метод подбирают под задачу: простое проверяется словарём, сложное требует классификатора или языковой модели.

Языковая модель в разметке нужна там, где формулировки разнообразны. Но у неё две особенности. Она может выдать уверенную метку без основания, поэтому каждую метку просим сопровождать выдержкой из текста, которую можно проверить. И она по-разному отвечает на слегка различающиеся формулировки задания, поэтому формулировки фиксируются, а изменения прогоняются на контрольной выборке. Как выбирать порог, ниже которого метка уходит человеку, описано в статье «Порог уверенности модели».

Как проверить качество разметки до запуска

Проверка разметки строится как проверка любой модели, но с одной особенностью: эталон делают люди, и сами люди расходятся. Порядок такой.

1. Соберите выборку. Звонки разных менеджеров, времени суток, тем и условий связи. Выборка из одной хорошей недели завысит результат.
2. Разметьте вручную дважды. Два человека размечают одну выборку независимо. Если они расходятся в заметной части случаев, пункт чек-листа сформулирован нечётко, и модель его не исправит.
3. Сравните с моделью по группам. Не общая цифра, а разбор: какие темы и какие менеджеры дают больше всего расхождений, и где модель ошибается так, как ошибаются люди.
4. Посмотрите на ошибки. Читаем десятки спорных звонков и ищем закономерности: система путает вопрос про цену с возражением, не слышит вежливый отказ.
5. Зафиксируйте планку. Сколько ошибок допустимо в каждой метке, прежде чем она попадёт в отчёт. Для меток ниже планки отчёт показывает выдержки, а не итог.

После запуска проверка продолжается: небольшая случайная выборка звонков в месяц читается человеком, а результат записывается. Так качество видно во времени, и смена тематики звонков не проходит незамеченной. Общий подход к подготовке такой выборки описан в статье «Как подготовить данные для ИИ-пилота».

Отчёты: что строят и чем рискуют

Отчёт — это то, что видят руководители, поэтому он определяет, какую пользу получит бизнес и какой вред можно причинить людям. Типовые виды отчётов с их рисками собраны в таблице.

Два правила защищают от вреда. Сводка по менеджеру — материал для разговора и обучения, а не приговор, и в ней всегда рядом с цифрой лежат звонки, на которых она основана. А связь фраз с продажами показывает, что обсуждать, но не доказывает, что фраза причина: менеджеры с сильными клиентами говорят иначе уже потому, что у них другие клиенты.

Заранее стоит решить, кто и что видит. Звонки содержат голоса и персональные данные клиентов и сотрудников, а в записях бывают и личные разговоры. Доступ ограничивается ролями, просмотры записываются в журнал.

Закрытый контур и данные: где крутится конвейер

Запись голоса и расшифровка относятся к персональным данным, а в расшифровках встречаются суммы, условия договоров и названия контрагентов. Если эти данные нельзя отдавать наружу, весь конвейер работает на ваших серверах.

• Распознавание. Модели с открытыми весами запускаются у вас. Нагрузка зависит от объёма звонков, и её оценивают на обследовании по числу часов записи в сутки и допустимой задержке.
• Разметка. Небольшие классификаторы работают без видеокарт; языковая модель для сложных меток требует отдельного сервера. Выбор между своей моделью и внешним программным интерфейсом разобран в статье «Своя LLM или ChatGPT API».
• Хранение. Аудио, расшифровки и метки хранятся раздельно, со сроками: аудио удаляется раньше, чем расшифровка, если политика компании это предусматривает. Персональные данные граждан России обычно должны храниться на серверах в России.
• Доступ. Роли, журнал просмотров и выгрузок, отдельный доступ для администраторов системы. Вход можно подключить к вашему каталогу пользователей.

Развёртывание модели на своём сервере и подбор оборудования описаны в статье «Как развернуть LLM в закрытом контуре».

Чего от анализа звонков ждать не стоит

У метода есть пределы, и о них лучше знать до заказа.

• Эмоции и намерения по тексту читаются грубо: усталость, ирония и вежливый отказ часто остаются незамеченными.
• Анализ не заменяет руководителя. Он находит звонки, которые стоит послушать, и показывает повторяющиеся проблемы, но объяснить, почему менеджер так говорит, не может.
• При малом числе звонков конвейер не окупается. Если в неделю у отдела несколько десятков разговоров, руководитель прослушает выборку сам, и автоматика не нужна.
• Точность не бывает общей. Она разная для разных меток, групп звонков и условий связи, и приёмка считается по каждой метке.

Если вы сомневаетесь, нужна ли автоматизация, сравните стоимость прослушивания выборки руководителем с расходами на конвейер. Как считать окупаемость ИИ-проекта, описано в статье «Как посчитать ROI от ИИ».

Что делаем мы и с чего начать

Мы делаем один конвейер для одного участка: например, звонки отдела продаж или линии поддержки. Начинаем с обследования: 200 000 ₽ за 2–3 недели при одном источнике записей, 350 000 ₽ за 3–4 недели, если записи идут из нескольких систем и нужна связь с CRM. На выходе: оценка качества записи, результат распознавания на вашей выборке, определение меток и чек-листа, схема размещения и вилка бюджета. Сумма вычитается из первого этапа, если продолжаете с нами.

Дальше лёгкий пилот на выборке записей стоит 150 000–400 000 ₽ за 2–8 недель, тяжёлый пилот с подключением к вашей АТС и CRM — 400 000–1 200 000 ₽ за 2–3 месяца. Вывод в эксплуатацию начинается от 1 500 000 ₽ этапами по 300 000–700 000 ₽. Остановиться можно после любой ступени, исходный код лежит в вашем репозитории с первого коммита. Полный перечень ступеней и сопровождения — на странице «Тарифы».

Мы не настраиваем телефонию и не даём юридических консультаций по записи разговоров, не оцениваем сотрудников за вас и не дежурим круглосуточно. Подробности работы — на странице «Речевая аналитика звонков».