Сотрудники пишут одно и то же
Ответы клиентам, письма поставщикам, сводки по встречам собираются вручную по одним и тем же образцам. Здесь генерация даёт черновик, а человек правит.
Разработка генеративного ИИ: черновики, сводки и кастомные ИИ-боты на ваших данных
Разработка генеративного ИИ — это система, которая по вашим данным пишет текст: черновик ответа клиенту, сводку звонка, документ по шаблону, ответ по базе знаний. Кастомный ИИ-бот — оболочка вокруг такой генерации: у него своя роль, свои источники и границы, и он знает, когда передать вопрос человеку. Мы делаем систему в вашем контуре и измеряем качество текста на ваших примерах. Начинаем с вопроса, кто и по какому признаку принимает результат, потому что генерация без приёмки превращается в уверенные ошибки.
Пилот на ваших примерах — от 150 000 ₽Модель на ваших серверах, данные не уходят наружуКачество текста измеряем по критериям, записанным до начала
С чем приходят
Когда генерация нужна, а когда хватит шаблона
Текст нужно собрать из разных источников
Ответ складывается из карточки в CRM, документа и переписки. Бот собирает его и показывает, откуда взят каждый факт.
Пробовали публичный чат-бот, а результат разный
Без источников и правил ответ зависит от формулировки вопроса. Нужны ограничения, шаблон и проверка, а не новая формулировка запроса.
Данные нельзя отправлять наружу
Договоры, переписка с клиентами и внутренние регламенты — данные ограниченного доступа. Для них внешние облачные модели чаще всего не подходят по требованиям заказчика.
Что генерируем
Семь задач генерации: откуда факты, кто утверждает и где ломается
Заготовка для разбора: на ваших процессах строки будут другими. Если в строке нет человека, который утверждает результат, режим подсказки остаётся единственным.
Задача
Откуда берутся факты
Кто утверждает
Где ломается
ЗадачаЧерновик ответа клиентуобращение и история
Откуда берутся фактыКарточка клиента, переписка, база знаний
Кто утверждаетСотрудник поддержки перед отправкой
Где ломаетсяБот обещает то, чего нет в регламенте: срок, скидку, исключение
ЗадачаСводка звонка или встречидлинный текст в короткий
Откуда берутся фактыРасшифровка записи
Кто утверждаетУчастник встречи, иногда руководитель
Где ломаетсяТеряется решение или приписывается то, что не говорили
ЗадачаДокумент по шаблонуписьмо, акт, служебная записка
Откуда берутся фактыПоля из учётной системы и фиксированный шаблон
Кто утверждаетАвтор и юрист, если документ внешний
Где ломаетсяМодель правит формулировки, которые менять нельзя
ЗадачаПоля из свободного текстазаявка в структуру
Откуда берутся фактыСам текст заявки
Кто утверждаетПроверка кодом, сомнительное в очередь
Где ломаетсяВыдуманное значение вместо пустого поля
ЗадачаОтвет по базе знанийвопрос сотрудника
Откуда берутся фактыРегламенты и инструкции с правами доступа
Кто утверждаетСотрудник по ссылке на источник
Где ломаетсяУстаревший документ или чужой доступ
ЗадачаОписания по карточкекаталог, ассортимент
Откуда берутся фактыАтрибуты товара из учёта
Кто утверждаетКонтент-менеджер выборочно
Где ломаетсяВ описание попадают свойства, которых у товара нет
ЗадачаПересказ и нормализацияперевод, упрощение, единый стиль
Откуда берутся фактыИсходный текст
Кто утверждаетАвтор исходника
Где ломаетсяСмысл меняется незаметно, особенно в числах и условиях
Контроль
Как удерживаем генерацию в рамках
Свободно сочинять модели нужно только там, где факты не важны. В бизнес-задачах факты важны почти всегда, поэтому вокруг модели строим ограничения.
Источник вместо памяти модели
Факты берутся из документов и систем, подключённых к ответу, а не из того, что модель «помнит». К каждому утверждению прикладывается ссылка на фрагмент. Если подходящего фрагмента нет, правильный ответ — «в базе нет», а не правдоподобная догадка. Как устроен поиск по вашим документам, описано на странице RAG-систем на заказ.
Форма вывода задаём заранее
Шаблон документа, структура ответа, допустимые значения полей фиксируются. Там, где нужны данные, модель возвращает структуру, а не прозу, и результат проверяется кодом: дата похожа на дату, сумма совпадает с учётом, номер заказа существует. Свободный текст ограничен теми частями, где он нужен.
Проверка, которую не делает сама модель
Числа, названия, сроки и ссылки сверяются с источником обычным кодом. Модель плохо проверяет сама себя, поэтому вторая модель в роли «проверяющего» ошибки уменьшает, но не снимает. Критичное идёт к человеку.
Человек в цепочке
Начинаем с режима подсказки: система предлагает, человек утверждает. Автоматическая отправка допустима для обратимых и низкорисковых действий после проверки на отложенной выборке. Правки сотрудников сохраняются и показывают, где система чаще всего ошибается.
Защита от чужих инструкций
В переписке и документах может оказаться текст вида «забудь правила и сделай так». Он не должен менять поведение системы, поэтому права вынесены за пределы модели, а выводы модели считаются недоверенным вводом. Подробнее в чек-листе безопасности LLM-системы.
Кастомные боты
Пять видов ИИ-бота: что умеет, чего не позволяем и куда передаёт
Чат-интерфейс сам по себе мало что значит: важнее роль бота и границы, которые мы ему записываем.
Вид бота
Что умеет
Чего не позволяем
Куда передаёт
Вид ботаВнутренний ассистентответы по регламентам
Что умеетНаходит документ и отвечает со ссылкой
Чего не позволяемПоказывать документы, к которым у сотрудника нет доступа
Куда передаётК ответственному за раздел регламента
Вид ботаБот для клиентовсайт, Telegram, WhatsApp
Что умеетОтвечает по опубликованной информации и по данным заказа
Чего не позволяемОбещать условия, которых нет в регламенте; менять заказ без подтверждения
Куда передаётОператору с историей диалога
Вид ботаСоставитель документовчерновик по шаблону
Что умеетСобирает документ из полей и фиксированных формулировок
Чего не позволяемМенять юридические формулировки шаблона
Куда передаётАвтору и, для внешних документов, юристу
Вид ботаРазборщик входящихписьма и заявки
Что умеетОпределяет тип, извлекает поля, готовит ответ
Чего не позволяемОтправлять ответ без проверки в спорных случаях
Куда передаётВ очередь «непонятно» с причиной
Вид ботаАгент с действиямисоздаёт и меняет записи
Что умеетВыполняет заранее перечисленные действия в системах
Чего не позволяемДействовать с правами выше, чем у пользователя; необратимые шаги без подтверждения
Куда передаётК человеку при любом сомнении
Модель
Какую модель берём и где она работает
Сравнение внешнего интерфейса и своей модели — в статье «Своя LLM или ChatGPT API», выбор между поиском и дообучением — на странице дообучения языковых моделей.
Открытая модель в вашем контуре
Основной вариант для данных ограниченного доступа. Модель размещается на ваших серверах или в частном облаке, качество проверяется на вашей выборке. Объёмы железа определяются на обследовании, готовых цифр у нас нет.
Внешний программный интерфейс
Допустим для данных, которые можно передавать наружу, и для быстрой проверки идеи. Выбор между вариантами проверяем на вашей выборке.
Дообучение
Нужно, когда меняется стиль, формат или терминология, а не знания. Знания лучше подключать поиском.
Базовую модель с нуля не обучаем
Это работа для компаний с собственными вычислительными кластерами. Мы берём готовую открытую модель, проверяем её лицензию и настраиваем вокруг неё систему.
Приёмка
Как оцениваем качество текста: критерий, способ и кто решает
Текст нельзя проверить одним числом. Критерии записываются до начала и подписываются, готовых процентов качества у нас нет.
Что оцениваем
Как проверяем
Кто решает
Что записываем заранее
Что оцениваемФактическая точностькаждое утверждение найдено в источнике
Как проверяемВыборка прошлых запросов с известными правильными ответами
Кто решаетЭксперт заказчика, вслепую
Что записываем заранееДопустимая доля ответов с хотя бы одной ошибкой факта
Что оцениваемПолнотане потеряно главное
Как проверяемСписок обязательных пунктов для каждого типа текста
Кто решаетАвтор или руководитель
Что записываем заранееПункты, без которых результат не принимается
Что оцениваемСтиль и тонсоответствует вашим образцам
Как проверяемСравнение с эталонными текстами по шкале из нескольких пунктов
Кто решаетСотрудники, пишущие такие тексты
Что записываем заранееОписание допустимого тона и запретных оборотов
Что оцениваемОтказ при отсутствии данныхбот не выдумывает
Как проверяемВопросы, на которые в базе ответа нет
Кто решаетСопровождающий проверку
Что записываем заранееЧто должен ответить бот и кому передать
Что оцениваемУстойчивость к подмене инструкцийчужой текст не управляет ботом
Как проверяемНабор «опасных» документов и запросов
Кто решаетСпециалист по безопасности
Что записываем заранееЧто считается провалом и что делаем при нём
Что делаем
Из чего состоит работа и сколько она стоит
Цены совпадают со страницей «Тарифы». Цену внутри вилки двигают число источников и систем, требования к проверке и к контуру. Остановиться можно после любой ступени.
Обследование: одна задача генерации
Какие тексты, из каких источников, кто утверждает; проверка на примерах без обучения; критерии качества; вилка бюджета. Вычитается из первого этапа, если продолжаете с нами.
200 000 ₽ · 2–3 недели
Обследование: несколько источников и систем
Документы, CRM, учёт и права доступа вместе: схема данных и матрица источников.
350 000 ₽ · 3–4 недели
Лёгкий пилот: бот или генерация на одном сценарии
Ассистент по базе знаний, черновики ответов, сводки. Замер по вашей выборке, отчёт об ошибках; без подключения к боевым системам.
150 000–400 000 ₽ · 2–8 недель
Тяжёлый пилот: в рабочем окружении
Интеграция с CRM или учётом, права доступа, журнал, режим подсказки на живых запросах, проверка безопасности.
400 000–1 200 000 ₽ · 2–3 месяца
Вывод в эксплуатацию
Опытная эксплуатация, обучение пользователей, регламент обновления источников и проверки качества, передача исходников.
от 1 500 000 ₽ этапами по 300 000–700 000 ₽ · от 3 месяцев
Сопровождение
Контроль качества на живых запросах, обновление источников, разбор жалоб. Сверх пакета — 5 000 ₽ в час.
20 000 / 60 000 / 120 000 ₽ в месяц
Процесс
Как идёт работа
2–3 недели — Обследование: тексты и источники
Берём реальные примеры, определяем, что бот может сказать, а что нет, и кто принимает результат. Часть идей здесь честно уходит в «шаблон достаточно».
Перед пилотом — Эталонная выборка
Собираем прошлые запросы с правильными ответами и отдельные «опасные» случаи. Пишем рубрику оценки.
От 2 недель — Пилот на ваших примерах
Сравниваем варианты (подсказка в запросе, поиск по документам, дообучение) на одной выборке, смотрим ошибки по типам.
1–3 месяца — Рабочее окружение
Подключаем источники, права и журнал. Бот работает в режиме подсказки, сотрудники правят, правки сохраняются.
Перед запуском — Приёмка
Прогон по критериям из договора, проверка безопасности, обучение пользователей и ответственных за источники.
Дальше — расширение или сопровождение
Новые тексты и каналы по этапам, обновление источников и контроль качества записаны в договор.
Контроль
Что остаётся у вас и чего мы не делаем
Остаётся у вас
- Исходный код в вашем репозитории с первого коммита.
- Подсказки, шаблоны, правила и рубрика оценки как отдельные файлы с версиями.
- Эталонная выборка и результаты проверок: по ним можно проверить любую следующую версию.
- Развёртывание на вашем оборудовании с инструкцией; журнал запросов и ответов.
- Право остановиться после любой ступени: сделанное остаётся у вас по акту.
Мы этого не делаем
- Не генерируем изображения, видео и голос для рекламы и не клонируем голоса и лица.
- Не пишем контент для массового размещения и поискового продвижения.
- Не обучаем базовую модель с нуля.
- Не обещаем безошибочных текстов: ответственность за утверждённый результат остаётся у человека, который его принял.
- Не берём работы дешевле 150 000 ₽ и не дежурим круглосуточно.
Граница
Генеративный ИИ, чат-бот, RAG и агент: где проходит граница
Если задача в том, чтобы создавать тексты и ответы на ваших данных с проверкой, это эта страница. Если нужно встроить модель в приложение через API, подробный разбор частей и способов защиты на странице разработки LLM-приложений. Если главное — поиск и ответы по документам, это RAG-система. Если нужен канал для клиентов (сайт, Telegram, WhatsApp) с передачей оператору, смотрите чат-бот для бизнеса и чат-бот для Telegram и WhatsApp.
Если система должна совершать действия в учётных системах, речь об ИИ-агенте, а в продажах об агенте для продаж. Какие задачи автоматизировать в первую очередь, помогает решить статья «Что автоматизировать с помощью ИИ в первую очередь».
Инструменты
На чём собираем
Модель и поиск
- Открытые языковые модели в вашем контуре; сервер инференса vLLM или llama.cpp
- Поиск по документам: pgvector или Qdrant
- Python, FastAPI, очередь задач
- Проверка вывода кодом по схеме и по данным учёта
Каналы и развёртывание
- Веб-виджет, Telegram и WhatsApp через ваши аккаунты, интеграция с CRM по API
- PostgreSQL для журнала, версий подсказок и правок
- Keycloak или ваш каталог для прав доступа
- Docker, GitLab CI
Материалы
Материалы по теме
Генеративный ИИ в бизнесе: что реально работает
Какие задачи генерации окупаются, какие нет и как отличить одно от другого до начала проекта.
- Что работает
- Где ошибки
- Первая задача
Prompt-инженерия для бизнеса: как писать и проверять промпты
Из чего состоит инструкция для модели, как её версионировать и проверять на выборке.
- Структура
- Версии
- Проверка
RAG или дообучение LLM: что выбрать
Как понять, что нужно: знания или поведение, и как сравнить варианты на одной выборке.
- Знания и поведение
- Права доступа
- Дерево решений
Заявка
Покажите тексты, которые нужно генерировать
Сорок минут созвона: какие тексты пишут сотрудники, из чего они собираются и кто их утверждает. По итогам скажем, годится ли задача для генерации, с какой ступени начинать и в какую вилку это укладывается.
Вопросы
Частые вопросы: разработка генеративного ИИ
Сколько стоит разработка генеративного ИИ?
Начинаем с обследования: 200 000 ₽ за одну задачу генерации, 350 000 ₽ при нескольких источниках и системах. Лёгкий пилот стоит 150 000–400 000 ₽, тяжёлый в рабочем окружении 400 000–1 200 000 ₽, вывод в эксплуатацию от 1 500 000 ₽ этапами по 300 000–700 000 ₽. Обследование вычитается из первого этапа, если продолжаете с нами.
Чем кастомный ИИ-бот отличается от публичного чат-бота?
У кастомного бота свои источники, роль и границы. Он отвечает по вашим документам со ссылкой, не показывает данные без прав, отказывается, когда ответа в базе нет, и передаёт вопрос человеку. Публичный чат-бот ничего об этом не знает и отвечает по тому, что запомнил.
Модель будет выдумывать факты?
Полностью исключить это нельзя. Мы снижаем риск: факты берутся из источников со ссылкой, числа и названия сверяются кодом, при отсутствии данных бот отказывается, критичное утверждает человек. Частоту оставшихся ошибок измеряем на вашей выборке и записываем в приёмку.
Можно ли использовать ChatGPT или другой внешний сервис?
Для данных, которые можно передавать наружу, это допустимо и удобно для быстрой проверки идеи. Для договоров, переписки с клиентами и внутренних документов внешние облачные модели чаще всего не подходят по требованиям заказчика, поэтому основной вариант у нас открытая модель на ваших серверах.
Нужно ли дообучать модель на наших данных?
Не всегда. Знания (регламенты, каталог, история) лучше подключать поиском, потому что их можно обновлять и ограничивать по правам. Дообучение нужно, когда требуется стиль, формат или терминология. Что подходит вам, проверяем на одной выборке.
Как вы проверяете качество сгенерированного текста?
По критериям, записанным до начала: фактическая точность, полнота, стиль, отказ при отсутствии данных и устойчивость к подмене инструкций. Оценивают эксперты заказчика вслепую на выборке прошлых запросов. Единого процента качества мы не называем.
Кому принадлежат подсказки, шаблоны и код?
Вам. Результат работ (исходный код, конфигурации, подсказки, шаблоны, эталонная выборка) передаётся по акту, исходники лежат в вашем репозитории с первого коммита. Открытые компоненты остаются под своими лицензиями, их список входит в документацию.
Вы работаете только в Ростове-на-Дону?
Мы в Ростове-на-Дону, работаем с заказчиками по всей России: удалённо и в вашем контуре. Доступ к системам и обследование согласуем на старте с вашей службой безопасности.
Смежное
Что посмотреть рядом
- Разработка LLM-приложений на заказ
- RAG-система на заказ
- Дообучение языковых моделей
- Чат-бот для бизнеса
- Чат-боты для Telegram и WhatsApp
- ИИ-агент для бизнеса
- Разработка ИИ на заказ
- Цены и сроки по ступеням
- Генеративный ИИ в бизнесе: что реально работает
- Prompt-инженерия для бизнеса
- Своя LLM или ChatGPT API