Реально работают пять классов задач: черновики текстов по образцам, сводки длинных материалов, ответы по вашим документам со ссылкой на источник, превращение свободного текста в поля и разбор входящих обращений по типам. Во всех пяти у модели есть материал, из которого она берёт факты, а результат проверяет человек или код. Не работают задачи, где от модели ждут фактов «из головы», точных расчётов и самостоятельных решений с деньгами и правами.

Статья помогает отделить одно от другого до начала проекта. Как делается такая система на заказ, описано на странице «Разработка генеративного ИИ и кастомных ИИ-ботов», здесь только то, что стоит знать заказчику.

Коротко. Выбирайте задачи, где есть источник фактов, понятный критерий качества и человек, утверждающий результат. Ошибки модели правдоподобны, поэтому полагаться на «аккуратность» нельзя: нужны ссылки на источники, проверка кодом и приёмка на ваших примерах.

Что работает, а что нет

Разница между рабочими и нерабочими задачами проходит по одному вопросу: откуда модель возьмёт факты. Если факты передаются ей вместе с запросом (документ, карточка клиента, расшифровка звонка), она хорошо переформулирует, сжимает, структурирует и сопоставляет. Если факты надо вспомнить, она может ответить уверенно и неверно.

Работает при условиях

  • Черновики по образцам. Ответ клиенту, письмо, служебная записка. Человек правит и отправляет.
  • Сводки. Звонок, встреча, длинная переписка, регламент на много страниц. Сводку проверяет тот, кто знает материал.
  • Ответы по документам. Поиск по вашим регламентам и инструкциям, ответ со ссылкой на фрагмент. Устройство описано в статье «Как устроен RAG-пайплайн».
  • Поля из свободного текста. Заявка или письмо превращается в структуру, которую проверяет код.
  • Разбор входящих. Тип обращения, срочность, адресат; спорное уходит в очередь человека.

Не работает или работает плохо

  • Факты без источника. Цифры рынка, цены, сроки, ссылки на нормативные документы «по памяти».
  • Расчёты. Арифметика и финансовые модели должны считаться кодом, а модель может лишь подготовить вызов.
  • Самостоятельные решения. Одобрение платежа, изменение прав, отказ клиенту без человека.
  • «Один ассистент на всё». Универсальный помощник без границ трудно проверить, поэтому он редко доходит до приёмки.

Семь типовых задач: что получится и чем это контролируется

Таблица помогает быстро оценить идею. Если в последнем столбце нечего написать, задачу рано запускать.

ЗадачаРезультатУсловиеКонтроль
Черновик ответа клиентуРаботает как подсказкаЕсть база знаний и история обращенийСотрудник читает до отправки; доля правок видна в журнале
Сводка звонка или встречиРаботаетЕсть расшифровка, цель сводки понятнаУчастник проверяет решения и поручения
Ответ по регламентамРаботает при хорошем поискеДокументы актуальны, права доступа заданыСсылка на фрагмент; сотрудник открывает источник
Документ по шаблонуРаботает, если шаблон фиксированДанные берутся из учёта, формулировки закрепленыПроверка кодом и автор; юрист для внешних документов
Поля из заявок и писемРаботает с очередью сомнительныхСписок допустимых значенийКод проверяет форму, человек разбирает неуверенные
Описания товаров по карточкеРаботает выборочноАтрибуты в учёте заполненыКонтент-менеджер проверяет выборку и спорные категории
Ответ без источника на вопрос о фактахНе работаетНетПроверить нечем, поэтому не запускаем

Обратите внимание на предпоследний столбец: условия почти всегда про ваши данные, а не про модель. Устаревший регламент даст устаревший ответ, как бы хороша ни была модель. Подготовку данных для ИИ-проекта разбирает статья «Как подготовить данные для ИИ-пилота».

Как выглядят ошибки генеративного ИИ и чем их закрывают

Главная особенность ошибок генеративной модели в том, что они выглядят правдоподобно. Неверная сумма написана тем же тоном, что и верная. Поэтому защита строится не на надежде, что модель не ошибётся, а на том, чтобы ошибка была заметна и не доходила до последствий.

ОшибкаКак выглядитЧем закрываетсяЧто остаётся
Выдуманный фактНесуществующий пункт регламента, срок, ссылкаОтвет только по найденным фрагментам; ссылка на источник; отказ, если ничего не найденоРедкие неточности пересказа, их ловит выборочная проверка
Потерянное условиеВ сводке нет исключения или оговоркиСписок обязательных пунктов для каждого типа текстаНужен человек, знающий материал
Неверное числоСумма, дата или количество изменены при пересказеЧисла сверяются с источником кодомСлучаи, где число считается из нескольких
Чужой доступБот цитирует документ, к которому у пользователя нет правПрава проверяются при поиске, а не в тексте ответаОшибки в самих правах, их нужно проверять отдельно
Подмена инструкцийВ письме клиента написано «забудь правила», и бот слушаетсяПрава и действия вынесены из модели; вывод модели считается недовереннымНужны проверочные наборы и регулярные прогоны
Устаревшие знанияОтвет по документу, который заменилиВерсии и даты источников; регламент обновленияОтветственный за источник, которого надо назначить

Проверку устойчивости к подмене инструкций и правам доступа описывает чек-лист безопасности LLM-системы перед запуском.

Как посчитать, окупается ли задача

Цифры рынка и чужие проценты экономии для вашей задачи ничего не значат. Посчитать можно по своим данным, и достаточно простой формулы для одного шага процесса:

  1. Время сейчас. Сколько минут сотрудник тратит на один текст без помощи. Замерьте на пяти-десяти реальных случаях, а не на ощущении.
  2. Время с подсказкой. Сколько уходит на чтение черновика и правки. Это не ноль: проверка всегда стоит времени, и в некоторых задачах она съедает всю экономию.
  3. Объём. Сколько таких текстов проходит через процесс за месяц.
  4. Доля правок. Какая часть черновиков принимается без правок, какая переписывается. Если переписывается большинство, подсказка вредна.
  5. Цена ошибки. Сколько стоит неверный текст, дошедший до клиента, и как часто такое возможно при выбранной проверке.
  6. Стоимость владения. Сервер или оплата внешнего интерфейса, сопровождение, обновление источников, время ответственных.

Выгода есть, если разница между временем «сейчас» и «с подсказкой», умноженная на объём, заметно превышает стоимость владения, а цена ошибки при выбранной проверке приемлема. Если хотя бы одну из величин вы назвать не можете, это и есть главный результат: замерьте её до проекта. Подробнее о расчёте в статье «Как посчитать ROI от ИИ».

Облачная модель или своя: по каким признакам выбираем

Вопрос «ChatGPT или своя модель» решается не вкусом, а свойствами данных и задачи. Облачные модели (через внешний программный интерфейс) удобны для быстрой проверки идеи и для данных, которые можно передавать наружу. Для данных ограниченного доступа они чаще всего не подходят по требованиям заказчика, и тогда работает открытая модель на ваших серверах.

ПризнакСклоняет к внешнему интерфейсуСклоняет к своей модели
ДанныеПубличные или обезличенныеДоговоры, переписка с клиентами, внутренние регламенты, персональные данные
Объём запросовНебольшой, непостоянныйБольшой и постоянный
Требования к качествуУниверсальный текстВаша терминология и формат, проверяемые на вашей выборке
Скорость стартаНужно проверить идею за неделиЕсть время и железо или частное облако
Зависимость от поставщикаДопустимаНежелательна: условия, цены и состав моделей могут меняться

Часто разумен переход: проверить идею на безопасных данных во внешнем интерфейсе, затем перенести на свою модель, если подтвердилась польза. Сравнение разобрано в статье «Своя LLM или ChatGPT API», развёртывание — в статье «Как развернуть LLM в закрытом контуре».

Почему проекты с генеративным ИИ останавливаются

Причины в основном не технические, и они повторяются. Полный список есть в статье «Почему ИИ-пилоты не доходят до продуктива», для генерации особенно характерны четыре:

  • Нет эталона. Никто не записал, что считается хорошим ответом. Оценка идёт на впечатлениях, и каждый показ демонстрации звучит убедительно.
  • Нет владельца источников. Документы устаревают, а ответственного за актуальность нет. Через полгода бот цитирует отменённый регламент.
  • Пользователи не доверяют или доверяют слишком. Одни перестают открывать подсказки после первой ошибки, другие отправляют черновики не читая. Помогает ссылка на источник и видимая доля правок.
  • Бюджет только на модель. Не заложены сопровождение, обновление источников и проверка качества, поэтому после запуска система тихо деградирует.

Контроль после запуска описан в статье «MLOps: мониторинг модели в продакшене»: для генерации это журнал запросов, доля правок и регулярный прогон проверочного набора.

Как выбрать первую задачу

Первую задачу выбирают по пяти вопросам. Нужно ответить «да» на все:

  1. Есть ли источник фактов, который можно подключить, и актуален ли он?
  2. Можно ли записать, что такое хороший результат, на десяти реальных примерах?
  3. Есть ли человек, который утвердит результат и готов это делать?
  4. Обратима ли ошибка: можно ли исправить текст до последствий?
  5. Достаточно ли объёма, чтобы экономия перекрыла проверку и сопровождение?

Хорошие первые кандидаты: черновики ответов по типовым обращениям, сводки встреч, поиск по регламентам для внутренних сотрудников. Плохие первые кандидаты: общий «ассистент для всего», ответы клиентам без проверки, всё, что связано с деньгами и правами. Общий метод выбора и таблицу для оценки очереди задач даёт статья «Что автоматизировать с помощью ИИ в первую очередь».

Что делаем мы и с чего начать

Начинаем с обследования: 200 000 ₽ и 2–3 недели за одну задачу, 350 000 ₽ и 3–4 недели, если задействовано несколько систем и источников. На выходе список текстов и источников, проверка идеи на ваших примерах без обучения, критерии качества и вилка бюджета. Стоимость вычитается из первого этапа, если продолжаете с нами, а документом можно пользоваться и без нас.

Дальше лёгкий пилот на одном сценарии (150 000–400 000 ₽, 2–8 недель), затем тяжёлый пилот в рабочем окружении и вывод в эксплуатацию, и на любой ступени можно остановиться. Мы работаем в вашем контуре, исходный код лежит в вашем репозитории с первого коммита. Мы не пишем контент для массового размещения, не генерируем изображения и голос для рекламы, не обучаем базовые модели и не обещаем безошибочных текстов. Цены и сроки — на странице «Тарифы», услуга — на странице «Разработка генеративного ИИ».

Частые вопросы

Что генеративный ИИ реально умеет в бизнесе?

Писать черновики по образцам, сжимать длинные материалы в сводки, отвечать по вашим документам со ссылкой на источник, превращать свободный текст в поля и разбирать входящие по типам. Везде нужен источник фактов и человек или код, который проверяет результат.

Почему модель уверенно говорит неправду?

Модель продолжает текст так, чтобы он выглядел правдоподобно, и не проверяет его на соответствие фактам. Если нужного факта в её запросе нет, она может подставить похожий. Поэтому факты передаются из документов, а ответ сверяется с источником и при отсутствии данных заканчивается отказом.

Нужно ли дообучать модель на наших данных?

Чаще всего нет. Знания лучше подключать поиском по документам: их можно обновлять и ограничивать по правам. Дообучение оправдано, когда нужны стиль, формат или терминология. Что подходит, проверяется на одной выборке.

Можно ли использовать ChatGPT для работы с договорами?

Для данных ограниченного доступа внешние облачные сервисы чаще всего не подходят по требованиям заказчика. Решение зависит от того, что в документах и какие требования у вас к хранению. Для таких данных основным вариантом остаётся модель на ваших серверах.

Сколько стоит запуск первой задачи?

Обследование — 200 000 ₽, лёгкий пилот — 150 000–400 000 ₽, тяжёлый пилот в рабочем окружении — 400 000–1 200 000 ₽, вывод в эксплуатацию — от 1 500 000 ₽ этапами по 300 000–700 000 ₽. Обследование вычитается из первого этапа, если продолжаете с нами.

Как понять, что подсказка модели полезна?

Смотреть на долю правок и время обработки на реальных случаях. Если большая часть черновиков переписывается, подсказка мешает. Если принимаются с небольшой правкой и время сокращается с учётом проверки, польза есть. Критерии записываются до начала.

Заменит ли генеративный ИИ сотрудников?

В описанных задачах он убирает рутинную часть: первый черновик, поиск нужного документа, сортировку входящих. Решение, ответственность и проверка остаются у человека. Подменять экспертов мы не беремся и не обещаем такого эффекта.

С какой задачи лучше начинать?

С той, где есть источник фактов, понятный критерий качества, человек, утверждающий результат, и обратимая ошибка. Например, черновики ответов по типовым обращениям или поиск по внутренним регламентам. Тексты о деньгах, правах и необратимых действиях лучше оставить на потом.