Интеграция ChatGPT и других языковых моделей в бизнес-процессы

Внешняя модель (GPT-4, GPT-4o и подобные) подходит, когда в запрос уходят публичные или обезличенные тексты, ошибка стоит недорого, а договор с поставщиком устраивает вашу службу безопасности и юристов. Это самый быстрый путь к рабочему прототипу, и для многих задач его достаточно. Для данных ограниченного доступа внешние облачные модели чаще всего не подходят по требованиям заказчика, и тогда то же решение собирается на модели в вашем контуре.

Пять вопросов до выбора

• Какие данные попадут в запрос. Классифицируем их по таблице ниже, а не по общему впечатлению.
• Что говорит договор поставщика. Хранит ли он запросы, использует ли их для обучения, где находятся его серверы. Юридическую оценку делает юрист заказчика.
• Доступность и оплата. Условия поставщика, доступ из вашей юрисдикции и способ платежа проверяются до проекта: от этого зависит, можно ли на него рассчитывать на годы.
• Требования к качеству на русском языке и вашей лексике. Проверяем на вашей выборке, а не по публичным рейтингам.
• Цена владения. Внешний API платится за каждый запрос, своя модель требует железа и людей. Что считаем и чем управляем, — на странице «Разработка LLM-приложений».

Процесс строится так, чтобы модель можно было заменить: общий интерфейс, шаблоны запросов отдельно от кода, одна выборка для проверки любой модели. Тогда решение «внешний API на старте, своя модель позже» не превращается в переписывание. Подробнее о сравнении — в статье «Своя LLM или ChatGPT API», о развёртывании у себя — на странице «Развернуть LLM на своём сервере».

Шаблон отдельно от кода

Инструкция, роль, примеры и описание формата хранятся как версионируемый шаблон с номером. Правка идёт через проверку, а не прямо в рабочем скрипте. В журнале запроса записан номер версии, поэтому по любому ответу видно, каким шаблоном он получен.

Формат ответа задаётся схемой

Если ответ нужен системе, модель просим вернуть структуру по схеме, а код проверяет её валидатором. Ответ, который не прошёл проверку, повторяется ограниченное число раз, затем уходит человеку. В поля 1С и CRM записывает код, а не модель.

Эталонная выборка для каждой правки

Собираем реальные запросы процесса с ответами, которые утвердил владелец. Любая правка шаблона или смена модели прогоняется на этой выборке, и результат сравнивается с прежним. Без неё нельзя сказать, стало лучше или хуже: на трёх удачных примерах всё выглядит прекрасно.

Примеры в запросе вместо длинных инструкций

Два-три разобранных случая обычно сильнее страницы правил, особенно для редких форматов. Но примеры из реальных данных тоже подчиняются классу данных: в шаблон не попадает то, что нельзя отправлять наружу.

Что не решает промпт

Права доступа, лимиты и подтверждение дорогих действий промптом не обеспечиваются. Строка «не раскрывай чужие данные» не заменяет проверку прав в коде. Если после настройки запроса разрыв остаётся, следующий шаг — поиск по документам (RAG), а уже затем дообучение.

Если модель должна отвечать по вашим документам со ссылкой на источник, это RAG-система. Если она должна выполнять действия в системах по цепочке шагов, это ИИ-агент с матрицей разрешённых действий. Если вы строите продукт или внутренний сервис, где модель лишь один из компонентов, это разработка LLM-приложения, а интеграция описывает более узкую задачу: встроить модель в существующий процесс.

Если нужно изменить само поведение модели (формат, тон, разбор узкого типа текстов), смотрите дообучение языковых моделей. Если же задача решается правилами и автоматизацией без модели, мы так и скажем: модель нужна там, где вход неструктурирован. Общий взгляд на разработку ИИ — на странице «Разработка ИИ на заказ».