Разработка ИИ на заказ: нейросети, языковые модели и машинное обучение под вашу задачу

Чем вы платите за ошибку

Неверный ответ ассистента исправляет человек, неверная запись в учёте находится на сверке, пропущенный дефект доезжает до заказчика. От цены ошибки зависит, где стоит человек и каков порог уверенности, ниже которого модель не решает сама.

Когда ИИ не нужен

Если вход структурирован, а правила стабильны, достаточно скрипта или интеграции по API: они предсказуемы и проверяются проще. Если истории почти нет, а процесс каждый раз новый, моделью нечего проверять: сначала описываем процесс. Выбор между скриптом, RPA и агентом разобран в статье «RPA, скрипт или ИИ-агент».

Что это значит для качества

В контуре работают открытые модели или модели с лицензией на локальный запуск. Те, что реально поставить на ваше оборудование, отвечают иначе, чем самые крупные облачные сервисы, и разница зависит от задачи; уровня «как у ChatGPT» мы не обещаем. Достаточно ли модели, показывает замер на вашей выборке.

Железо и лицензии

Конфигурацию сервера считаем на обследовании, до закупки; оборудование, включая видеокарты и вычислительные мощности для обучения (свои или у хостера), выбираете и оплачиваете вы, в цену работ оно не входит. Читаем лицензию на веса модели и записываем в документ обследования важные для вас условия: коммерческое применение, производные модели, ограничения по назначению. Юридическую оценку готовит юрист заказчика, мы консультаций не даём.

Когда внешняя модель допустима

Если данные не относятся к ограниченному доступу, а ваша служба безопасности это разрешила, внешний API можно использовать для части задач; в договоре записано, какие поля уходят наружу. Если среди них есть персональные данные, решение принимаете вы вместе со своим юристом: персональные данные граждан РФ обычно должны храниться на серверах в России. Без вашего решения такие поля наружу не уходят; юридических консультаций мы не даём. Сравнение — в статье «Своя LLM или ChatGPT API», развёртывание — на странице «LLM на своём сервере».

Порядок

1. Выборка из реальных случаев: таких, как они приходят, с плохими сканами, опечатками и исключениями, а не тех, что удобно показывать.
2. Эталон. Ваши специалисты записывают, как правильно. Часть случаев размечают двое: если эксперты расходятся, моделью сверяться не с чем.
3. Деление. Часть выборки идёт на настройку, другая откладывается до итогового замера.
4. Порог до замера. Что считается ошибкой, какая доля допустима, какие ошибки недопустимы совсем. Порог записывается в документ обследования или приложение к договору, а не подбирается под результат.
5. Виды ошибок отдельно: пропущенная ошибка и лишняя передача человеку стоят по-разному.

Что считаем для каждого типа

• Ассистент по базе знаний: доля найденных нужных фрагментов, ответов с верной ссылкой и честных отказов на вопросы вне базы.
• Агент с действиями: доля обработанного без правок, пропущенные ошибки, передача человеку, реакция на подмену инструкции.
• Распознавание документов: верность по полям и по документу, ошибки, дошедшие до учёта.
• Компьютерное зрение: пропуски и ложные срабатывания по видам дефектов.
• Прогнозная модель: ошибка на отложенном периоде рядом с ошибкой простого метода, смещение.
• Обнаружение аномалий: доля известных событий, замеченных заранее, запас времени до события, доля ложных срабатываний по итогам разбора.

После запуска тот же набор прогоняется при каждой смене модели, шаблона запроса, порога или данных, и снижение качества на контрольных случаях видно сразу. Сдвиг реального потока контрольный набор не покажет, поэтому рядом идёт выборочная проверка свежих ответов; её объём и исполнителя записываем в регламент. Методика для документов — в статье «Как измерить точность распознавания документов».