Дообучение языковых моделей (fine-tuning LLM) на ваших данных

Первая проверка: что именно не получается

Берём пятьдесят-сто реальных запросов вашей задачи, прогоняем их через исходную модель с хорошим промптом и считаем долю верных ответов. Ошибки делим на два вида. Не знает факта (срок по договору, артикул) — проблема знаний, её решает поиск. Знает, но отвечает не так (формат, тон, пропущенное поле) — проблема поведения, и дообучение возможно.

Вторая проверка: помогает ли поиск

Если ошибки знаний закрываются подключением документов, дообучение ничего не добавит: факты в весах устаревают, а убрать оттуда один приказ нельзя. Права доступа в весах тоже не живут: модель, обученная на закрытых документах, может их воспроизвести любому пользователю. Поэтому закрытые данные мы в обучение не отправляем без отдельного решения владельца данных и службы безопасности.

Третья проверка: хватает ли данных и можно ли их использовать

Нужны пары «вход — желаемый ответ», проверенные человеком. Для строгого формата хватает сотен, для сложных текстов нужно больше; число называем после пробного прогона. Архив переписки содержит персональные данные и коммерческую тайну: что обезличивается, что исключается и кто утверждает набор, решается до обучения. Персональные данные граждан России обычно должны храниться на серверах в России.

Четвёртая проверка: что вы будете делать с моделью дальше

Дообученная модель привязана к базовой. Когда выходит новая версия базовой модели или вы меняете её на другую, адаптер придётся обучать заново. Это работа, и она закладывается в сопровождение. Если у вас нет человека, который будет запускать повторное обучение и проверку, лучше остаться на промпте и поиске.

Если после проверок дообучение остаётся разумным, описываем его в документе обследования с вилкой бюджета. Если нет, так и пишем: обследование стоит дешевле обучения, которое ничего не улучшило. Как мы оцениваем качество вообще — на странице «Разработка ИИ на заказ».

Выборка заказчика делится заранее

Из размеченных примеров мы сразу выделяем отложенную часть и не показываем её модели при обучении. Всё сравнение идёт на ней. Если примеры с обучающей части попадут в проверку, результат окажется завышенным: модель просто запомнила ответы.

Сравниваются три варианта, а не два

• Исходная модель с простым промптом — нижняя граница.
• Исходная модель с лучшим промптом, примерами и поиском — честный конкурент дообучению. Если дообучение не обгоняет этот вариант, оно не нужно.
• Дообученная модель — с тем же промптом и тем же поиском, чтобы разница объяснялась обучением, а не чем-то другим.

Что проверяем сверх основной метрики

Дообучение на узких данных может ухудшить общие способности: модель начинает хуже отвечать на вопросы вне вашей задачи, теряет русский язык вне терминов или чрезмерно уверена там, где раньше отказывалась. Поэтому в проверку входят вопросы вне задачи, вопросы без ответа в базе, на которые модель обязана отказаться, и набор запросов с попыткой подменить инструкции. Если качество вне задачи упало, настройки пересматриваются.

Каждый запуск фиксируется: версия базовой модели, набор данных, настройки и результат. Прежняя версия остаётся рабочей, откат делается переключением. Подробнее о приложении вокруг модели — на странице «Разработка LLM-приложений».

Если вам нужен ассистент, который отвечает по вашим документам со ссылкой на источник, это RAG-система, а не дообучение. Если нужно приложение вокруг модели с правами, лимитами и журналом, это разработка LLM-приложения, и дообучение в нём может быть одним из компонентов. Если нужно подключить уже готовую внешнюю модель к процессу, смотрите интеграцию LLM в бизнес-процессы.

Если задача сводится к прогнозу или классификации по таблицам, а не по тексту, то языковая модель не нужна, и мы описываем это на странице «Разработка модели машинного обучения». Как развернуть модель на своём сервере и посчитать железо, написано на странице «Развернуть LLM на своём сервере».