Дообучать языковую модель стоит в последнюю очередь и только тогда, когда простые способы не дали нужного качества на вашей выборке. Порядок такой: сначала хороший промпт с примерами, затем поиск по документам, и лишь если разрыв остаётся и он про поведение, а не про факты, дообучение. Знания, которые меняются или ограничены правами, в веса не кладут.
Общее сравнение подходов есть в статье «RAG или дообучение LLM». Здесь другой разрез: порядок проверки, по которому можно принять решение за несколько недель, данные, которые для этого нужны, и расходы, которые остаются после обучения.
Лестница от промпта до дообучения
Способы повышения качества образуют лестницу, где каждая ступень дороже и менее обратима, чем предыдущая. Подниматься имеет смысл только тогда, когда на текущей ступени есть измеренная проблема.
| Ступень | Что меняем | Признак, что хватает | Признак, что нужна следующая |
|---|---|---|---|
| Промпт | Инструкцию, роль, формат ответа | Формат держится, ошибки редки и понятны | Модель путает правила, срывается на длинных входах, не знает фактов |
| Примеры в промпте | Два-три разобранных случая в запросе | Формат и тон стабильны на выборке | Примеры не помещаются или не покрывают разнообразие входов |
| Поиск по документам (RAG) | Источник знаний: документы подбираются к вопросу | Ответы верны, когда найден нужный фрагмент | Нужное находится, а ответ всё равно в неверной форме или тоне |
| Дообучение с адаптерами | Поведение модели небольшой обученной добавкой | Качество на отложенной выборке выше прежнего варианта | Адаптеры не справились на той же выборке: редкий случай |
| Полное дообучение | Все веса модели | Только если адаптеры исчерпаны, а данных и железа достаточно | Дальше только своя предобученная модель, и это за пределами обычной задачи |
Обратите внимание на правый столбец: переход вверх вызывает не желание «сделать как следует», а измеренный разрыв. Если вы не можете показать ошибки, которые не уходят на текущей ступени, обучение это деньги на неизвестный результат.
Знания или поведение: как отличить одно от другого
Главная диагностика делается руками. Возьмите пятьдесят-сто реальных запросов вашей задачи, прогоните их через исходную модель с хорошим промптом и разложите ошибки по таблице. Ошибки знаний и ошибки поведения лечатся по-разному.
| Что видите | Это знания или поведение | Чем лечится |
|---|---|---|
| Модель называет неверный срок или артикул | Знания | Поиск по документам, а не обучение |
| Ответ верный, но не в нужном формате | Поведение | Схема ответа в промпте, примеры; если не держится — дообучение |
| Тон не тот: слишком развязный или слишком казённый | Поведение | Примеры в промпте; для устойчивого тона — дообучение на образцах |
| Модель не понимает внутренние сокращения | Обычно знания | Словарь в промпте или в поиске; дообучение, если сокращений сотни и их смысл зависит от контекста |
| Ответ противоречит документу, который в базе есть | Поиск или загрузка | Разбор конвейера поиска, а не обучение |
| Модель выдумывает там, где в базе пусто | Поведение отказа | Инструкция, порог, проверка ссылок; обучение отказу возможно, но после остального |
Если после разбора почти все ошибки оказались знаниями, дообучение вам не нужно, и разговор переходит к устройству поиска: как он строится, описано в статье «Как устроен RAG-пайплайн».
Когда дообучение оправдано
Есть небольшой набор ситуаций, где обучение даёт то, чего не дают промпт и поиск.
- Строгий формат при большом потоке. Нужно получить на выходе структуру по схеме почти без правок, а длинная инструкция и примеры в каждом запросе делают её дорогой и медленной.
- Узкая задача и маленькая модель. Одна повторяющаяся операция (разметка обращений, извлечение полей). Дообученная небольшая модель может справляться с ней не хуже большой, но быстрее и на более скромном железе. Вывод о том, что именно «не хуже», делается только на вашей выборке.
- Устойчивый стиль. Письма и ответы должны звучать единообразно, а образцов у вас сотни.
- Специфичный жаргон и форматы. Тексты, в которых универсальная модель путается: внутренние коды, нестандартная разметка, документы отрасли.
- Закрытый контур без возможности использовать большую модель. Железа хватает лишь на небольшую модель, и дообучение подтягивает её на вашей задаче.
Во всех случаях объединяющее условие одно: есть измеренный разрыв и проверенные примеры правильного поведения.
Когда дообучение не поможет
- Нужно, чтобы модель «знала документы». Знания в весах размыты, устаревают, их нельзя обновить точечно и нельзя разграничить по правам. Для документов есть поиск.
- Данные закрыты, а модель общая. Обученная на закрытых текстах модель может воспроизвести фрагмент по подсказке любому пользователю. Решение об использовании таких данных принимает их владелец вместе со службой безопасности.
- Нет эталона. Без отложенной выборки нельзя узнать, помогло ли обучение, поэтому его результат можно только предполагать.
- Примеров мало или они противоречивы. Модель выучит несогласованность. В таком случае время лучше потратить на разметку.
- Задача решается правилами. Если вход структурирован, а условия известны, модель не нужна вообще.
- Нет человека, который будет поддерживать результат. Обученная модель требует повторного обучения и проверки, о чём ниже.
Какие данные нужны для дообучения
Для обучения поведению нужны пары «вход — желаемый ответ», проверенные человеком. Их число зависит от задачи: для строгого формата хватает сотен, для разбора сложных текстов нужно больше, и точную цифру называют после пробного запуска на ваших данных. Качество набора важнее объёма.
| Требование к набору | Зачем | Как проверить |
|---|---|---|
| Ответы согласованы между собой | Противоречия выучиваются как норма | Двое независимых проверяющих размечают долю примеров и сверяются |
| Примеры похожи на реальные запросы | Модель, обученная на удобных примерах, ломается на живых | Берём примеры из потока, а не придумываем |
| Есть трудные случаи и отказы | Иначе модель всегда уверена и всегда отвечает | В набор входят вопросы без ответа и спорные ситуации |
| Нет персональных данных и тайны без решения владельца | Модель может воспроизвести обучающий текст | Обезличивание и утверждение состава набора |
| Часть примеров отложена | Единственный способ честно измерить результат | Разбиение сделано до первого запуска |
Персональные данные граждан России обычно должны храниться на серверах в России, поэтому набор и обучение размещают на ваших серверах или в выбранном вами облаке. Как готовить данные для ИИ-проекта в целом, рассказано в статье «Как подготовить данные для ИИ-пилота».
Как сравнивать: три варианта на одной выборке
Дообученная модель оценивается не сама по себе, а против того, что вы получили бы без обучения. Поэтому сравнивают три варианта на выборке, которую модель при обучении не видела.
- Исходная модель с простым промптом. Нижняя граница.
- Исходная модель с лучшим промптом, примерами и поиском. Это честный конкурент обучению. Если дообучение не обгоняет этот вариант, оно лишнее.
- Дообученная модель с тем же промптом и поиском.
Кроме основной метрики проверяют то, что обучение могло испортить: ответы на вопросы вне задачи, отказ на вопросах без ответа в базе, устойчивость к вставленным инструкциям. Модель, обученная на узких данных, нередко становится уверенней и хуже в общих задачах. Пороги приёмки записываются до начала обучения, иначе результат подгоняется под ожидание. Метрики по типам задач и принципы построения выборки сходны с описанными в статье «Порог уверенности модели».
Что остаётся после обучения: расходы на владение
Обучение разовая работа только на бумаге. Дальше у вас появляется артефакт, который нужно содержать.
- Привязка к базовой модели. Адаптер подходит к версии модели, на которой он обучен. Когда базовая модель меняется, обучение повторяется на том же наборе, и результат снова сравнивается с прежним.
- Дрейф входов. Меняются продукты, термины и форматы документов, и модель постепенно хуже подходит к потоку. Нужен мониторинг качества на свежей выборке.
- Версии и откат. Для каждой модели записаны версия базы, набор данных, настройки и результат. Прежняя версия остаётся рабочей, откат делается переключением.
- Лицензия весов. Открытые модели распространяются на разных условиях: бывают ограничения по назначению или масштабу. Лицензию читают до выбора, юридическую оценку делает юрист заказчика.
- Железо. Для обучения нужна видеопамять, для работы сервер инференса. Расчёт делается до закупки, как в статье «Сколько видеопамяти нужно для LLM».
Эти расходы стоит сравнить с ценой простого пути. Если качества хватает на промпте и поиске, то нет ни повторных обучений, ни привязки, ни отдельной проверки.
Признаки плохого плана дообучения
| Признак | Что за ним стоит | Что спросить |
|---|---|---|
| Обучение предлагают до разбора ошибок | Решение принято, а проблема не измерена | На каких запросах исходная модель с хорошим промптом ошибается и в чём |
| Цель сформулирована как «модель должна знать наши документы» | Знания путают с поведением | Что произойдёт, когда документ изменится или будет отозван |
| Нет отложенной выборки | Результат нельзя проверить | На чём будет измерен прирост и кто её размечает |
| Не названы пороги приёмки | Результат будет подогнан | Какое значение метрики считается успехом, а какое провалом |
| Нет плана на смену базовой модели | Через полгода обучение придётся покупать заново | Кто и как повторит обучение, и входит ли оно в сопровождение |
| Обещают заранее конкретный рост качества | Рост зависит от ваших данных | По какой выборке получена эта цифра |
Общие вопросы подрядчику собраны в статье «Как выбрать подрядчика на разработку ПО».
Что делаем мы и с чего начать
Начинаем с обследования, где обучение пока не обсуждается: 200 000 ₽ и 2–3 недели за одну задачу, 350 000 ₽ и 3–4 недели за несколько задач или источников. Мы собираем реальные запросы, прогоняем исходную модель с хорошим промптом и поиском, разбираем ошибки на знания и поведение, оцениваем пригодность ваших данных и говорим прямо, нужно ли обучение. Стоимость вычитается из первого этапа, если вы продолжаете с нами.
Если обучение оправдано, делаем лёгкий пилот (150 000–400 000 ₽, 2–8 недель) на открытой модели в вашем контуре: набор, адаптер, сравнение трёх вариантов на отложенной выборке. Дальше вывод в эксплуатацию, остановиться можно на любой ступени. Мы не обучаем модели с нуля и не обещаем рост качества заранее. Исходники и набор данных лежат у вас. Цены и сроки собраны на странице «Тарифы», описание услуги — на странице «Дообучение языковых моделей».
Частые вопросы
Когда нужно дообучать языковую модель?
Когда простые способы не дали нужного качества на вашей выборке, а проблема в поведении модели: формат, тон, разбор узкого типа текстов. Если ей не хватает знаний о документах, нужен поиск (RAG), а не обучение.
Чем дообучение отличается от RAG?
RAG подбирает фрагменты документов при каждом вопросе, поэтому знания можно обновлять и ограничивать правами. Дообучение меняет саму модель, и точечно удалить или обновить факт в ней нельзя. Поэтому изменчивые и закрытые знания в веса не кладут.
Сколько примеров нужно для дообучения?
Зависит от задачи: для строгого формата обычно хватает сотен проверенных примеров, для сложных текстов нужно больше. Точное число называют после пробного запуска на ваших данных. Чистота и согласованность разметки важнее объёма.
Что такое LoRA и зачем она нужна?
Это способ дообучения, при котором основные веса модели не меняются, а обучается небольшая добавка (адаптер). Она требует меньше видеопамяти и времени, чем полное дообучение, и её можно хранить и откатывать отдельно от базовой модели.
Можно ли дообучать на документах с персональными данными?
Только после решения владельца данных и службы безопасности. Персональные данные обезличивают до обучения, а то, что нельзя показывать всем пользователям модели, в набор не включают: модель может воспроизвести обучающий фрагмент. Обучение идёт на ваших серверах или в выбранном вами облаке.
Как понять, что дообучение помогло?
Сравнить три варианта на отложенной выборке: исходную модель с простым промптом, её же с лучшим промптом и поиском, дообученную. Обучение помогло, если оно лучше второго варианта и не ухудшило ответы вне задачи. Пороги записывают до начала.
Что делать, если базовая модель обновилась?
Повторить обучение на том же наборе и сравнить результат с прежним на выборке. Этот прогон нужно заложить в сопровождение заранее. Прежняя версия остаётся рабочей, пока новая не прошла проверку.
Сколько стоит дообучение языковой модели?
Обследование стоит 200 000 ₽ за одну задачу и 350 000 ₽ за несколько, лёгкий пилот с обучением адаптера — 150 000–400 000 ₽ за 2–8 недель, тяжёлый — 400 000–1 200 000 ₽ за 2–3 месяца. Вывод в эксплуатацию начинается от 1 500 000 ₽ этапами по 300 000–700 000 ₽. Точная цена называется по итогам обследования.