Если модели нужно отвечать по знаниям, которые меняются и которые приходится показывать со ссылкой на источник (регламенты, документация, цены, договоры, история обращений), выбирайте RAG: поиск по вашим документам и ответ только по найденному. Если нужно изменить поведение модели (формат ответа, терминологию, тон, разнесение обращений по вашим категориям), рассматривайте дообучение. Часто нужно и то и другое, а нередко не нужно ни то ни другое: хватает хорошего промпта с примерами.
Выбор определяют не мода и не размер бюджета, а четыре свойства задачи: меняются ли знания, нужна ли ссылка на источник, различаются ли права пользователей на документы и есть ли размеченные примеры желаемого поведения. В статье правило «знания или поведение», разбор прав доступа, обновления и проверяемости, критерии по данным и железу без «волшебных» чисел, способ сравнить варианты на одной выборке и дерево решений за пять вопросов. Названий моделей и вендоров здесь нет намеренно: они устаревают быстрее, чем логика выбора. Если вы только знакомитесь с поиском по документам, начните со статьи «Что такое RAG простыми словами».
Три способа работать с вашими знаниями: промпт, RAG и дообучение
У модели есть три места, куда можно положить то, что она должна учесть при ответе. Различие между ними в том, где лежат ваши знания и что при этом меняется в самой модели.
Промпт с инструкциями и примерами
Вы описываете задачу словами и показываете несколько образцов «вход — желаемый ответ» прямо в запросе. Модель не меняется, знания нигде не хранятся. Если документов мало, их можно целиком положить в запрос. Это дёшево, быстро и воспроизводимо; предел определяют размер запроса и то, что образцы приходится передавать при каждом обращении.
RAG: поиск перед ответом
Документы лежат отдельно, в индексе. На вопрос система сначала находит нужные фрагменты, затем передаёт их модели вместе с вопросом, и модель формулирует ответ по найденному. Модель не меняется, а знания можно обновлять, удалять, ограничивать по правам и показывать как источник. Устройство разобрано в статьях про RAG и про векторные базы данных.
Дообучение: изменение самой модели
Вы продолжаете обучение модели на своих примерах, обычно на парах «вход — желаемый выход». Меняются веса, то есть сама модель. Бывает полное дообучение и облегчённые варианты, когда обучается небольшая надстройка над готовыми весами. Результат — новая версия модели, которую нужно хранить, проверять и обслуживать как любой другой артефакт. Дообучение хорошо закрепляет повторяющееся поведение и плохо подходит для хранения фактов, которые должны меняться.
| Подход | Где лежат ваши знания | Что меняется в модели | Предел подхода |
|---|---|---|---|
| Промпт с примерами | В тексте запроса | Ничего | Размер запроса; образцы и инструкции передаются каждый раз; факты в запрос приходится класть вручную |
| RAG | В индексе документов вне модели | Ничего | Качество ограничено поиском и документами; ответ, требующий свести десятки документов, собирается из ограниченного набора найденного |
| Дообучение | В весах модели | Веса: получается новая версия модели | Нет источника ответа и прав доступа к отдельным знаниям; обновление требует нового цикла обучения |
Правило выбора: знания или поведение
Основное правило умещается в одну фразу: знания, которые меняются и должны цитироваться, лежат в документах и подаются через RAG; поведение, которое должно быть стабильным (формат, терминология, стиль, классификация), закрепляется промптом с примерами, а при нехватке дообучением. Знание — это «что в регламенте про отпуск» или «какая версия продукта поддерживается». Поведение — «отвечать структурой из четырёх полей» или «относить обращение к одной из ваших категорий».
| Что нужно от модели | Что брать | Почему | Когда не подойдёт |
|---|---|---|---|
| Отвечать по регламентам, документации и договорам со ссылкой | RAG | Документы меняются, а ответ нужно проверить по источнику | Ответ требует свести воедино десятки документов: поиск вернёт ограниченный набор фрагментов, и часть нужного в ответ не попадёт |
| Знать цены, остатки, статусы «на сегодня» | Запрос к системе-источнику по API; ни RAG, ни дообучение | Данные живут в учётной системе и меняются постоянно, текст из индекса или из весов устареет | У системы нет API: тогда выгрузка с явной датой актуальности и пометкой об этом в ответе |
| Выдавать ответ в фиксированной структуре (поля, JSON) | Промпт с примерами и проверка формата кодом; дообучение при нестабильности | Формат — это поведение, а ошибки ловит валидатор | Валидатор отклоняет много ответов и после подбора примеров: тогда стоит замерить дообучение |
| Разносить обращения по вашим категориям | Образцы в промпте, небольшой классификатор, дообучение при нехватке | Категории ваши, внешние знания не нужны, нужны размеченные примеры | Категории часто меняются, а редкие классы почти не встречаются в данных |
| Писать в вашем тоне и стиле | Образцы в промпте, затем дообучение | Стиль — поведение, а не знание | Нужен разный тон в разных ситуациях, а примеры содержат персональные данные клиентов |
| Понимать отраслевые термины и сокращения | RAG с глоссарием; дообучение, если терминология плотная и ломает понимание | Часто достаточно подать расшифровку вместе с вопросом | Сокращения неоднозначны и зависят от контекста раздела |
| Рассуждать там, где не хватает самой способности модели | Ни RAG, ни дообучение: другая модель или разбиение задачи на шаги | Знания и формат не исправят слабое рассуждение | Не поможет и это, если на деле проблема в данных или в постановке задачи |
Критерии работают вместе. Условная ситуация: ассистент поддержки должен находить решение в базе знаний и отвечать клиенту в принятом тоне. Решение (знание) подаётся через RAG, тон (поведение) задаётся образцами в промпте. Дообучение понадобится, только если тон не удаётся удержать примерами, и это решает замер, а не предположение. Применение к поддержке разобрано на странице «ИИ для техподдержки».
Права доступа: довод, который чаще всего решает выбор
В компании не все документы доступны всем: у кадровой службы свои, у юристов свои, у поддержки клиентов своя часть. Вопрос «кто что видит» решается в двух подходах по-разному.
В RAG документы лежат в индексе вместе с метаданными: к какому отделу, к какому уровню доступа и к каким ролям относится фрагмент. Когда сотрудник задаёт вопрос, поиск ограничивается тем, что ему разрешено видеть, до того как найденное попадёт в запрос к модели. Модель не получает чужого фрагмента и потому не может его пересказать. Проверяется это отдельным прогоном: от имени каждой роли пытаются получить чужой документ.
В дообученной модели знания растворены в весах. Операции «показать эти знания этому пользователю, а другому нет» не существует: кто может обратиться к модели, тот может вытянуть из неё всё усвоенное подходящим вопросом. Известно, что модели способны воспроизводить фрагменты обучающих текстов, особенно часто повторяющиеся и необычные. Поэтому дообучать на документах с разными уровнями доступа можно, только если к модели допущен тот же круг людей, что и к самым закрытым данным обучения. Иначе пришлось бы держать отдельную модель на каждый уровень доступа.
| Вопрос | RAG | Дообучение |
|---|---|---|
| Как ограничить доступ по ролям | Фильтр по метаданным при поиске, до попадания фрагмента в запрос к модели | Надёжного способа нет: доступ к модели равен доступу ко всему, на чём она обучалась |
| Что происходит, когда сотрудник теряет доступ | Права берутся из каталога пользователей при каждом запросе, если они синхронизированы | Доступ к модели отзывают целиком, а не по документам |
| Персональные данные в источниках | Остаются в документах; их можно исключить из индекса или маскировать | Попав в обучающую выборку, остаются в весах; убрать выборочно нельзя без повторного обучения |
| Как проверить отсутствие утечки | Прогон от имени каждой роли: чужой документ не находится | Только пробными вопросами к модели; отсутствие утечки так не доказать |
RAG не безопасен сам по себе: если права в метаданных заданы неверно, поиск найдёт лишнее. Но ошибка исправима: поправили метаданные, переиндексировали. У дообученной модели исправление — это новое обучение. Требования законодательства о персональных данных и коммерческой тайне к обучающим выборкам согласуйте с юристом: эта статья юридической консультацией не является. Подход к поиску с учётом прав описан на странице «ИИ-ассистент по документам».
Обновление знаний, удаление устаревшего и ссылки на источники
Документы меняются: выходит новая редакция регламента, отменяется приказ, меняется версия продукта. Для ассистента важны два вопроса: как быстро новое попадает в ответы и как надёжно исчезает старое.
- В RAG обновление — это замена документа и переиндексация. Следующий ответ строится уже по новой редакции, ничего переобучать не нужно. Удаление — исключение документа из индекса, и проверяется оно запросом, на который раньше отвечал этот документ. Свои ловушки тоже есть: старая редакция осталась рядом с новой, ответы закэшированы, у фрагмента нет даты и статуса.
- В дообученной модели новые знания — это новый цикл: пополнить выборку, обучить, проверить, выкатить. Устаревшее остаётся в весах, пока модель не переучена, и может уверенно появляться в ответах; убрать один факт выборочно нельзя. Каждую новую версию нужно проверять и на том, что работало раньше: дообучение способно ухудшить прежние умения модели.
Вторая сторона вопроса — проверяемость. Ответ RAG собран из конкретных фрагментов, поэтому к нему можно приложить ссылку на документ, раздел и дату, а человек откроет источник и проверит. Но ссылка доказывает лишь то, что фрагмент был найден, а не то, что модель верно его пересказала, поэтому в проверку входит сверка ответа с фрагментом. Дообученная модель не знает, откуда «знает» то или иное: если попросить у неё ссылку, она сгенерирует правдоподобную, и она может оказаться несуществующей. Правило: если ответ должен проверять человек (регламент, договор, цена, инструкция клиенту), источник обязателен, и это решает выбор в пользу RAG.
| Событие | RAG | Дообучение | Как проверить |
|---|---|---|---|
| Вышла новая редакция регламента | Заменить документ и переиндексировать его | Пополнить выборку, переобучить, проверить, выкатить новую версию модели | Эталонный вопрос по изменённому пункту |
| Документ отменён | Исключить из индекса | Старое знание остаётся в весах | Вопрос, на который раньше отвечал этот документ |
| Нужно показать, откуда ответ | Ссылка на документ, раздел и дату редакции | Источник не хранится, ссылка может быть выдуманной | Открыть ссылки на выборке ответов и сверить с текстом |
| Изменилась версия продукта | Версия — атрибут фрагмента, ответ строится для версии клиента | Знания о прежней и новой версиях перемешаны | Вопросы с указанием версии |
Какие данные и какая разметка нужны
Универсальных порогов вроде «нужно не меньше N документов» нет: размер зависит от задачи. Есть критерии, по которым видно, готовы ли данные. Общий порядок подготовки разобран в статье «Как подготовить данные для ИИ-пилота», здесь только разница между подходами.
| Критерий | Для RAG | Для дообучения |
|---|---|---|
| Что нужно | Документы в читаемом виде: текстовый слой, структура, таблицы с заголовками | Примеры «вход — желаемый выход», по которым видно целевое поведение |
| Кто готовит | Владельцы разделов: актуальность, редакции, права доступа | Эксперты, которые размечают примеры по единой письменной инструкции |
| Метаданные | Дата, версия, статус «действует», владелец, роли с доступом | Источник каждого примера и право использовать его для обучения |
| Покрытие | Документы охватывают вопросы, которые действительно задают | Примеры охватывают типовые случаи и редкие, включая спорные и плохие |
| Контроль качества | Дубли и противоречия найдены; сканы распознаны и проверены выборочно | Два разметчика независимо размечают часть примеров, расхождения разбираются, инструкция уточняется |
| Чего нельзя | Документы без владельца и с неясными правами | Персональные данные, пароли, ключи и тайну, которой не должно быть в весах |
| Проверочный набор | Эталонные вопросы с источниками, включая вопросы без ответа в базе | Отложенная выборка, которая не участвует в обучении |
Сколько размечать
Объём разметки для дообучения растят ступенями: обучили на части, замерили на отложенной выборке, добавили примеров, замерили снова. Если качество растёт, ограничивает объём. Если качество стоит на месте, а разметчики расходятся в оценках, проблема в инструкции или в самой постановке задачи, и лишние примеры её не решат. Для RAG вместо объёма разметки важнее состояние документов: один аккуратный регламент полезнее трёх противоречащих друг другу.
Железо и время: что требует больше ресурсов
В общем виде дообучение требует заметно больше вычислительных ресурсов и времени, чем запуск той же модели для ответов. При обучении, помимо весов, в памяти хранится вспомогательное состояние обучения, поэтому памяти нужно больше, чем при простом запуске. Облегчённые методы снижают потребность, но не убирают её. Обучение редко проходит с первой попытки: подбираются данные и настройки, и каждая попытка занимает оборудование на время обучения. Конкретная конфигурация зависит от размера модели и метода и считается под задачу, а не берётся из таблицы в интернете.
У RAG своя стоимость: индекс, отдельная модель для векторного представления текста, поиск при каждом запросе и, главное, более длинный запрос к модели, потому что к вопросу добавляются найденные фрагменты. Длинный запрос увеличивает расход памяти на каждого одновременного пользователя. Как это считается, разобрано в статье «Сколько видеопамяти нужно для своей языковой модели».
| Статья расходов | RAG | Дообучение | Что учесть |
|---|---|---|---|
| Разовая подготовка | Очистка документов, разметка прав, индексация | Сбор и разметка примеров, обучение, проверка | Подготовка данных часто занимает больше времени, чем само обучение или индексация |
| Работа системы | Поиск при каждом запросе, длинный запрос к модели | Запуск одной модели; запрос короче, если знания в него не подаются | Считается на реальное число одновременных пользователей |
| Обновление знаний | Переиндексация изменённых документов | Повторный цикл обучения и проверки | Частота изменений в вашей базе знаний |
| Смена базовой модели | Индекс сохраняется; при смене модели векторного представления его нужно построить заново | Обучение приходится повторять: результат привязан к конкретной базовой модели | Лицензии открытых моделей различаются, текст лицензии читаем для конкретной версии |
| Хранение | Индекс документов и исходные файлы | Версии весов каждой дообученной модели | Кто и как отвечает за версии и откат на прежнюю |
Как сравнить варианты на одной выборке
Спор «RAG лучше» или «дообучение лучше» заканчивается, когда у вас есть выборка. Для этого не нужен большой проект, нужен порядок действий:
- Соберите реальные вопросы из заявок, чатов и обращений за период, а не придуманные для демонстрации. Включите вопросы, на которые в базе ответа нет, и вопросы по устаревшим редакциям.
- Составьте эталон: для каждого вопроса верный ответ и документ-источник либо пометка «в базе ответа нет». Эталон составляют эксперты, не модель.
- Отложите часть выборки. Она не участвует в настройке и обучении, на ней идёт финальная проверка.
- Прогоните варианты на одной выборке: промпт; промпт с примерами; RAG; RAG с примерами; дообученная модель; дообученная модель с RAG. Модель, промпт и параметры фиксируйте в журнале.
- Считайте отдельно: долю верных ответов с верным источником; долю корректного отказа там, где ответа нет; долю неверных ответов, поданных уверенно (самая важная); соблюдение формата.
- Разберите ошибки по группам: документ не найден, найден не тот, найден верный, но искажён, дан ответ при отсутствии источника, нарушен формат. Для каждой группы своё лечение: ошибки поиска чинят в индексе и документах, формата — примерами или проверкой кодом, а к дообучению переходят, когда остаются ошибки поведения.
- Проверьте, не стало ли хуже: после дообучения прогоните отдельный набор общих вопросов, на которых модель раньше отвечала верно.
Оценка другой моделью в роли судьи удобна для ускорения, но её нужно сверять с оценкой человека на части выборки: судья бывает снисходителен к гладким, но неверным ответам. Тот же приём «эталонная выборка и разбор ошибок по группам» применён к документам в статье «Как измерить точность распознавания документов». Если в итоге различия между вариантами не видны, берите самый простой: у него меньше частей, которые нужно проверять и обслуживать.
Типичные ошибки выбора
Девять ошибок, которые встречаются чаще других:
- «Дообучим на документах, чтобы модель их знала». Факты усваиваются вперемешку и нестабильно, модель может уверенно достроить отсутствующее, ссылки на источник нет, права на отдельные документы применить нельзя, устаревшее остаётся в весах.
- RAG без подготовки документов. Две редакции регламента рядом, сканы без распознавания, таблицы, разрезанные пополам: поиск находит то, что есть, и ассистент уверенно цитирует отменённое.
- Починка модели вместо поиска. Ответы плохие, и берут модель крупнее или обучают. Сначала проверяют, есть ли ответ в базе и нашёл ли его поиск; чаще всего причина там.
- Дообучение без отложенной выборки. Модель проверяют на тех же примерах, на которых обучали, и качество выглядит отличным, пока не придут новые вопросы.
- Оценка по нескольким удачным вопросам. Впечатление от десятка вопросов не заменяет прогон на выборке с эталоном и подсчёт неверных уверенных ответов.
- Смешанные права в обучающей выборке. В одну модель попали документы разных уровней доступа, а пользоваться ею будут все.
- Пропуск дешёвых шагов. К дообучению переходят, не попробовав промпт с образцами и проверку формата кодом.
- Противопоставление подходов. RAG и дообучение не взаимоисключающие: первый поставляет факты и источники, второй закрепляет поведение.
- Нет владельца базы знаний. Любая система на основе документов устаревает молча: жалоб нет, но доверие к ответам падает.
Дерево решений за пять вопросов
Идите по вопросам сверху вниз и останавливайтесь на первом подходящем ответе. Это порядок рассуждения, а не приговор: итог проверяется замером на вашей выборке.
- Модель должна опираться на ваши документы или на данные, которые меняются? Нет — к вопросу 3. Да — знания нужны вне модели: RAG, а для данных «на сегодня» (цены, остатки, статусы) — запрос к системе по API. К вопросу 2.
- Права пользователей на документы различаются или нужно показывать источник ответа? Да — только RAG с фильтрацией по правам при поиске; дообучать модель на этих документах не нужно. Нет — RAG всё равно проще обновлять. К вопросу 3.
- Проблема не в знаниях, а в поведении: формат, терминология, тон, классификация по вашим категориям? Нет — вы закончили: промпт, а если знания нужны, то RAG поверх него. Да — к вопросу 4.
- Вы уже описали поведение в промпте, подобрали образцы, добавили проверку формата кодом, замерили на эталонной выборке, и качества не хватает? Нет — сделайте это первым: чаще всего этого достаточно. Да — к вопросу 5.
- Есть размеченные примеры, отложенная выборка, ресурсы на обучение и на его повторение при смене модели, а в примерах нет данных, которые нельзя оставлять в весах? Да — дообучение, поверх RAG, если нужны и знания; сравните его с вариантом без дообучения на той же выборке. Нет — вернитесь к разметке или для задачи классификации рассмотрите небольшой классификатор.
Если вы прошли дерево и всё равно сомневаетесь, значит, нужна выборка: на трёх вариантах она покажет то, чего не покажет рассуждение.
Что делаем мы и с чего начать
В проектах ассистентов по документам и службы поддержки мы начинаем с RAG и эталонных вопросов. Дообучение предлагаем только если замер на вашей выборке показал, что без него не обойтись; это же условие записано на странице услуги «Частные LLM в контуре». По умолчанию модели работают на вашем оборудовании, документы наружу не уходят, веса, индекс, выборка и исходники передаются вам по акту. Как это выглядит на задачах: ИИ-ассистент по документам, ИИ для техподдержки, LLM на своём сервере. Выбор между своей моделью и внешним API — отдельный вопрос, он разобран в статье «Своя LLM или облачный API».
Начните с выборки реальных вопросов и эталонов. Если разбора своими силами недостаточно, обследование стоит 200 000 ₽ за один-два процесса и вычитается из следующего этапа; на нём собираем выборку и выбираем схему. Лёгкий пилот, на котором варианты сравниваются на ваших данных в вашем контуре, — 150 000 – 400 000 ₽ и 2–8 недель. Цены и ступени — на странице тарифов. Если замер покажет, что нужно и дообучение, вилку уточним по результатам обследования.
Частые вопросы
Что лучше для корпоративного ассистента: RAG или дообучение?
Для ответов по документам, которые меняются и должны цитироваться, лучше RAG: обновление сводится к замене документа, права применяются при поиске, к ответу прикладывается источник. Дообучение нужно для поведения: формата, терминологии, тона, классификации. Поэтому ассистент по регламентам и базе знаний почти всегда начинается с RAG, а дообучение добавляется, если замер на ваших вопросах показал ошибки именно поведения.
Можно ли дообучить модель на наших документах, чтобы она всё знала?
Технически можно, но результат, как правило, хуже ожиданий: факты усваиваются вперемешку и нестабильно, модель может уверенно достроить отсутствующее, ссылку на источник она не даст, права доступа к отдельным документам применить нельзя, а устаревшее остаётся в весах. Для знаний о документах используйте RAG, а дообучение оставьте для поведения.
Можно ли использовать RAG и дообучение вместе?
Да, это частая схема: RAG поставляет факты и источники, дообученная модель держит формат, терминологию и тон. Но прежде чем усложнять, сравните на одной выборке три варианта: промпт с примерами, RAG, RAG с дообучением. Если разницы нет, лишний слой означает лишние расходы и ещё один артефакт, который нужно проверять и обслуживать.
Как RAG учитывает права доступа сотрудников?
Каждый фрагмент хранится в индексе с метаданными о доступе. При вопросе поиск ограничивается тем, что разрешено видеть пользователю, и только найденное передаётся модели. Проверяют это отдельным прогоном от имени каждой роли: чужой документ не должен находиться. Права нужно синхронизировать с каталогом пользователей, иначе ошибка окажется в метаданных.
Сколько примеров нужно для дообучения?
Универсального числа нет: оно зависит от задачи, разнообразия случаев и согласованности разметки. Практический способ — обучать на части выборки, мерить на отложенной, добавлять примеры и мерить снова. Если качество растёт, ограничивает объём. Если не растёт, а разметчики расходятся в оценках, проблема в инструкции или постановке задачи.
Нужна ли для RAG своя видеокарта?
Если модель работает у вас на сервере, для ответов нужна память под неё. Кроме того, считается отдельная модель для векторного представления текста, а нагрузка растёт вместе с длиной найденных фрагментов и числом одновременных пользователей. Сколько памяти нужно, считается под вашу задачу, метод расчёта разобран в статье про видеопамять для LLM. Возможны и варианты без видеокарты с малой моделью, но ответ в них идёт заметно медленнее.
Как понять, что дообучение вообще нужно?
Когда после промпта с образцами и RAG ошибки остаются именно в поведении: формат нестабилен, терминология искажается, категории путаются, и это видно на отложенной выборке. Если ошибки в том, что документ не найден или найден не тот, дообучение не поможет: чинят документы и поиск.
Как часто нужно обновлять индекс?
По событию: при изменении документа переиндексируется он один. Дополнительно нужна регулярная сверка индекса с источником, чтобы отменённые документы не оставались в нём. Кто отвечает за актуальность, определяется заранее: у каждого раздела базы есть владелец.
Сколько стоит выбрать подход и проверить его на наших данных?
Для одного-двух процессов обследование стоит 200 000 ₽, занимает 2–3 недели и вычитается из следующего этапа; на нём собирается выборка и выбирается схема. Лёгкий пилот, где варианты сравниваются на ваших данных в вашем контуре, — 150 000 – 400 000 ₽, 2–8 недель. Если замер покажет необходимость дообучения, вилку уточним по результатам обследования в рамках ступеней из тарифов.