Оценка качества LLM-системы: тестовый набор, метрики и приёмка на ваших данных

Что в строке набора

Одна строка — один случай: входной запрос, ожидаемый ответ или критерии хорошего ответа, категория, цена ошибки, источник случая и имя эксперта, который его проверил. Без категории и цены ошибки нельзя посчитать цифры, которые что-то значат для работы.

Какие случаи обязательны

• Обычные запросы в той пропорции, в какой они приходят.
• Трудные случаи, которые эксперты назвали сами: двусмысленные, с устаревшим документом, с противоречием между источниками.
• Вопросы без ответа в базе. Правильный ответ на них — отказ, и по этой части видно, можно ли системе доверять.
• Провокации: просьбы выйти за рамки роли, подмена инструкции внутри документа, запрос чужих данных.
• Редкие, но дорогие случаи. Их мало в потоке, поэтому добавляем нарочно, иначе по ним не будет ни одной цифры.

Два набора вместо одного

Рабочий набор открыт: на нём настраивают шаблоны, пороги и поиск. Контрольный закрыт и используется для финального замера и приёмки. Настройка по контрольному набору превращает его из измерения в подсказку. Поэтому после каждого финального замера часть контрольных случаев переходит в рабочий набор, а в контрольный добавляются новые.

Сколько случаев нужно

Единого числа нет. Правило такое: в каждой категории должно быть достаточно случаев, чтобы отличить улучшение от случайного колебания. Категории с высокой ценой ошибки получают больше случаев, а не столько же, сколько остальные.

Модель, которая оценивает ответы другой модели, полезна, пока известно, насколько она согласна с вашими экспертами. Порядок такой:

1. Берём часть набора и просим оценить её и судью, и экспертов независимо друг от друга.
2. Смотрим, где оценки расходятся, и правим критерии.
3. Проверяем известные смещения: судья предпочитает длинные ответы, ответы в своём стиле и ответ, показанный первым. Меняем порядок и смотрим, поменялась ли оценка.
4. Не используем в качестве судьи ту же модель, которую оцениваем, и фиксируем версию судьи. Сменили судью — калибровку повторяем.
5. Контрольный набор остаётся за экспертами. Судья нужен для частых прогонов в сборке, а не для приёмки.

Если согласие судьи с экспертами недостаточно, судью не выбрасывают целиком: оставляют на тех критериях, где он согласен с людьми, а остальное проверяют правилами и вручную.

Ответ модели меняется не только от вашей правки. Поэтому прогон набора запускается автоматически при изменении шаблона, модели, индекса, порога и зависимостей. Результат сравнивается с прошлым прогоном попарно, по тем же случаям.

Шум и как с ним жить

Языковая модель отвечает не всегда одинаково, и один прогон ничего не доказывает. Случаи прогоняем несколько раз и смотрим, насколько колеблется результат. Разница между двумя версиями считается значимой, только если она выходит за этот разброс. Смотрим не только среднее, но и список случаев, которые стали хуже: новая выдуманная ссылка перевешивает несколько улучшений.

После запуска

Часть реальных ответов просматривает человек по выборке, оценки пользователей и правки операторов превращаются в новые случаи набора, а изменения в потоке запросов видны по доле отказов и неуверенных ответов. За самой моделью в работе следят отдельно, это описано на странице MLOps.

Оценка отвечает на вопрос «насколько хорошо работает». Как построить систему поиска и ответов по документам, описано на странице RAG-системы на заказ: там же свой блок про измерение поиска. Здесь оценка выделена в отдельную работу: она нужна и системам, построенным не нами.

За моделью в эксплуатации следит MLOps: дрейф, версии, откат, сигналы. Это отдельная услуга, но она использует тот же набор. Стойкость к подмене инструкций, утечкам и злоупотреблению действиями проверяет аудит безопасности ИИ, а подготовку и разметку данных для обучения описывает страница «Разметка данных для ИИ».

Практический порядок самостоятельной оценки разобран в статье «Как оценить качество LLM-системы».