Порог уверенности модели: зачем он нужен

У человека есть естественное «я не уверен» — интонация, пауза, оговорка. У языковой модели такого механизма по умолчанию нет: правильный и выдуманный ответ звучат одинаково гладко. Порог уверенности — это то, что должно появиться в системе вместо этого механизма.

Что это технически

Порог уверенности — заранее заданное значение, ниже которого система обязана не отвечать по существу, а сказать «у меня недостаточно данных» и, если нужно, передать вопрос человеку. В системах поиска по документам его считают по релевантности найденных фрагментов; в задачах классификации — по вероятности, которую модель присваивает своему ответу.

Что происходит без порога

Ассистент по базе знаний, у которого порога нет, отвечает на любой вопрос — включая тот, ответа на который в документах не было и в помине. Он не соврёт специально: языковая модель обучена продолжать текст правдоподобно, и «правдоподобно» здесь означает «звучит как ответ», а не «является фактом». Для справочной системы это означает, что часть ответов будет выдумана, и различить их от настоящих на слух нельзя.

Как выбирать значение порога

Универсального числа нет — оно зависит от цены ошибки. Для внутреннего помощника по регламентам, где ошибка стоит недоразумения, порог можно держать умеренным. Для системы, которая на основании ответа выполняет действие — списывает деньги, меняет данные клиента, — порог должен быть строгим, вплоть до того, что система чаще передаёт решение человеку, чем отвечает сама.

Правильный порог всегда режет и часть верных ответов — это не брак настройки, а плата за то, чтобы не пропускать выдуманные. Обратное — снизить порог, чтобы система «отвечала на всё» — превращает инструмент в источник уверенно звучащей неточности.

Что должно происходить ниже порога

Явный отказ, а не расплывчатый ответ — «в документах нет ответа на этот вопрос», а не общие слова вокруг темы.
Передача человеку с сохранением контекста вопроса, а не просто «обратитесь к специалисту».
Запись случая в журнал — низкая уверенность на одном и том же вопросе много раз означает пробел в базе знаний, который стоит закрыть.

Как проверить, что порог настроен правильно

Собрать контрольный набор вопросов с заведомо известными ответами — часть внутри базы знаний, часть заведомо вне её — и посмотреть, где система отвечает, а где отказывается. Если она уверенно отвечает на вопросы вне базы — порог слишком мягкий. Если отказывается на простых вопросах внутри базы — слишком строгий.

Вывод

Порог уверенности — не техническая деталь для инженеров, а решение о том, что важнее: полнота ответов или их надёжность. Хорошая система об этом честно молчит там, где не знает, вместо того чтобы красиво звучать вместо правильного ответа.

Как это устроено на практике — в разборе ассистента по внутренней базе знаний.