ИИ в финансовом секторе: что можно в закрытом контуре

В закрытом контуре финансовой организации можно сделать всё, что сводится к чтению и поиску по её собственным текстам: ответы по регламентам со ссылкой на пункт, сверку договора с чек-листом, ввод данных из входящих документов, сортировку обращений клиентов и внутреннего ассистента для сотрудников. Решения о клиенте, деньгах и риске остаются у людей и в системах, которые для этого предназначены, а модель готовит материал и показывает источник.

Контур нужен потому, что почти каждый из этих документов содержит информацию ограниченного доступа: тайну клиента, условия сделок, внутренние методики. Для такого текста внешний сервис чаще всего не подходит по требованиям заказчика. Ниже по порядку: что можно, чего нет, как выбрать начало, где разместить модель и что показать службе безопасности. Страница услуги: «ИИ для финансового сектора».

Что можно сделать в закрытом контуре

Граница проходит по одному признаку: модель работает с текстами организации и не принимает решений о клиенте. Если на выходе сотрудник получает найденный документ, выдержку, черновик или размеченное поле, и дальше решает сам, это подходит для закрытого контура. Если на выходе одобрение, отказ или оценка риска, это отдельная область со своими требованиями к проверке, и мы в неё не входим.

Все пять задач объединяет то, что результат проверяется глазами сотрудника и откатывается без последствий для клиента. Это и есть главный критерий первого сценария. Подробнее по каждому: ассистент по документам, проверка договоров, распознавание и ввод.

Почему именно закрытый контур

Внешний программный интерфейс облачной модели годится для открытых данных: описание продуктов с сайта, публичные тарифы, общедоступные новости. Но в финансовой организации открытых данных мало, а задачи ИИ как раз вокруг внутренних. Что именно уходит наружу при запросе к внешнему сервису?

• Текст запроса целиком. Вместе с вопросом уходят фрагменты документов, которые вы приложили для контекста: фамилии, суммы, условия сделок.
• Файлы. Загруженный договор или выписка хранится там, где вы не определяете срок и круг лиц.
• Метаданные использования. Кто, когда и о чём спрашивал: само это бывает чувствительно.

Поэтому для документов с ограниченным доступом внешние сервисы чаще всего не подходят по требованиям заказчика, и главная линия простая: модель, поиск и журнал работают на ваших серверах. Сравнение вариантов — в статье «Своя LLM или ChatGPT API», а риски отдельного случая — в статье про загрузку договоров во внешние нейросети.

Контур не отменяет внутренней дисциплины. Если у сотрудников нет удобного внутреннего инструмента, они берут внешний, и документы уходят в обход вас. Запретом это не лечится: внутренний вариант должен быть удобнее. Модели с открытыми весами для типовых задач с текстом достаточно, качество при этом проверяется на вашей выборке, а не по названию модели.

Чего ждать от ИИ не стоит

Часть запросов приходит как «нужен ИИ для банка», а по сути относится к продуктам и моделям риска. В нашу работу они не входят, и вот почему.

• Скоринг заёмщиков и оценка страховых рисков. Это статистические модели на данных клиентов с отдельным процессом проверки и ответственностью. Языковая модель для этого не инструмент.
• Мониторинг операций и противодействие мошенничеству. Нужны потоки данных, правила и круглосуточная работа, которых у нас нет.
• Инвестиционные рекомендации и торговые алгоритмы. Персональные рекомендации клиентам мы не даём и не строим.
• Платёжные и банковские продукты, мобильный банк. Это финтех-разработка, мы её не делаем; данные платёжных карт не храним.
• Автоматическое решение без человека. Даже в документных сценариях действие, меняющее состояние (запись в учёт, отправка клиенту), требует подтверждения. Как ограничивать права системы, разобрано в статье «Как ограничить ИИ-агента».

Если ваша задача оказалась в этом списке, лучше узнать об этом на первом разговоре, а не после обследования. Мы скажем прямо и, если сможем, укажем, какую часть можно сделать в рамках документов.

Как выбрать первый сценарий

Первый сценарий определяет, поверит ли организация в инструмент. Лучше взять узкий и проверяемый, чем широкий и красивый. Оцените кандидатов по пяти критериям и выбирайте тот, у которого меньше «нет».

Обычно первым подходит поиск по регламентам одного подразделения: эталон собрать просто, ошибку сотрудник замечает по источнику, а польза видна сразу. Подготовку данных детально описывает статья «Как подготовить данные для ИИ-пилота».

Где разместить модель

Размещение влияет на цену и срок сильнее, чем выбор модели. Железо считается по памяти видеокарты: вес модели плюс память под каждого одновременного пользователя и длину документа в запросе, поэтому один и тот же размер модели в разных сценариях требует разного оборудования. Как это считать, разобрано в статье про видеопамять. Дальше три варианта.

Персональные данные граждан России обычно должны храниться на серверах в России, и это нужно учитывать при выборе площадки. Остальные вопросы размещения решает ваша служба безопасности, а мы описываем архитектуру: как развернуть LLM в закрытом контуре.

Права доступа: самое важное место

Главный риск внутреннего ассистента не в том, что он ошибётся, а в том, что покажет сотруднику документ, которого тот не должен видеть. Это происходит, когда права проверяют после того, как модель уже прочитала текст. Тогда закрытый фрагмент попал в контекст и может быть пересказан своими словами, без цитаты, и фильтр ответа его не поймает.

Правильный порядок обратный:

1. Запрос приходит с учётной записью пользователя.
2. Поиск отбирает фрагменты только из документов, доступных этой записи в исходной системе.
3. В модель попадают только они.
4. В журнал записывается, какие фрагменты использованы.

Проверяется это тестом: те же вопросы задаются от учётных записей с разными правами, и для закрытого документа правильный результат — отсутствие ответа, а не пересказ. Для сведений, которые нельзя смешивать между подразделениями, права закладываются в схему хранения с самого начала. Ещё одна угроза — команды внутри документов: письмо клиента или договор может содержать текст, который выдаёт себя за инструкцию. Как с этим работать, написано в статье «Что такое prompt injection».

Что показать службе безопасности и аудиту

Лучше собрать пакет заранее, чем отвечать на вопросы по ходу. Для внутренней проверки обычно достаточно шести документов.

• Схема размещения. Где стоят модель, поиск, хранилище и журнал, какие сетевые связи разрешены.
• Описание прав. Откуда берутся права и в какой момент применяются.
• Перечень журналируемых событий. Запрос, использованные фрагменты, версия документа, версия модели, срок хранения журнала.
• Версии. Какая модель, какие настройки и какой индекс были в момент ответа.
• Протокол испытаний. Результаты на выборке, проверка прав, проверка изоляции.
• Порядок обновлений. Любое обновление проходит повторный прогон выборки.

Соответствие требованиям регулятора оценивает ваш юрист и служба безопасности, аттестацию мы не проводим, лицензии ФСТЭК у нас нет. Практический перечень проверок перед запуском собран в статье «Чек-лист безопасности LLM-системы перед запуском».

Что делаем мы и с чего начать

Начинаем с обследования: 200 000 ₽ и 2–3 недели за один сценарий, 350 000 ₽ и 3–4 недели, если нужно связать несколько систем. На выходе выбранный сценарий, источники и реестр редакций, схема прав, оборудование и вилка бюджета. Сумма вычитается из первого этапа, если продолжаете с нами. Дальше лёгкий пилот одного сценария на ваших документах за 150 000–400 000 ₽ и 2–8 недель, затем вывод в эксплуатацию от 1 500 000 ₽ этапами по 300 000–700 000 ₽. Остановиться можно после любой ступени, исходники лежат в вашем репозитории с первого коммита. Все цены — на странице «Тарифы».

Мы не делаем банковские и кредитные продукты, скоринг, антифрод и мобильные приложения, не проводим аттестацию и не дежурим круглосуточно. Описание услуги — на странице «ИИ для финансового сектора», пример типовой задачи — в разборе «Языковая модель в изолированном контуре банка».