Ответ есть, но лежит в трёх документах
Методики, положения подразделений, письма регулятора и разъяснения юристов хранятся порознь. Сотрудник ищет действующую норму и не уверен, что нашёл последнюю редакцию.
ИИ для финансового сектора: документы, поиск и обращения в закрытом контуре
ИИ для банка, страховой или лизинговой компании у нас — это работа с текстами и документами организации, а не с деньгами клиентов. Система ищет ответ по внутренним регламентам и письмам регулятора со ссылкой на пункт, делает первый проход по договору, читает входящие документы и разбирает обращения. Модель стоит на вашем сервере и не выходит в интернет, права доступа проверяются до того, как текст попал в контекст, а решение остаётся за сотрудником. Кредитные продукты и скоринг заёмщиков мы не делаем.
Обследование — от 200 000 ₽, 2–3 неделиМодель, документы и журнал внутри контура организацииНе скоринг и не финтех: документы, поиск, обращения
С чем приходят
Где в финансовой организации тратится время, которое можно вернуть
Договоры проверяют вручную по чек-листу
Юрист или комплаенс открывает каждое соглашение и ищет одни и те же условия: ответственность, сроки, залог, расторжение. Первый проход занимает больше времени, чем оценка.
Входящие документы вводят руками
Анкеты, заявления, выписки и акты сверки приходят сканом или файлом, а данные переносят в учёт вручную. Ошибки находят позже, на сверке.
Сотрудники тихо используют внешние чаты
Если внутреннего инструмента нет, документы с ограниченным доступом попадают во внешние сервисы. Запретом это не лечится, нужен внутренний вариант, которым удобно пользоваться.
Сценарии
Пять сценариев вокруг существующих систем
Все сценарии устроены одинаково: система готовит материал, человек принимает решение. Ни один из них не меняет учётную систему и не касается денег клиентов.
Сценарий
Что делает система
Кто решает
Что проверяем на выборке
СценарийПоиск по нормативной базерегламенты, методики, письма регулятора
Что делает системаНаходит нужный документ и пункт, показывает редакцию и дату, на отсутствие ответа отвечает «не нашёл»
Кто решаетСотрудник открывает источник
Что проверяем на выборкеПопадание в нужный документ на реальных вопросах
СценарийПервичный разбор договоровсоглашения, приложения
Что делает системаСверяет текст с чек-листом, отмечает отклонения со ссылкой на пункт
Кто решаетЮрист или комплаенс
Что проверяем на выборкеДоля пропущенных отклонений и ложных срабатываний
СценарийВвод входящих документованкеты, выписки, акты
Что делает системаЧитает поля, сомнительные значения отправляет на проверку, готовит запись для учёта
Кто решаетОператор подтверждает спорные поля
Что проверяем на выборкеДоля верно прочитанных полей по типам документов
СценарийРазбор обращенийписьма и жалобы клиентов
Что делает системаОпределяет тему и ответственное подразделение, готовит черновик ответа по шаблонам
Кто решаетСотрудник правит и отправляет сам
Что проверяем на выборкеСовпадение темы и адресата с разметкой
СценарийВнутренний ассистентИТ, кадры, хозяйственные вопросы
Что делает системаОтвечает по внутренним инструкциям, у каждого ответа есть источник
Кто решаетСотрудник; спорное уходит ответственному
Что проверяем на выборкеКачество ответов и соблюдение прав доступа
Контур
Почему модель работает внутри организации
Банковская и коммерческая тайна, сведения о клиентах и внутренние методики входят в состав информации, для которой внешний сервис чаще всего не подходит по требованиям заказчика.
Внешний программный интерфейс облачной модели годится для открытых данных: описание продукта на сайте, публичные тарифы. Для регламентов, договоров и переписки с клиентами текст покидает организацию, и вы не определяете, где он хранится и кто имеет к нему доступ. Поэтому основной вариант у нас один: языковая модель, поиск и журнал размещаются в вашем контуре. Сравнение вариантов — в статье «Своя LLM или ChatGPT API», а риски отдельного случая разобраны в статье про загрузку договоров во внешние нейросети.
Что значит «изолированный контур»
- Нет выхода в интернет у серверов модели. Веса, образы и пакеты переносятся через контролируемый шлюз по регламенту, развёртывание воспроизводится с нуля без внешних репозиториев.
- Железо считается по памяти, а не по названию модели. Влияют размер модели, число одновременных пользователей и длина документа в запросе; точный состав называем на обследовании. Подробнее в статье про видеопамять.
- Журнал входит в периметр защиты. В нём лежат куски документов, поэтому у него собственные права, срок хранения и порядок выгрузки.
Юридические вопросы, требования регулятора к вашей организации и их соотнесение с системой решает юрист и служба информационной безопасности заказчика. Мы даём технические меры и документацию, которые можно показать проверяющему. Аттестацию не проводим, лицензии ФСТЭК у нас нет.
Требования
Что требует служба безопасности и как это реализуем
Типовой перечень вопросов ИБ, комплаенса и внутреннего аудита. На обследовании он сверяется с вашей политикой.
Требование
Что значит для системы
Как реализуем
Как проверяем
ТребованиеРазграничение доступакак в исходной системе
Что значит для системыСотрудник не должен получить через ассистента то, чего не видит в документообороте
Как реализуемПрава применяются при отборе фрагментов, до передачи текста модели; фильтрация готового ответа не защита
Как проверяемТе же вопросы от учётных записей с разными правами: правильный итог для закрытого документа — отсутствие ответа
ТребованиеЖурналированиекто, что и когда
Что значит для системыКаждый ответ можно разобрать задним числом
Как реализуемПишем запрос, список использованных фрагментов, версию документа и версию модели; журнал имеет собственные права
Как проверяемПо случайному обращению восстанавливаем, откуда взят ответ
ТребованиеВоспроизводимостьверсии и настройки
Что значит для системыОтвет месячной давности можно объяснить
Как реализуемВерсии модели, подсказки и индекса фиксируются, любое обновление идёт через проверку на той же выборке
Как проверяемПовторный прогон выборки после обновления даёт сравнимый результат
ТребованиеИзоляциянет внешнего канала
Что значит для системыЗапросы и документы остаются в сети организации
Как реализуемИсходящие соединения серверов закрыты, обновления вносятся через шлюз
Как проверяемНа стенде физически отключаем внешний канал, система продолжает работать
ТребованиеУстойчивость к инструкциям внутри документаprompt injection
Что значит для системыТекст письма или договора не должен управлять ассистентом
Как реализуемСодержимое документов передаётся модели как данные; действия, меняющие состояние, требуют подтверждения человека
Как проверяемНабор документов с вложенными командами проходит проверку, см. статью про prompt injection
Поиск
Поиск по регламентам: что ломает ответы в финансовой организации
Нормативная база организации живёт во времени. Положение заменено, письмо регулятора отозвано, а в папке остались обе версии. Ассистент, который уверенно цитирует недействующую редакцию, вреднее ассистента, который молчит. Поэтому до подключения модели решаем три вещи.
- Реестр редакций. У каждого документа есть дата начала и окончания действия, статус и владелец. Поиск сначала исключает недействующее, потом ищет. Реестр ведёт ответственное подразделение, мы строим первичную загрузку.
- Структура документа. Таблицы лимитов, приложения и ссылки «см. пункт» делятся на фрагменты так, чтобы ответ не терял условие: цифра без заголовка таблицы вводит в заблуждение.
- Отказ как правильный ответ. Если подходящего пункта нет, система говорит об этом и показывает ближайшие документы, а не сочиняет. Эту способность проверяем отдельным набором вопросов, ответа на которые в базе нет.
Устройство такого поиска описано на страницах «RAG-системы на заказ» и «Семантический поиск по документам».
Договоры и входящие
Разбор договоров и ввод документов: где проходит граница с человеком
Система ускоряет первый проход, а юридическую оценку и подписание не берёт на себя.
Задача
Что делает система
Чего не делает
Правило для сотрудника
ЗадачаСверка договора с чек-листомотклонения от типовой формы
Что делает системаНаходит условия, которых нет или которые отличаются, и показывает пункт
Чего не делаетНе признаёт договор допустимым и не предлагает подписать
Правило для сотрудникаОтметка о проверке ставится только человеком
ЗадачаСравнение редакцийчто изменилось
Что делает системаПоказывает правки между версиями, включая сдвинутые пункты
Чего не делаетНе оценивает последствия правок
Правило для сотрудникаСущественные изменения читаются целиком
ЗадачаВвод анкет и заявленийполя в учётную систему
Что делает системаЧитает поля с оценкой уверенности и готовит запись
Чего не делаетНе принимает решение по клиенту и не пишет в учёт без подтверждения при сомнении
Правило для сотрудникаСпорные поля сверяются с исходным изображением
Проверка
Как принимается система: четыре проверки руками сотрудников
Набор вопросов с эталоном
Сотрудники записывают реальные вопросы с указанием документа и пункта. Система должна найти документ, а где ответа нет, ответить «не нашёл».
Проверка прав
Вопросы задаются от имени учётных записей с разными правами. Закрытый фрагмент не должен ни цитироваться, ни пересказываться.
Проверка журнала
По случайно выбранным обращениям служба безопасности восстанавливает, кто спрашивал, какой был запрос и какие фрагменты вошли в контекст.
Проверка изоляции
Внешний канал отключается, систему используют как обычно. Результат записывается в протокол. Чек-лист: <a href="../blog/chek-list-bezopasnosti-llm-pered-zapuskom/">безопасность LLM-системы перед запуском</a>.
Что делаем
Из чего состоит работа и сколько она стоит
Цены совпадают со страницей «Тарифы». Остановиться можно после любой ступени.
Обследование: один сценарий
Один сценарий (поиск по регламентам, разбор договоров или ввод документов), источники, права, критерии приёмки, оборудование. На выходе вилка бюджета и план этапов. Вычитается из первого этапа.
200 000 ₽ · 2–3 недели
Обследование: несколько систем
Документооборот, хранилища договоров, учётные системы и каталог пользователей: схема обменов и матрица прав.
350 000 ₽ · 3–4 недели
Пилот: один сценарий
Поиск по регламентам или ассистент по базе знаний на ваших документах, протокол испытаний на выборке. Лёгкий пилот.
150 000–400 000 ₽ · 2–8 недель
Пилот: несколько сценариев и интеграции
Поиск, разбор договоров и ввод документов вместе, чтение из документооборота с правами, запись результата через интерфейс системы. Тяжёлый пилот.
400 000–1 200 000 ₽ · 2–3 месяца
Вывод в эксплуатацию
Опытная эксплуатация, регламент обновления реестра и версий, документация для ИБ и аудита, передача исходников.
от 1 500 000 ₽ этапами по 300 000–700 000 ₽ · от 3 месяцев
Сопровождение
Мониторинг, обращения, разбор ошибочных ответов, проверка качества после смены документов. Сверх пакета — 5 000 ₽ в час.
20 000 / 60 000 / 120 000 ₽ в месяц
Процесс
Как идёт работа
2–4 недели — Обследование
Инвентаризация документов и систем, права, требования ИБ, оборудование. Выясняем, где данные в порядке, а где нужен реестр редакций.
1–2 недели — Выборка и критерии
Собираем вопросы с эталонными ответами и образцы документов. Договариваемся, что считать ошибкой, до написания кода.
От 2 недель — Пилот
Один сценарий в контуре на подготовленных данных. Показываем работающую версию тем, кто будет пользоваться.
1–2 недели — Проверка
Прогон по выборке, проверка прав, журнала и изоляции совместно со службой безопасности.
Дальше — Эксплуатация
Запуск в одном подразделении, затем в остальных; в первый месяц журнал разбираем раз в неделю.
Затем — развитие или сопровождение
Новые сценарии по этапам с отдельной приёмкой.
Цена
Что двигает цену внутри вилки
Права и структура доступа
Один общий каталог и права по подразделениям, должностям и отдельным документам — разные по объёму работы вещи. Растёт число правил, а не экранов.
Состояние нормативной базы
Если редакции не помечены, а у каталога нет владельца, первые недели уходят на порядок в документах.
Число систем
У каждой системы свой способ доступа, владелец и согласование с поставщиком. Папка с файлами стоит заметно дешевле, чем подключение документооборота с правами.
Оборудование и сеть
Изолированная сеть добавляет работы на подготовку и на обновления.
Контроль
Что остаётся у вас и чего мы не делаем
Остаётся у вас
- Исходный код в вашем репозитории с первого коммита.
- Модель, индекс, журнал и настройки на ваших серверах; развёртывание описано инструкцией.
- Реестр редакций, чек-листы, выборка вопросов и протокол испытаний.
- Право остановиться после любой ступени: сделанное остаётся у вас по акту.
Мы этого не делаем
- Не делаем банковские, кредитные и платёжные продукты, скоринг заёмщиков, оценку страховых рисков и решения о выплате.
- Не строим торговые алгоритмы, не даём инвестиционных рекомендаций и не создаём мобильный банк или финтех-сервис.
- Не занимаемся мониторингом операций и противодействием мошенничеству, не храним данные платёжных карт.
- Не проводим аттестацию, лицензии ФСТЭК у нас нет. Соответствие требованиям регулятора оценивает юрист и служба безопасности заказчика, мы юридических консультаций не даём.
- Не берём работы дешевле 150 000 ₽ и не дежурим круглосуточно.
Соседние услуги
Где проходит граница с другими нашими страницами
Если задача сводится к ответам по базе знаний, основа системы описана на странице «ИИ-ассистент по документам и базе знаний», а проверка договоров — на странице «ИИ для проверки договоров». Здесь добавляются требования финансовой организации: права при отборе фрагментов, журнал для аудита и воспроизводимость ответа.
Если основная нагрузка — потоки сканов, смотрите распознавание документов. Для обращений клиентов подойдёт ИИ для техподдержки. О размещении модели — страница «Развернуть LLM на своём сервере», обзор по теме — частные LLM в контуре.
Разбор типовой задачи с теми же ограничениями: «Языковая модель в изолированном контуре банка». Если пилот прошёл, дальше — вывод ИИ-пилота в продуктив.
Инструменты
На чём собираем
Модель и поиск
- Языковая модель с открытыми весами на вашем сервере, размер подбираем под выборку
- Поиск по смыслу и по ключевым словам вместе, векторное хранилище на PostgreSQL (pgvector) или Qdrant
- Распознавание сканов по полям с порогами уверенности
- Реестр редакций документов
Интеграция и контроль
- Чтение из хранилищ и системы документооборота, права из вашего каталога пользователей
- Журнал запросов и ответов с версиями модели и индекса
- Повторные прогоны по выборке после каждого обновления
- Docker, Nginx, GitLab CI; развёртывание в вашем контуре
Материалы
Материалы по теме
ИИ в финансовом секторе: что можно в закрытом контуре
Какие задачи решаются внутри организации без выхода данных наружу, а какие остаются за пределами работы.
- Что можно
- Что нельзя
- Как проверить
Чек-лист безопасности LLM-системы перед запуском
Перечень проверок для службы безопасности и критерии, при которых запуск откладывается.
- Права
- Журнал
- Критерии провала
Как ограничить ИИ-агента: права, подтверждения и откат
Как устроить доступ ИИ-системы к данным и действиям, чтобы последнее слово оставалось за человеком.
- Права
- Подтверждения
- Откат
Заявка
Расскажите, какие документы и вопросы отнимают время у сотрудников
Сорок минут созвона: какие документы, где лежат, кто с ними работает и что считать ошибкой. По итогам скажем, с какого сценария начинать и в какую вилку это укладывается.
Вопросы
Частые вопросы: ИИ для финансового сектора
Сколько стоит ИИ для банка или страховой компании?
Начинаем с обследования: 200 000 ₽ и 2–3 недели за один сценарий, 350 000 ₽ и 3–4 недели, если систем несколько. Лёгкий пилот — 150 000–400 000 ₽, тяжёлый — 400 000–1 200 000 ₽. Вывод в эксплуатацию — от 1 500 000 ₽ этапами по 300 000–700 000 ₽. Обследование вычитается из первого этапа.
Вы делаете скоринг, антифрод или кредитные продукты?
Нет. Мы работаем с документами и текстами организации: поиск по регламентам, разбор договоров, ввод документов, обращения клиентов. Скоринг заёмщиков, оценка страховых рисков, мониторинг операций и банковские продукты в работу не входят.
Почему нельзя просто использовать ChatGPT?
Для открытых данных внешний интерфейс можно использовать. Для документов с ограниченным доступом он чаще всего не подходит по требованиям заказчика: текст уходит из организации, а условия хранения у стороннего сервиса вы не контролируете. Поэтому модель стоит у вас и работает без выхода в интернет.
Как не допустить, чтобы ассистент показал закрытый документ?
Права проверяются при отборе фрагментов, до передачи текста модели: недоступный сотруднику фрагмент в контекст не попадает. Проверяем это тестом от имени учётных записей с разными правами.
Как вы измеряете качество?
На выборке ваших документов: реальные вопросы с эталонными ответами и указанием пункта, отдельный набор вопросов, ответа на которые нет, и разметка отклонений в договорах. Результат записывается в протокол до запуска и повторяется после каждого обновления.
Можно ли показать проверяющему или аудиторам, как всё устроено?
Да. В документацию входят схема размещения, описание прав, перечень журналируемых событий, версии модели и индекса и протокол испытаний. Соответствие требованиям регулятора оценивает ваш юрист и служба безопасности; аттестацию мы не проводим.
Что делать, если в документах беспорядок?
Начинаем с реестра редакций и владельцев каталогов вместе с ответственными подразделениями. Сценарий запускаем по тем разделам, где порядок есть, остальные подключаем по мере наведения порядка.
Кому принадлежит код и модель?
Вам. Исходный код лежит в вашем репозитории с первого коммита, настройки, индекс и журнал — на ваших серверах. Результат передаётся по акту, порядок передачи прав записывается в договоре, открытые компоненты остаются под своими лицензиями.
Вы работаете только в Ростове-на-Дону?
Мы в Ростове-на-Дону, работаем с заказчиками по всей России: удалённо и в вашем контуре. Доступ к системам и обследование согласуем на старте с вашей службой безопасности.
Смежное
Что посмотреть рядом
- ИИ-ассистент по документам и базе знаний
- ИИ для проверки договоров
- Распознавание документов и ввод данных в учёт
- RAG-системы на заказ
- Развернуть LLM на своём сервере
- Аудит безопасности ИИ-системы
- Частные LLM в контуре
- Цены и сроки по ступеням
- Разбор: языковая модель в изолированном контуре банка
- ИИ в финансовом секторе: что можно в закрытом контуре