ИИ в медицине: что можно делать в закрытом контуре

В закрытом контуре медицинской организации можно решать задачи с документами: поиск по регламентам и приказам, распознавание бланков, разбор входящих обращений, ответы сотрудников на хозяйственные и кадровые вопросы. Диагностику, рекомендации по лечению и скоринг пациентов мы не делаем, а модель и данные при этом остаются на серверах организации.

Граница проходит не по технологии, а по тому, кто принимает решение и что происходит при ошибке. Ошибка поиска документа исправляется открытием источника. Ошибка в клиническом выводе может навредить человеку, такие системы требуют отдельного статуса и проверки, которых у нас нет. Услуга описана на странице «ИИ для медицины», здесь только карта допустимого и способ проверки предложений.

Карта задач: что можно, что спорно, что нельзя

Задачи медицинской организации делятся на три группы по цене ошибки. Таблица показывает, как мы относимся к каждой.

Строка «спорно» стоит отдельно, потому что граница тонкая. Поиск абзаца в утверждённом документе похож на работу с библиотекой. Вопрос «что назначить этому пациенту» — уже клинический, и ассистент должен на него отказываться. Это закладывается в правила, а не в надежду на разумность модели, и проверяется тестами.

Почему данные пациентов не должны уходить наружу

Сведения о здоровье относятся к самым чувствительным категориям данных, а врачебная тайна накладывает дополнительные обязанности на организацию. Внешний программный интерфейс облачной модели годится для открытой информации: описание услуг, график приёма. Для документов с фамилиями, диагнозами и номерами карт он чаще всего не подходит по требованиям заказчика: текст покидает организацию, а срок хранения и круг лиц у стороннего сервиса вы не определяете. Сравнение вариантов — в статье «Своя LLM или ChatGPT API».

Поэтому основной вариант один: модель, поиск и журнал работают на серверах организации либо у выбранного вами хостера. Персональные данные граждан России обычно должны храниться на серверах в России. Юридическую сторону (статус оператора, согласия, поручения на обработку) решает юрист заказчика, мы закладываем технические меры, которые можно показать проверяющему: где лежат данные, кто имеет доступ, что записано в журнал.

Что значит «закрытый контур» на практике

Слова «закрытый контур» используют по-разному, поэтому уточните у подрядчика, что именно за ними стоит. Проверьте пять пунктов:

1. Где работает модель. На вашем сервере или в сети без выхода в интернет, а не на стороннем сервисе с «отключённым обучением».
2. Где лежит индекс. Поиск строится из ваших документов и хранится у вас; при удалении документа удаляется и его след в индексе.
3. Что в журнале. Журнал запросов содержит куски документов, поэтому у него те же права и тот же срок хранения, что у самих документов.
4. Кто имеет доступ. Сотрудник видит только те документы, которые открыты ему в исходной системе. Ограничение применяется при отборе фрагментов, до передачи текста модели.
5. Что видит подрядчик. Доступ к реальным данным получают только названные люди и только на время работ. Для настройки чаще хватает обезличенной выборки.

Как устроено такое развёртывание технически, описано в статье «Как развернуть LLM в закрытом контуре».

Что спросить у поставщика вашей МИС до начала проекта

Медицинская информационная система остаётся у своего поставщика, мы не меняем её и не пишем в её базу напрямую. Зато от поставщика зависит, насколько просто будет подключить документный ИИ рядом. Три вопроса стоит задать заранее:

• Что разрешено читать и как. Есть ли выгрузка файлами или интерфейс, и что в них входит. От этого зависит, насколько свежим будет индекс.
• Можно ли записывать результат обратно. Если интерфейса записи нет, распознанные поля кладутся в файл для ручной загрузки, и это нужно учесть в расчёте времени.
• Кто даёт согласие. Некоторые договоры с поставщиком ограничивают подключение сторонних программ, и лучше выяснить это на старте, а не после разработки.

Если поставщик не разрешает ни одного способа, проект сужается до документов вне МИС: регламентов, писем, сканов. Это тоже рабочая часть задачи, просто меньше по объёму.

Где ИИ ошибается и как это закрывается

Ошибки возможны в любом звене, и их цена разная. Организация должна понимать, что система не заменяет проверку человеком.

• Устаревшая редакция. Модель нашла приказ, но отменённый. Закрывается реестром документов со статусом и датами действия: поиск сначала отсекает недействующие.
• Выдуманный ответ. Модель добавила то, чего нет в документе. Закрывается обязательной ссылкой на источник и честным ответом «не нашёл», если подходящего фрагмента нет.
• Неверно прочитанное поле бланка. Особенно опасны фамилия, дата рождения и номер документа: неверная цифра привязывает направление не к тому человеку. Для таких полей порог строже, сомнение уходит регистратору, исходное значение показано рядом.
• Утечка через ответ. Ассистент показывает документ, закрытый для спрашивающего. Закрывается правами при отборе фрагментов и отдельным тестом из-под разных ролей.
• Попытка обойти правила. Фразы вроде «игнорируй инструкции». Разбор угрозы — в статье «Что такое prompt injection».

Порог уверенности подбирается на ваших бланках, а не копируется с чужого примера; подробности в статье «Порог уверенности модели».

Как проверить предложение подрядчика

Хорошее предложение для медицинской организации отличается не презентацией, а тем, что в нём записано до начала работ. Сверьте его с таблицей.

Как измерить качество на документах вашей организации

Приёмка держится на выборке, а не на демонстрации. Набор проверок для типовой системы такой:

• Поиск. Набор вопросов с эталонными ответами и указанием документа. Считается доля вопросов, на которые найдена действующая редакция, и отдельно доля честных «не нашёл» там, где ответа нет.
• Бланки. Доля верно прочитанных полей отдельно для печатных и рукописных, отдельно для идентификационных и служебных. Одна общая цифра прячет самое важное.
• Обращения. Совпадение темы и адресата с разметкой ваших сотрудников.
• Права и утечки. Тест из-под разных ролей: просим закрытый документ, чужие данные, служебные инструкции. Каждая успешная попытка считается ошибкой.

Разметку выборки делают ваши специалисты, потому что понять, какая редакция документа действует, может только организация. Целевые значения согласуются заранее и записываются в критерий приёмки; чужие цифры мы не обещаем. Метод для бланков описан в статье «Как измерить точность распознавания документов».

С чего начать организации, которая только присматривается

Не начинайте с самого сложного. Порядок, который снижает риск:

1. Выберите один поток документов, где время уходит заметно: регламенты, входящие письма или бланки одного вида.
2. Назначьте владельца потока и человека, который будет размечать выборку.
3. Подготовьте обезличенную выборку: для настройки и проверки реальные фамилии чаще всего не нужны.
4. Определите, какие вопросы система обязана отклонять, и запишите это до разработки.
5. Согласуйте со службой безопасности и юристом, где будет стоять сервер и кто получит доступ.

Если документов мало и они в одном месте, ИИ может быть не нужен: хватит порядка в каталоге и обычного поиска. Хороший исполнитель скажет об этом на обследовании.

Что делаем мы и с чего начать

Начинаем с обследования: 200 000 ₽ и 2–3 недели за один-два процесса, 350 000 ₽ и 3–4 недели, если задействованы несколько систем (документооборот, учёт, сканы). На выходе выбранный поток документов, схема размещения, права, критерий приёмки и вилка бюджета. Стоимость вычитается из первого этапа, если продолжаете с нами, а документом можно пользоваться и без нас.

Дальше лёгкий пилот на выборке (150 000–400 000 ₽, 2–8 недель), затем, если нужно, вывод в эксплуатацию. Остановиться можно на любой ступени, исходники лежат в вашем репозитории с первого коммита. Мы не делаем диагностику, не разрабатываем медицинские информационные системы, не подключаемся к государственным системам здравоохранения, не имеем лицензии ФСТЭК и не проводим аттестацию. Цены и сроки — на странице «Тарифы», описание услуги — на странице «ИИ для медицины».