Перед запуском
Ассистент или агент готов к выпуску, служба безопасности спрашивает, что проверялось. Самопроверка по чек-листу есть, но нужен независимый взгляд и отчёт.
Аудит безопасности ИИ-системы: LLM, RAG и агенты
Проверяем ИИ-систему целиком: языковую модель, поиск по документам (RAG) и агентов с действиями. Ищем prompt injection, утечки данных, обход прав, злоупотребление инструментами, небезопасную обработку вывода и слабые места в происхождении модели. Работаем на вашем стенде, по каждой находке даём воспроизведение, критичность и способ исправления. Это инженерная проверка, а не аттестация и не лицензируемая работа.
Аудит — от 200 000 ₽, 2–3 неделиПроверка на вашем стенде, отчёт остаётся у васАттестацию и лицензируемые работы не проводим
Зачем это нужно
Когда нужен аудит безопасности ИИ-системы
Подключили документы
Поиск по документам заработал, а вот права проверялись на одном тестовом пользователе. Нужна проверка, что закрытое остаётся закрытым при разных формулировках.
Появились действия
Ассистент превратился в агента: он пишет в учёт, отправляет письма, ходит в сервисы. Каждое действие расширяет последствия ошибки или атаки.
Сменили модель или промпт
Ответы изменились, а проверка защиты не повторялась. Новая версия модели ведёт себя иначе на тех же атаках.
Нужен взгляд на всю цепочку
Модель, шлюз, поиск, интерфейс, журнал, зависимости. Слабое звено чаще не в модели, а на стыке компонентов.
Систему сделал подрядчик
Нужно независимо оценить, что он оставил: права, ключи, журналы, происхождение модели и зависимости.
Что проверяем
Угроза, способ проверки, содержимое отчёта и исправление
Охват шире, чем у проверки одной модели: вместе с моделью проверяются поиск, права, инструменты, интерфейс и цепочка поставки. Критерий «пройдено» по каждой строке записываем до начала работ.
Угроза
Как проверяем
Что в отчёте
Что чинить
УгрозаPrompt injection прямаяинструкции в сообщении пользователя
Как проверяемНабор сценариев: подмена роли, просьба раскрыть инструкции, обёртки и переформулировки; каждый прогоняем несколько раз
Что в отчётеСценарий, ответы, доля срабатываний, что именно удалось получить или сделать
Что чинитьОграничения вне модели: права, подтверждения, проверка вывода; промпт — вспомогательная мера
УгрозаPrompt injection косвеннаяинструкции в документах, письмах, страницах
Как проверяемТестовые документы и письма со скрытыми инструкциями; прослеживаем путь от источника до действия
Что в отчётеПуть атаки: источник, место, где инструкция попала в контекст, итоговое действие
Что чинитьОграничить, кто пополняет базу; урезать действия при чтении внешних данных; подтверждения
УгрозаУтечка данных через ответы и журналыответы, история, кэш, журнал запросов
Как проверяемПробуем получить чужое разными формулировками; смотрим, что хранится в журналах, истории и кэше и кто это читает
Что в отчётеЧто и по какому пути утекло; кто имеет доступ к журналу; срок хранения
Что чинитьПрава при поиске, ограничение доступа к журналам, срок хранения, маскирование
УгрозаОбход прав в RAGдоступ к документам
Как проверяемДва тестовых пользователя с разными правами; изменения групп; устаревшие права; общий кэш
Что в отчётеКакие документы и фрагменты оказались доступны, при каких условиях
Что чинитьПрава в метаданных фрагментов, фильтрация при выборке, кэш с учётом прав
УгрозаЗлоупотребление инструментами агентадействия, права, лимиты
Как проверяемПросим сделать лишнее; цепочка через внешний документ; смотрим права учётной записи агента, лимиты, подтверждения
Что в отчётеКакие действия выполнены без подтверждения, какие права избыточны
Что чинитьМинимальные права, подтверждения с содержанием, лимиты, аварийный выключатель
УгрозаНебезопасная обработка выводаинтерфейс, запросы, команды
Как проверяемВывод со специальной разметкой, внешние картинки и ссылки, генерация запросов к базе, передача в другие системы
Что в отчётеГде вывод попадает в исполняемый контекст; что удалось выполнить или передать
Что чинитьЭкранирование, запрет внешних загрузок, параметры запросов, проверка по схеме
УгрозаЗависимости и происхождение моделивеса, пакеты, образы
Как проверяемРеестр моделей: источник, хэш, лицензия, формат весов; версии пакетов; сканирование образов; исходящий трафик серверов
Что в отчётеЧто не подтверждено, что устарело, какие связи ведут наружу
Что чинитьРеестр, внутреннее зеркало, фиксация версий, закрытый исходящий трафик
УгрозаОтказ в обслуживании по ресурсувидеопамять, очередь, время
Как проверяемОчень длинные запросы, параллельная нагрузка от одного пользователя, зацикливание агента
Что в отчётеПорог, при котором система перестаёт отвечать; кто мешает остальным
Что чинитьЛимиты, таймауты, ограниченная очередь, приоритеты, предел шагов агента
Что делаем
Три уровня аудита и сколько они стоят
Первые два уровня выполняются как обследование: цена фиксированная и вычитается из следующего этапа, если вы продолжаете с нами. Исправления идут отдельно.
Уровень 1. Обзор конфигурации и архитектуры
Изучаем схему системы, потоки данных, права, настройки шлюза и сервера инференса, реестр моделей, журналы, порядок обновления. Строим модель угроз и определяем, что проверять на стенде. Работающую систему не атакуем.
входит в аудит
Уровень 2. Проверка на тестовом стенде
Запускаем набор атак на копию системы в вашем контуре: инъекции, обход прав, злоупотребление инструментами, обработка вывода, нагрузка. Каждую находку воспроизводим и описываем.
входит в аудит
Стоимость первых двух уровней
200 000 ₽ — одна система: ассистент, поиск по документам или агент с небольшим набором действий, 2–3 недели. 350 000 ₽ — несколько систем или агент с широким набором действий, 3–4 недели.
200 000 ₽ или 350 000 ₽
Исправления
Правки конфигурации и прав — как лёгкий пилот. Перестройка архитектуры (права в поиске, шлюз, подтверждения для агента, закрытие исходящего трафика) идёт этапами с отдельной приёмкой. Можем исправлять сами либо передать отчёт вашей команде.
150 000 – 400 000 ₽ или этапами по 300 000 – 700 000 ₽
Уровень 3. Повторная проверка после исправлений
Прогоняем тот же набор на исправленной версии, подтверждаем закрытие находок и фиксируем остаточные риски. Объём зависит от числа находок, поэтому цену и срок называем по отчёту первой проверки: в рамках вилки пилота или по ставке 5 000 ₽ в час сверх пакета, с согласованием до начала.
по отчёту
Плановые проверки в сопровождении
Если система развивается, набор сценариев запускается перед релизами; условия фиксируем в пакете часов.
20 000 ₽, 60 000 ₽ или 120 000 ₽ в месяц
Охват
Что проверяем сверх базового для вашего типа системы
Базовый набор — инъекции, раскрытие инструкций, обработка вывода и лимиты. Дальше охват зависит от того, что в системе есть.
Тип системы
Что добавляется к проверке
Что нужно от вас
Типовое слабое место
Тип системыАссистент без документов и действийтолько модель и интерфейс
Что добавляется к проверкеРаскрытие инструкций, обход ограничений, лимиты, обработка вывода
Что нужно от васДоступ к стенду и копии конфигурации
Типовое слабое местоЗащита держится на системном промпте
Тип системыПоиск по документам (RAG)модель плюс индекс
Что добавляется к проверкеПрава в поиске, общий кэш, косвенные инъекции через документы, содержимое журналов
Что нужно от васТестовые пользователи с разными правами, копия индекса или тестовые документы
Типовое слабое местоПрава проверяются после ответа, а не при поиске
Тип системыАгент с инструментамимодель плюс действия
Что добавляется к проверкеПрава учётной записи агента, подтверждения, лимиты, цепочки через внешние данные
Что нужно от васПеречень инструментов, тестовая среда без боевых данных
Типовое слабое местоШирокая учётная запись и подтверждение без содержания
Тип системыСвоя модель в контуресвой сервер инференса
Что добавляется к проверкеПроисхождение и формат весов, сегментация сети, исходящий трафик, порядок обновления
Что нужно от васРеестр моделей, схема сети, доступ к конфигурации серверов
Типовое слабое местоСервер инференса доступен напрямую по общему ключу
Тип системыВнешний API вместо своей моделиоблачный сервис
Что добавляется к проверкеКакие данные уходят, где хранятся ключи, настройки на вашей стороне; сам внешний сервис не проверяем
Что нужно от васОписание потоков данных и ключей
Типовое слабое местоДанные уходят наружу без решения службы безопасности
Отчёт
Из чего состоит отчёт и зачем каждая часть
Отчёт читают двое: инженеры, которым нужно воспроизвести и исправить, и руководитель, которому нужно решение о запуске. Примеры в таблице условные, без реальных данных.
Часть отчёта
Что в ней
Зачем
Условный пример
Часть отчётаКритичностьпо каждой находке
Что в нейОценка по последствиям и простоте воспроизведения; критерии описаны в отчёте
ЗачемЧтобы расставить порядок исправлений и решить, блокирует ли находка запуск
Условный примерПользователь без прав получает пересказ закрытого документа: высокая, блокирует запуск
Часть отчётаВоспроизведениешаги и входные данные
Что в нейВерсия системы и модели, шаги, тестовый документ или запрос, сколько попыток и сколько срабатываний
ЗачемЧтобы ваша команда могла повторить находку и проверить исправление
Условный примерЗапрос в чате по теме документа, результат: фрагмент закрытого текста в ответе
Часть отчётаЗатронутые данные и действиячто можно прочитать или сделать
Что в нейПеречень данных или действий, доступных через находку
ЗачемЧтобы оценить последствия, в том числе для персональных данных
Условный примерАгент отправляет письмо внешнему адресату без подтверждения
Часть отчётаПричинагде в архитектуре проблема
Что в нейКомпонент: права в поиске, шлюз, инструмент, интерфейс, конфигурация
ЗачемЧтобы чинить причину, а не симптом
Условный примерФильтр по правам применён к ответу, а не к выборке
Часть отчётаИсправлениечто менять и как проверить
Что в нейРекомендация, владелец, способ проверки и тест для вашего набора атак
ЗачемЧтобы повторная проверка была быстрой и повторяемой
Условный примерФильтровать по группам пользователя при выборке, добавить тест двух пользователей
Часть отчётаГраницы проверкичто не проверялось
Что в нейСписок того, что оставили за рамками и почему
ЗачемЧтобы отчёт не читали как заключение о безопасности всей системы
Условный примерИнфраструктура вне ИИ-контура не проверялась
Процесс
Как идёт работа
Неделя 1 — рамка и обзор
Согласуем границы: какие системы, какой стенд, какие данные. Записываем критерии «пройдено» и «провал» по каждому классу проверок. Согласуем со службой безопасности порядок доступа. Изучаем архитектуру и строим модель угроз.
Недели 1–2 — проверка на стенде
Прогоняем набор сценариев, повторяем каждый несколько раз, фиксируем результаты. Воспроизводим и описываем каждую находку. Критичные находки сообщаем сразу, не дожидаясь отчёта.
Недели 2–3 — отчёт и разбор
Передаём отчёт, показываем воспроизведение вашей команде, согласуем порядок исправлений и то, что можно запускать до их закрытия. Набор сценариев, по которому шла проверка, передаём вам.
После — исправления и повторная проверка
По вашему выбору: исправляете сами, либо мы делаем правки этапами. После исправлений прогоняем набор повторно и фиксируем остаточные риски.
Границы
Что остаётся у вас и чего мы не делаем
Остаётся у вас
- Отчёт, воспроизведение и тестовый набор атак, по которому шла проверка.
- Проверка идёт на вашем стенде: копию базы и записи разговоров с моделью наружу не выносим.
- Ваши документы и запросы не используются для обучения и не попадают в наши выборки.
- Все доступы остаются у вас, мы работаем в вашем контуре.
- Право остановиться после любой ступени.
Мы этого не делаем
- Не выполняем лицензируемые работы по защите информации, не проводим аттестацию и оценку соответствия: лицензии ФСТЭК у нас нет.
- Не занимаемся категорированием объектов КИИ.
- Не проверяем инфраструктуру за пределами ИИ-контура: сеть предприятия, серверы, учётные записи домена. Это отдельная работа лицензиата или вашей службы безопасности.
- Не проверяем сторонние облачные сервисы моделей: проверяем вашу часть и потоки данных.
- Не атакуем боевую систему без согласованного плана и не используем социальную инженерию.
- Не берёмся за работы дешевле 150 000 ₽.
Как выбрать
Чем аудит безопасности ИИ отличается от Red Team и экспресс AI-аудита
Red Team LLM — это атаки на модель и продукт: инъекции, обход ограничений, утечка системных инструкций. Он подходит, когда нужно быстро проверить устойчивость самой модели и добавить фильтры.
Экспресс AI-аудит — это бизнес-аудит применимости ИИ: где он принесёт пользу, какие данные и риски. К безопасности готовой системы он не относится.
Аудит безопасности ИИ-системы шире Red Team. Он охватывает всю цепочку: права и данные, поиск, инструменты агента, обработку вывода, журналы, происхождение модели и зависимости. Если систему ещё не собрали, начните с аудита применимости, а затем с самопроверки по чек-листу. Сама услуга описана на странице «Защита и аудит ИИ».
Подход
Как и чем проверяем
Ориентиры
- Перечень рисков OWASP для приложений на LLM как отправная точка
- Модель угроз под вашу архитектуру
- Критерии «пройдено» и «провал», записанные до начала
Инструменты
- Собственные сценарии под вашу систему
- Открытые сканеры для LLM (например, garak, PyRIT, promptfoo) как вспомогательные
- Скрипты прогона и сравнения версий
- Стенд в вашем контуре
Что смотрим в конфигурации
- Шлюз: ключи, роли, лимиты
- Сервер инференса: сетевой доступ, формат весов
- Индекс: права в метаданных
- Инструменты агента: права и подтверждения
Что нужно от вас
- Доступ к стенду или копии системы
- Схема архитектуры и конфигурации
- Тестовые пользователи с разными правами
- Ответственный со стороны службы безопасности
Материалы по теме
Что прочитать до начала проверки
Чек-лист безопасности LLM-системы перед запуском
Девять групп проверок с критериями провала для самопроверки вашей командой.
- 37 пунктов
- Как проверить и что считается провалом
Что такое prompt injection
Прямая и косвенная инъекции, почему одной настройки промпта недостаточно.
- Механика атаки
- Меры защиты
Безопасность нейросетей
Общая картина угроз для ИИ-систем в компании.
- Классы атак
- Что защищать
Как развернуть LLM в закрытом контуре
Сеть, доставка моделей, права в поиске, журнал и приёмка.
- Что в компонентах ломается
- Чек-лист приёмки
Заявка
Разберём вашу систему
Короткий созвон: что за система, есть ли документы и действия агента, где работает, какие требования у службы безопасности.
Вопросы
Частые вопросы: аудит безопасности ии
Что входит в аудит безопасности ИИ-системы?
Обзор конфигурации и архитектуры, проверка на тестовом стенде по набору сценариев и отчёт с критичностью, воспроизведением и исправлениями каждой находки. После исправлений возможна повторная проверка. Охват: модель, поиск и права, инструменты агента, обработка вывода, журналы, происхождение модели и зависимости.
Чем он отличается от Red Team LLM и экспресс AI-аудита?
Red Team проверяет устойчивость модели к атакам. Экспресс AI-аудит оценивает, где ИИ принесёт пользу. Этот аудит шире Red Team: проверяет всю цепочку системы, включая права на данные и действия агента. Различия подробно описаны на странице выше.
Сколько стоит аудит безопасности ИИ?
Для одной системы — 200 000 ₽, для нескольких систем или агента с широким набором действий — 350 000 ₽. Исправления идут отдельно: от 150 000 до 400 000 ₽ за небольшие правки или этапами по 300 000–700 000 ₽ за перестройку. Цену повторной проверки называем по отчёту.
Сколько длится аудит?
Две-три недели для одной системы и три-четыре недели для нескольких. Срок зависит от того, как быстро выдан доступ к стенду и конфигурациям.
Нужно ли проверять боевую систему?
Нет. Проверка идёт на тестовом стенде или копии системы в вашем контуре. Боевые данные не нужны: для проверки прав используем тестовых пользователей и тестовые документы. Работа на боевой системе возможна только по отдельному согласованному плану.
Что нужно от нас для начала?
Доступ к стенду или копии, схема архитектуры и конфигурации, перечень инструментов агента, тестовые пользователи с разными правами и ответственный со стороны службы безопасности. Без доступа к конфигурациям возможна проверка снаружи, но охват меньше, и в отчёте мы прямо пишем, что не проверялось.
Вы проверяете сервисы OpenAI и других облачных моделей?
Нет. Мы проверяем вашу часть: шлюз, поиск, права, инструменты, обработку вывода и то, какие данные уходят во внешний сервис. Сам внешний сервис в аудит не входит.
Это аттестация или проверка по требованиям ФСТЭК?
Нет. Это инженерная проверка. Лицензии ФСТЭК у нас нет, аттестацию, оценку соответствия и категорирование КИИ мы не выполняем. Если они вам нужны, их проводит лицензиат; наш отчёт можно приложить как материал о проверенных свойствах ИИ-части.
Значит ли отчёт, что система безопасна?
Нет. Отчёт описывает то, что проверено, и то, что найдено, и отдельно перечисляет границы проверки. Новые версии модели, промпта и индекса меняют поведение, поэтому сценарии нужно прогонять заново. Набор, по которому шла проверка, мы передаём вам.
Вы работаете только в Ростове-на-Дону?
Мы в Ростове-на-Дону, работаем с заказчиками по всей России: удалённо и в вашем контуре. Доступ к системам и обследование согласуем на старте с вашей службой безопасности.
Смежное