Сеть физически не имеет выхода наружу
Так устроены некоторые ведомства, производственные площадки и закрытые сегменты. Облачный интерфейс там недоступен, а сотрудники всё равно хотят быстрее работать с текстом и документами.
Языковая модель без интернета: локальная LLM в изолированной сети
Языковая модель без доступа в интернет работает, если в контур заранее попало всё нужное: веса, пакеты, образы, модель для поиска, шрифты интерфейса. На практике ломается не модель, а мелочи: программа при первом запуске идёт за файлом в публичный каталог, проверяет обновления или грузит скрипт с чужого адреса. Мы ищем такие вызовы до отключения, собираем воспроизводимую поставку и принимаем систему проверкой: кабель наружу вынут, всё работает, в журнале нет попыток выйти.
Обследование контура — от 200 000 ₽, 2–3 неделиПриёмка проверкой отключением, с журналом отказовВеса, образы и скрипты поставки остаются у вас
С чем приходят
Когда нужна модель, которой не требуется интернет
Пилот работал с интернетом, в контуре не заводится
На ноутбуке всё скачивалось по ходу дела. В контуре выясняется, что нужны ещё токенизатор, модель для поиска и десяток пакетов, а полного списка нет.
Служба безопасности просит доказательств
Заявление «наружу ничего не уходит» не принимается без проверки. Нужны схема потоков, правила межсетевого экрана и журнал, в котором видно, что попыток соединения не было.
Непонятно, как жить после запуска
Модель и пакеты надо обновлять, а доступа разработчиков в контур нет. Без регламента переноса система через полгода работает на устаревших версиях.
Уровни изоляции
Четыре варианта «без интернета» и что из них следует
Слово «изолированная» у разных заказчиков значит разное. Вариант определяет, как в контур попадают обновления. О полном составе системы — на странице LLM на своём сервере.
Вариант
Как попадают обновления
Что требуется от заказчика
Где ломается
ВариантПолная изоляциясеть без выхода наружу
Как попадают обновленияТолько перенос на проверенных носителях по регламенту, с проверкой хэшей на входе
Что требуется от заказчикаРегламент переноса, ответственный за приём, сегмент для подготовки поставки
Где ломаетсяПеренос делают редко, версии расходятся, откат невозможен без прежней поставки
ВариантОдносторонний обменшлюз только внутрь
Как попадают обновленияФайлы идут через шлюз в одну сторону, обратно уходят только журналы и метрики по правилам
Что требуется от заказчикаСогласованные типы файлов и размеры, решение о том, что считается журналом
Где ломаетсяЖурнал содержит запросы сотрудников и не должен покидать контур вместе с метриками
ВариантБелый список адресовзеркало вместо интернета
Как попадают обновленияПакеты и образы берутся из внутреннего зеркала, зеркало пополняется из внешнего сегмента
Что требуется от заказчикаВнутреннее зеркало пакетов и реестр образов, правило пополнения
Где ломаетсяЗабытый внешний адрес в настройках: программа ждёт ответа и тормозит при запуске
ВариантОтдельная станцияодин компьютер
Как попадают обновленияВсё ставится с носителя, обновления вручную
Что требуется от заказчикаРегламент установки и ответственный администратор
Где ломаетсяСтанция живёт своей жизнью: версии не совпадают с пилотом, журнала нет
Скрытые вызовы
Что ходит в интернет, пока вы не отключили кабель
Большинство отказов в закрытом контуре вызвано не моделью, а программой вокруг неё, которая по привычке выходит наружу.
Современные пакеты рассчитаны на среду с интернетом и выходят наружу молча. Вот где мы ищем вызовы в первую очередь.
Загрузка файлов при первом запуске
Сервер инференса или библиотека может пойти в публичный каталог моделей за весами, токенизатором или конфигурацией, если файла нет на диске. На ноутбуке это незаметно, в контуре запуск зависает до тайм-аута. Правило: каждый файл лежит в локальном каталоге, а программа не ищет его снаружи.
Сборка, статистика и лицензия
Сборка образов тянет зависимости при каждом запуске, поэтому в контуре она идёт из внутреннего зеркала со списком версий и контрольных сумм. Некоторые программы по умолчанию отправляют обезличенную статистику, проверяют новую версию или сверяют ключ с сервером разработчика: это отключают в конфигурации и подтверждают журналом межсетевого экрана.
Интерфейс, время и сертификаты
Веб-интерфейс может подгружать шрифты и скрипты со стороннего адреса: страница открывается, но не рисуется. Без интернета нет внешней синхронизации времени, а проверка отзыва сертификатов уходит в тайм-аут. Нужны внутренний источник времени и внутренний центр сертификации; расхождение часов ломает журнал и вход пользователей.
Поиск
Таблица поиска: где искать вызов, как находим и чем закрываем
Заготовка для обследования. Реальный список зависит от выбранных программ, поэтому проверяем запуском, а не чтением документации.
Слой
Типичный исходящий вызов
Как находим
Чем закрываем
СлойМодельфайлы весов и токенизатор
Типичный исходящий вызовзагрузка из каталога
Как находимЗапуск на стенде с запретом исходящих соединений и журналом отказов
Чем закрываемЛокальный каталог моделей, программа настроена на работу только с диском
СлойСервер инференсапроверка версии, статистика
Типичный исходящий вызовтелеметрия
Как находимАнализ журнала отказов межсетевого экрана за сутки штатной работы
Чем закрываемОтключение в конфигурации, правило запрета на уровне сети как второй замок
СлойПоиск по документаммодель для векторов, словари
Типичный исходящий вызовразбор текста
Как находимХолодный запуск после очистки кэша на изолированном стенде
Чем закрываемВсе вспомогательные модели и словари вносятся в поставку и в хранилище
СлойИнтерфейсшрифты и скрипты со стороны
Типичный исходящий вызовстраница в браузере
Как находимПросмотр запросов браузера при открытии каждой страницы
Чем закрываемСобственные копии ресурсов, строгий список разрешённых источников
СлойОперационная системавремя, обновления, сертификаты
Типичный исходящий вызовслужебные службы
Как находимСверка списка включённых служб с эталонным образом
Чем закрываемВнутренний источник времени, репозиторий пакетов, центр сертификации
Поставка
Как в контур попадает всё остальное: веса, образы, пакеты
Поставка в закрытый контур — это конвейер из пяти шагов, у каждого свой ответственный и своя проверка. Подробный разбор доставки — в статье «Как развернуть LLM в закрытом контуре».
- Подготовка во внешнем сегменте. Собираем набор: веса, токенизатор, образы, пакеты, документацию. Фиксируем версии и контрольные суммы. Отдельно записываем лицензию весов: не любая модель допускает коммерческое использование.
- Проверка. Сверяем хэши, проверяем формат файлов весов (берём форматы, которые не исполняют код при загрузке), сканируем зависимости по базе известных уязвимостей. База сама должна обновляться по такому же регламенту, иначе проверка устареет.
- Перенос. По схеме вашей службы безопасности: носитель, шлюз или иной канал. Мы описываем содержимое поставки, перенос выполняют ваши сотрудники.
- Приём во внутреннее хранилище. Каталог весов, реестр образов, зеркало пакетов. После приёма поставка не меняется, ссылки на неё идут по версии.
- Тестовый экземпляр, затем рабочий. Новая связка «модель, шаблон запроса, параметры, индекс» проходит контрольный набор вопросов и только потом включается для пользователей. Предыдущая версия остаётся для отката.
Главное здесь воспроизводимость: развёртывание с нуля на чистой машине из поставки идёт без доступа наружу и без разработчика. Иначе обновление через полгода станет экспериментом на боевой системе.
Границы возможностей
Чего модель без интернета не умеет и как это учесть
Не знает свежих событий
Знания модели ограничены датой обучения. Новые регламенты и приказы она узнаёт только через поиск по вашей базе, поэтому строим поиск по документам, а не надеемся на её память.
Не ходит в сеть сама
Поиска в сети и внешних справочников нет. Агентам даём только внутренние инструменты: ваши системы, базу знаний, расчёты. Список инструментов и права записываем заранее.
Обновляется медленнее облачной
Новые версии приходят в контур по регламенту, и это плата за изоляцию. Частоту обновлений обсуждаем на обследовании и закладываем в сопровождение.
Качество определяет ваша выборка
Модель, сильная на чужих тестах, может плохо читать ваши документы. Выбираем по контрольному набору ваших вопросов, как на странице <a href="../ocenka-kachestva-llm-sistem/">оценки качества LLM-систем</a>.
Приёмка
Проверка отключением: что именно показываем при приёмке
Приёмка записывается в протокол до начала работ. Ниже базовый набор, на ваших системах он дополняется.
Проверка
Как проводим
Принимаем, если
Что остаётся в протоколе
ПроверкаРабота без сетивнешний канал отключён
Как проводимСервер отключён от внешней сети, сотрудники выполняют типовые сценарии
Принимаем, еслиВсе сценарии отвечают, ошибок «не найден адрес» нет
Что остаётся в протоколеСписок сценариев, время проверки, результаты
ПроверкаПопытки выйтижурнал межсетевого экрана
Как проводимПравило запрета исходящих включено, штатная работа идёт сутки-двое
Принимаем, еслиЖурнал не содержит попыток соединения от серверов системы или они объяснены
Что остаётся в протоколеВыгрузка журнала и разбор каждой записи
ПроверкаЧистая сборкас нуля
Как проводимРазвёртывание на пустой машине только из поставки и внутреннего хранилища
Принимаем, еслиСистема поднимается без обращения наружу и без помощи разработчика
Что остаётся в протоколеКонтрольные суммы поставки, инструкция, время развёртывания
ПроверкаХолодный старт и откатперезапуск
Как проводимПерезагрузка сервера и откат на предыдущую версию связки
Принимаем, еслиВремя возврата в работу укладывается в оговорённое с вами
Что остаётся в протоколеЗамер времени, описание шагов отката
Что делаем
Из чего состоит работа и сколько она стоит
Цены совпадают с тарифами. Остановиться можно после любой ступени, результат остаётся у вас по акту.
Обследование: одна система в изолированной сети
Схема потоков, список программ и их исходящих вызовов, регламент поставки, требования к оборудованию, вилка бюджета. Вычитается из первого этапа.
200 000 ₽ · 2–3 недели
Обследование: несколько сегментов и систем
Модель связана с документами, каталогом пользователей и учётными системами в разных сегментах: схема обменов.
350 000 ₽ · 3–4 недели
Обследование: контур с категорированием
Для контуров с повышенными требованиями: схема съёма данных и требования к инфраструктуре. Требования определяет заказчик.
500 000 ₽ · 4–6 недель
Пилот на одном сервере
Модель, сервер инференса и поиск по документам на изолированном стенде, проверка отключением, контрольный набор вопросов.
150 000–400 000 ₽ · 2–8 недель
Пилот с интеграцией
Каталог пользователей, права на документы, журнал, соединение с одной учётной системой, регламент обновлений.
400 000–1 200 000 ₽ · 2–3 месяца
Вывод в эксплуатацию
Опытная эксплуатация, приёмка, обучение администраторов, передача поставки. Этапы по 300 000–700 000 ₽.
от 1 500 000 ₽ · от 3 месяцев
Сопровождение
Подготовка очередной поставки, проверка, разбор обращений. Работы сверх пакета — 5 000 ₽ в час.
20 000 / 60 000 / 120 000 ₽ в месяц
Процесс
Как идёт работа
Недели 1–3 — Обследование
Схема сети и потоков, ограничения службы безопасности, список программ системы. Собираем первый перечень исходящих вызовов, определяем порядок переноса.
Параллельно — Контрольный набор
Вы даёте образцы документов и вопросы, на которые знаете ответ. Набор нужен для выбора модели и для проверки после каждого обновления.
Недели 3–6 — Стенд
Собираем систему на стенде, где исходящие соединения запрещены с первого дня. Отказы межсетевого экрана читаем как список недоделок.
Затем — Поставка и перенос
Готовим комплект и инструкцию, ваши сотрудники переносят его в контур и разворачивают по документу, мы наблюдаем и правим документ.
1–2 недели — Приёмка
Проверки из протокола: отключение, журнал отказов, чистая сборка, откат. Подписываете протокол вы.
Дальше — Эксплуатация
Регламент обновлений, сопровождение или ваша команда. Первое обновление проводим вместе, чтобы отработать путь целиком.
Контроль
Что остаётся у вас и чего мы не делаем
Остаётся у вас
- Веса, образы и пакеты поставки с контрольными суммами и списком лицензий.
- Исходники, скрипты развёртывания и конфигурации в вашем репозитории с первого коммита.
- Схема потоков, список проверенных исходящих вызовов и протокол приёмки.
- Регламент подготовки и переноса обновлений: его можно исполнять без нас.
- Право остановиться после обследования, пилота или любого этапа.
Мы этого не делаем
- Не используем облачные модели внутри контура и не отправляем документы во внешние программные интерфейсы.
- Не получаем удалённого доступа в изолированный контур: работаем на стенде и по протоколам, перенос выполняют ваши сотрудники.
- Не проводим аттестацию и не выполняем лицензируемые работы по защите информации: лицензии ФСТЭК у нас нет. Требования к контуру определяет заказчик.
- Не строим и не настраиваем саму сеть, межсетевые экраны и каналы переноса: берём ваши правила и проверяем на них.
- Не берём работы дешевле 150 000 ₽ и не дежурим круглосуточно.
Граница
Модель без интернета, частная LLM и подбор железа: где проходит граница
Эта страница про одно свойство системы: она не зависит от внешней сети. Весь набор (шлюз, права на документы, интерфейс, журнал) — это развёртывание LLM на своём сервере, общий взгляд на услугу даёт страница частных LLM в закрытом контуре.
Оборудование под нагрузку разбираем на странице подбора оборудования для LLM: в изолированной сети сервер за день не заменишь, поэтому расчёт делается до закупки. Скорость улучшает оптимизация инференса.
Если изоляции сети нет, а вопрос в том, что не должно покидать организацию, начните с аудита безопасности ИИ-систем. Для задач без данных ограниченного доступа внешний интерфейс может быть проще; сравнение — в статье «Своя LLM или ChatGPT API».
Инструменты
На чём собираем
Модель и поиск
- Открытые модели в форматах без исполнения кода при загрузке
- Серверы инференса: vLLM, llama.cpp под вашу задачу и ускорители
- PostgreSQL с расширением для векторов или отдельное векторное хранилище
- Модель для векторов и словари — в составе поставки
Поставка и эксплуатация
- Внутреннее зеркало пакетов и реестр образов
- Docker или установка пакетами на Astra Linux, РЕД ОС и другие
- Prometheus и Grafana внутри контура, журнал запросов с правами
- Скрипты воспроизводимого развёртывания в вашем репозитории
Материалы
Материалы по теме
Как запустить языковую модель без интернета
Обновления, проверки и доставка: что подготовить во внешнем сегменте и как принять поставку.
- Состав поставки
- Проверка перед переносом
- Первое обновление
Как развернуть LLM в закрытом контуре
Компоненты, сеть, доставка моделей, права в поиске, чек-лист приёмки.
- Что ломается в компонентах
- Сеть и сегментация
- Приёмка
LLM в изолированном контуре банка
Типовая инженерная задача: железо, права на документы, журнал, перенос моделей без интернета.
- Где ломается
- Что проверяется
Заявка
Опишите сеть, и мы скажем, что придётся переносить
Короткий созвон: как устроена изоляция, какие у вас ограничения по переносу, что уже развёрнуто. По итогам скажем, с какого варианта поставки начинать и в какую вилку это укладывается.
Вопросы
Частые вопросы: локальная llm без интернета
Можно ли запустить языковую модель полностью без интернета?
Да, если всё нужное заранее перенесено в контур: веса, токенизатор, пакеты, образы, модель для поиска, ресурсы интерфейса. Отказы обычно вызваны программами, которые тянут файлы из публичных каталогов. Находим такие вызовы на стенде с запретом исходящих соединений и убираем до переноса.
Как доказать, что наружу ничего не уходит?
Проверкой отключением: внешний канал отключён, правило запрета исходящих включено, сотрудники выполняют типовые сценарии, журнал межсетевого экрана за сутки разобран по записям. Протокол подписываете вы. Это техническое доказательство, а не заключение о соответствии требованиям: аттестацию мы не проводим.
Как обновлять модель и пакеты, если доступа в интернет нет?
Через поставку: набор с версиями и контрольными суммами готовится во внешнем сегменте, ваш сотрудник переносит его по принятому у вас каналу, набор попадает во внутреннее хранилище и включается сначала на тестовом экземпляре. Прежняя версия остаётся для отката.
Нужен ли вам удалённый доступ в наш контур?
Нет. Систему собираем и проверяем на стенде без выхода наружу, а в контуре ваши сотрудники выполняют шаги по инструкции. Присутствие нашего специалиста на площадке — отдельная договорённость.
Насколько модель без интернета хуже облачной?
Оценивать надо на вашей выборке, а не вообще. Облачные модели могут быть сильнее на общих вопросах, но для данных ограниченного доступа они чаще не подходят по требованиям заказчика. Сравнение делаем на контрольном наборе до решения о запуске.
Сколько стоит локальная LLM без интернета?
Обследование: 200 000 ₽ за 2–3 недели при одной системе, 350 000 ₽ при нескольких сегментах, 500 000 ₽ для контура с повышенными требованиями. Затем пилот 150 000–400 000 ₽ или 400 000–1 200 000 ₽ и вывод в эксплуатацию от 1 500 000 ₽ этапами. Обследование вычитается из первого этапа.
Какое оборудование нужно и входит ли оно в цену?
Оборудование в цену не входит, мы его не поставляем. Конфигурацию называем до закупки, по памяти ускорителя и длине контекста, и подтверждаем замером на близкой к вашей нагрузке.
Что остаётся у нас после проекта?
Веса, образы и пакеты поставки, исходники и скрипты развёртывания, схема потоков, протокол приёмки и регламент обновлений. Исходники лежат в вашем репозитории с первого коммита. Открытые компоненты остаются под своими лицензиями, их список входит в документацию.
Вы работаете только в Ростове-на-Дону?
Мы в Ростове-на-Дону, работаем с заказчиками по всей России: удалённо и в вашем контуре. Доступ к системам и обследование согласуем на старте с вашей службой безопасности.
Смежное
Что посмотреть рядом
- Частная LLM в закрытом контуре на ваших серверах
- Развернуть LLM на своём сервере
- Подбор оборудования и сервера для LLM
- Оптимизация инференса LLM
- ИИ-ассистент по документам
- Аудит безопасности ИИ-систем
- Как запустить языковую модель без интернета
- Как развернуть LLM в закрытом контуре
- Своя LLM или ChatGPT API
- Цены и сроки по ступеням