Берём чужой код
Пилот, написанный другой командой или внутри вашей — обычный случай. Первое, что делаем, — разбираемся, что там уже есть, а не предлагаем переписать с нуля.
Пилот работает, а в эксплуатацию не идёт
Находим, что именно мешает: данные из боевых систем, качество на живом потоке, нагрузка, доступы или отсутствие правил. Убираем блокеры и доводим до промышленной эксплуатации — с чужим кодом тоже, это обычный случай.
Аудит пилота — от 200 000 ₽, 1–2 неделиЗачитывается в доработкуРаботаем по NDA
На чём держится
Четыре условия, на которых мы за это беремся
Логотипов и «80% пилотов после нашего аудита запускаются» здесь не будет: такая цифра измеряет, кого мы взяли в работу, а не то, что мы умеем.
Сначала диагноз, потом смета
Аудит заканчивается списком блокеров с оценкой каждого. Может выясниться, что мешает не модель, а отсутствие письменного критерия приёмки — и это дешевле починить.
Честно скажем, если проще переписать
Иногда доработка стоит дороже разработки заново. Мы называем оба варианта с ценой, а решение остаётся за вами.
Всё в вашем контуре
Работаем на вашем оборудовании, с вашими данными. Копий у себя не оставляем, код и модель передаются по акту.
Зачем это нужно
Почему пилоты останавливаются
Шесть причин, которые встречаются чаще всего. Обратите внимание: только одна из них про качество модели.
Пилот жил на выгрузке
Модель работала на выгруженном файле, а в бою данные приходят грязнее, позже и в другом формате. Первое же подключение к живой системе ломает качество.
Качество мерили не на том
На отобранных примерах точность высокая, на реальном потоке — нет. Контрольной выборки, которую не трогали, не существует.
Не выдерживает нагрузку
На одном пользователе отвечает за секунду, на тридцати — за минуту. Видеокарта занята одним запросом, очереди нет.
Никто не отвечает за качество
Модель тихо деградирует: реальность изменилась, а метрику никто не смотрит. Замечают через полгода по жалобам.
Люди не пользуются
Не обучены, не доверяют, или система стоит сбоку от их рабочего процесса и требует лишних действий.
Не решили вопрос с доступом
Служба безопасности не согласовала, ролевой модели нет, журнала действий нет. Формально запускать нечего.
Проверьте себя
Десять признаков, что пилот не готов к эксплуатации
Пройдитесь по списку до того, как звать подрядчика. Если отмечаете больше трёх пунктов — дело почти наверняка не в модели.
Со стороны техники
- Модель работает на файле-выгрузке, а не на данных из боевой системы.
- Нет контрольной выборки, которую не использовали при обучении.
- Метрика качества нигде не записана, порог приёмки не согласован.
- Ответ на тридцати пользователях никто не замерял.
- Нет способа откатиться на предыдущую версию модели за минуты.
Со стороны людей и правил
- Не назван человек, который отвечает за качество после запуска.
- Не описано, что делает система сама, а что отдаёт оператору.
- Нет письменного критерия, по которому работу принимают.
- Служба безопасности не смотрела архитектуру и доступы.
- Сотрудники, которые будут работать с системой, её ещё не видели.
Как устроено
Где застревают на пути к продуктиву
Пять переходов между прототипом и рабочей системой. Красным отмечены те, на которых останавливаются чаще всего.
Что делаем
Восемь направлений работ
Что именно понадобится — становится ясно после аудита. Список блокеров вы получаете на руки с оценкой каждого.
Аудит пилота
Разбираем код, модель, данные и инфраструктуру. На выходе список блокеров с оценкой: что чинится за неделю, а что требует переработки.
1–2 недели
Подключение к боевым системам
Убираем ручные выгрузки: система получает данные из 1С, CRM или ERP напрямую, с обработкой опозданий и пропусков.
2–5 недель
Доработка качества
Переобучение на данных из боя, работа с редкими случаями, честный замер на контрольной выборке, которую не трогали.
2–6 недель
Производительность и нагрузка
Очередь запросов, батчинг, кэш, подбор конфигурации железа под реальное число пользователей.
1–4 недели
Мониторинг качества
Отслеживаем не только доступность, но и распределение входных данных и долю спорных ответов. Отклонение приходит сигналом.
1–3 недели
Границы и права
Что система делает сама, что отдаёт человеку, кто что видит. Ролевая модель и журнал действий.
1–3 недели
Регламент и обучение
Инструкции по ролям, порядок действий при ошибке модели, обучение на ваших задачах.
1–2 недели
Сопровождение после запуска
Первые недели самые опасные: разбираем инциденты, дообучаем, доводим до устойчивой работы.
от 20 000 ₽/мес
Процесс
Как идёт работа
Каждый этап закрывается актом. Остановиться можно после аудита — список блокеров останется у вас и с ним можно идти к любому подрядчику.
Недели 1–2 — Диагностика
Читаем код, смотрим данные и инфраструктуру, разговариваем с теми, кто пилот делал и кто им будет пользоваться. На выходе — список блокеров с ценой каждого.
Неделя 2–3 — План перехода
Согласуем целевую метрику и порог приёмки, архитектуру, интеграции и очерёдность. Здесь же честно говорим, если дешевле переписать.
Недели 3–9 — Доработка
Подключаем боевые данные, чиним качество и нагрузку, настраиваем права и журнал. Показываем сборку каждую неделю.
Недели 9–11 — Работа на живом потоке
Ограниченная группа пользователей, реальные данные, сбор замечаний. Спорные случаи уходят человеку.
Запуск и стабилизация
Приёмка по протоколу, регламент, обучение. Первые недели после запуска — на связи ежедневно.
Контроль
Что остаётся у вас и чего мы не делаем
Остаётся у вас
- Исходный код, промпты, конфигурации и веса дообученных моделей — в вашем репозитории.
- Контрольная выборка и протокол испытаний: на чём меряли и что получилось.
- Инструкция по развёртыванию, проверенная вашим администратором на чистом стенде.
- Регламент эксплуатации: кто отвечает за качество и что делать при ошибке модели.
- Настроенный мониторинг с порогами, по которым видно деградацию.
Мы этого не делаем
- Не переписываем с нуля молча. Если доработка дороже разработки заново, называем оба варианта с ценой.
- Не обещаем поднять точность до конкретной цифры до того, как увидели данные.
- Не отправляем ваши данные во внешние сервисы для дообучения без вашего решения.
- Не берёмся, если исходников нет и восстановить их невозможно: доработать чёрный ящик нельзя.
Разборы задач
Как это устроено внутри
Первый разбор — ровно про эту услугу: почему пилот показали и на этом всё.
ИИ-пилот, который не выходит из демонстрации
Технически работает, но в эксплуатацию не идёт: не сходятся ответственность, данные и критерии приёмки.
- Нет письменного критерия
- Пилот жил на выгрузке
Ассистент по внутренней базе знаний
Регламенты и инструкции лежат в сетевых папках, ответ ищут по двадцать минут, устаревшая редакция хуже отсутствия.
- Ответ обязан ссылаться на документ
- Порог уверенности до запуска
Дефекты ЛЭП на аэроснимках
Пилот показывал хорошее качество на отобранных кадрах, на потоке облёта результат оказался другим.
- Дефект занимает десятки пикселей
- Пропуск дороже ложной тревоги
Портфолио
Всё портфолио — 312 работ с фильтром по отрасли и технологии
Работы, доведённые до эксплуатации
Заказчиков не называем — договоры это запрещают. Зато по каждой работе написано, что изменилось у людей после сдачи и чем это проверяется на приёмке.
Заявка
Разберём, что мешает вашему пилоту
Сорок минут созвона: что за пилот, кто его делал, на каких данных работает и что мешает запустить. По итогам назовём объём аудита, цену и срок. Если проще переписать — скажем и это.
Вопросы
Частые вопросы
Пилот писала другая команда. Возьмётесь?
Да, это обычный случай. Нужны исходники и доступ к данным, на которых он работал. Первое, что делаем, — разбираемся, что уже сделано; предлагать переписать с нуля, не прочитав чужой код, было бы нечестно.
Сколько занимает вывод в продуктив?
Диагностика — одна-две недели. Доработка — от двух до девяти недель в зависимости от того, что именно мешает. Плюс две недели работы на живом потоке до приёмки.
Нужен ли доступ к коду и данным?
Да, иначе диагностика превращается в гадание. Доступ просим по минимуму и на время работ, NDA подписываем до его получения. Копий у себя не оставляем.
Как вы гарантируете, что модель не деградирует после запуска?
Гарантировать это нельзя — реальность меняется. Можно сделать так, чтобы деградацию было видно: контрольная выборка, регулярный замер на ней, отслеживание распределения входных данных и доли спорных ответов, сигнал при выходе за порог.
Можно выводить поэтапно, а не сразу на всех?
Так и нужно. Сначала ограниченная группа на живых данных, потом расширение. Это дешевле и позволяет остановиться, если качество не устроило.
Сколько это стоит?
Аудит пилота — от 200 000 ₽ с фиксированной ценой и сроком, вычитается из следующего этапа. Доработка — от 400 000 ₽, точная сумма считается по списку блокеров, который вы получаете на руки после аудита.