Когда останавливать пилот ИИ-проекта

Немалая доля ИИ-пилотов не доходит до продуктивной эксплуатации — не потому что решение плохое, а потому что момент принятия решения о нём никогда явно не наступает.

Почему пилоты зависают

Пилот запускают с формулировкой «посмотрим, как пойдёт» — без письменного критерия, что считать успехом. Дальше происходит следующее: результат неплохой, но не однозначный; команда, которая его тестировала, занята другими задачами; решение о масштабировании откладывается «пока не разберёмся»; через несколько месяцев про пилот вспоминают, только если кто-то спросит.

Что должно быть решено до запуска пилота, а не после

Метрика успеха в цифрах. Не «стало удобнее», а конкретное измеримое значение и способ его посчитать.
Срок принятия решения. Дата, к которой пилот обязан завершиться выводом — «продолжаем» или «останавливаем», а не бессрочное тестирование.
Кто принимает решение. Конкретный человек с полномочиями сказать «да» или «нет», а не размытая коллективная ответственность.
Что считается провалом. Отдельно от метрики успеха — явный список условий, при которых пилот однозначно останавливают.

Признаки, что пора остановить

Метрика после разумного срока тестирования не сдвигается, несмотря на доработки.
Люди, которые должны пользоваться системой, находят способы её обходить.
Выясняется структурная проблема — данных нет, интеграция невозможна без переделки соседней системы — которую нельзя решить в рамках пилота.
Ответственный за решение не может внятно сформулировать, что изменится, если продолжить.

Признаки, что пора масштабировать

Метрика достигнута и держится стабильно, а не разово.
Пользователи просят продолжать работу с системой, а не терпят её.
Понятно, что именно изменится при увеличении масштаба — объём данных, число пользователей, нагрузка — и есть план на эти изменения.
Стоимость перехода в продуктив посчитана, а не «разберёмся по ходу».

Остановленный вовремя пилот — не провал, а нормальный результат честной проверки. Хуже, когда пилот не останавливают и не масштабируют, а он просто тихо перестаёт кого-то интересовать — тогда потрачено время и деньги, а вывод так и не сделан.

Что делать, если пилот уже завис

Вернуться к исходной задаче и заново сформулировать критерий — прямо сейчас, задним числом. Собрать те данные, которые есть, сравнить с формулировкой успеха. Если данных для оценки нет вообще — это тоже вывод: пилот был поставлен без возможности его оценить, и в следующий раз это нужно исправить на старте, а не в процессе.

Вывод

Пилот — это не демонстрация возможностей, а эксперимент с заранее известным способом прочитать результат. Если критерий, срок и ответственный не зафиксированы письменно до запуска, пилот с высокой вероятностью не закончится ни успехом, ни явным провалом — он просто зависнет.

Подробный разбор типичных причин зависания — ИИ-пилот, который не выходит из демонстрации. Услуга вывода в продуктив — на отдельной странице.