Первым берите задачу, по которой за две-восемь недель можно получить честный ответ «работает или нет» на вашей собственной выборке. У неё должен быть владелец со стороны бизнеса, дешёвая и заметная ошибка и записанное заранее условие, при котором вы останавливаетесь. Если эти три вещи есть, пилот закончится решением. Если нет, он закончится презентацией.
Пилоты застревают не из-за модели. Они застревают, потому что задачу выбрали по красивой идее, а не по тому, можно ли её проверить и кому она нужна. Ниже порядок отбора: что считать признаками застревания, какие вопросы задавать кандидату, какие типы задач подходят для начала, как записать критерий успеха и когда остановиться. Общий план на несколько задач вперёд описан на странице «Разработка стратегии ИИ для бизнеса», здесь речь только о первом шаге.
Что значит застрять в пилоте: три формы
Слово «застрять» описывает три разные ситуации. Лечатся они по-разному, поэтому полезно понять, какая у вас, ещё до выбора первой задачи.
| Форма | Как выглядит | Причина | Что записать на старте |
|---|---|---|---|
| Вечный пилот | Работа идёт месяцами, результат «почти готов», решения о продолжении нет | Нет критерия, при котором пилот считается законченным, и нет срока | Метрика, порог, дата решения, кто принимает |
| Пилот-витрина | Демонстрация всех устроила, в работу не вошла | Пилот шёл на подготовленных примерах и без владельца, которому результат нужен каждый день | Выборка из реального потока и человек, у которого есть показатель |
| Пилот без пути в систему | Модель отвечает хорошо, но ответ приходится переносить руками | Не продумано, куда попадает результат: нет интеграции, прав и порядка при ошибке | Точка входа в процесс, режим работы и ручной порядок при сбое |
Причины подробнее разобраны в материале «Почему ИИ-пилоты не доходят до продуктива». Общее у всех трёх форм одно: ключевые решения оставлены на потом. Выбор первой задачи как раз и есть момент, когда их дешевле всего принять.
Шесть вопросов к кандидату: если на два ответ «нет», задачу откладываем
Идей на старте много, и задавать вопросы нужно каждой. Вопросы касаются фактов, которые можно проверить за несколько дней, а не мнений. Один критичный минус отсеивает задачу, даже если остальное выглядит хорошо.
| Вопрос | Ответ «да» значит | Ответ «нет» значит | Как проверить за неделю |
|---|---|---|---|
| Операция повторяется часто? | Есть материал для проверки и эффект накопится | Выборку собирать долго, эффект не заметен | Посчитать по журналам или почте, сколько случаев было за последние недели |
| Дешёвая ли ошибка? | Её заметит человек на следующем шаге и исправит | Ошибка уходит клиенту или в отчётность | Спросить, кто и когда замечает неверный результат сегодня |
| Есть ли данные и эталон? | Эксперты сходятся во мнении, пример можно проверить | Правильный ответ зависит от настроения или контекста | Дать двум экспертам по двадцать случаев и сравнить ответы |
| Назван ли владелец? | Есть человек, чей показатель изменится и кто выделит время на проверку | Задачу «хочет вся компания», принимать результат некому | Назвать должность и получить согласие на время |
| Измерим ли результат? | Базовое значение берётся из журналов | Измерять придётся после запуска | Получить текущее время обработки или долю правок за прошлый месяц |
| Понятен ли вход и выход? | Известно, откуда приходят данные и куда уходит ответ | Данные в трёх системах, ответ переписывается руками | Нарисовать путь одного случая от поступления до закрытия |
Вопрос о данных стоит отдельно: если эксперты не могут договориться, каким должен быть правильный ответ, оценивать нечего. Подготовку данных и проверку выборки описывает материал «Как подготовить данные для ИИ-пилота».
Какие задачи подходят для начала, а какие нет
Типы задач различаются по цене ошибки и по тому, насколько просто проверить результат. Таблица ниже отражает общий порядок, конкретная раскладка зависит от ваших данных.
| Тип задачи | Подходит для начала? | Почему | Где обычно ломается |
|---|---|---|---|
| Ассистент по внутренним регламентам | Да | Ответ проверяется по источнику, ошибка видна сразу, данные внутри компании | Документы устарели, нет владельца базы, права доступа смешаны |
| Разбор входящих писем и заявок с маршрутом | Да | Результат проверяет диспетчер, поток повторяется, эталон собирается из архива | Много нетипичных случаев, вложения в странных форматах |
| Извлечение полей из документов | Да, с проверкой оператором | Правильный ответ однозначен, качество считается по полям | Сканы низкого качества, новые поставщики с другими формами |
| Черновик ответа клиенту | С оговорками | Полезно, если ответ уходит только после проверки оператором | Оператор перестаёт читать и нажимает «отправить» механически |
| Агент, который сам пишет в учёт | Нет | Нужны права, откат, повтор без дубля, журнал; ошибка дорогая | Первая же ошибка в боевых данных останавливает проект |
| Ответы клиентам без проверки | Нет | Цена ошибки несёт репутационные и юридические последствия | Один неудачный ответ закрывает проект по решению руководства |
| Прогноз на истории с пробелами | Нет | Модель обучится на шуме, а проверка на реальных данных будет невозможной | Качество хорошее на исторической выборке и плохое в работе |
| «ИИ для всей компании» | Нет | Нет задачи, владельца и измеримого результата | Растёт список ожиданий, а не результат |
Задачи из верхней части таблицы объединяет одно: человек остаётся в контуре. Он проверяет ответ, и это даёт два результата. Ошибка не доходит до клиента, а эксперт оставляет метки, из которых вырастает оценка качества. Что такое человек в контуре и как выбрать его место в процессе, разобрано в статье «Как встроить ИИ в бизнес-процесс».
Отбор за один день: порядок работы
Для первого выбора хватит одной встречи с владельцами направлений и человека, знающего данные. Порядок такой:
- Соберите список. Десять-пятнадцать идей от всех подразделений, каждая формулировкой «операция, кто выполняет, где данные», без слова «ИИ» в названии.
- Отсеките по критичным минусам. Задачи с дорогой ошибкой без проверки человеком, без владельца или без данных уходят из списка.
- Задайте шесть вопросов оставшимся. Ответ записывается фактом: число случаев, должность владельца, имя источника.
- Выберите две-три задачи, а не одну. Оценка на образцах показывает, какая из них даёт лучшее качество на вашем материале. Остальные остаются в списке.
- Проверьте на небольшой выборке. Два-три десятка реальных случаев и один эксперт для разметки показывают, работает ли идея в принципе, до всякого пилота.
- Запишите критерий и дату решения. Дальше шаги пилота меняться не должны.
Одну встречу легко превратить в обсуждение «что нам нужнее». Не поддавайтесь: на этой встрече вопрос не «что нужнее», а «что мы сможем проверить быстрее всего».
Критерий успеха и условие остановки: что записать до первого кода
Критерий записывается так, чтобы любой сотрудник, не видевший проекта, мог сказать, достигнут он или нет. Минимум из шести пунктов:
- Метрика. Доля заявок, разобранных без правки; время обработки одного документа; число обращений, дошедших до оператора.
- Базовое значение. Как сейчас, по журналам за прошлый период. Без него «стало лучше» нечем подтвердить.
- Порог. Значение, при котором пилот считается пройденным. Его назначает владелец задачи до начала работы, а не после того, как стали видны результаты.
- Выборка. Случайные реальные случаи за несколько недель, которые не использовались при настройке системы.
- Срок. Дата, к которой принимается решение. Для лёгкого пилота это от двух до восьми недель.
- Условие остановки. Что делаем, если порог не достигнут: меняем задачу, дорабатываем данные или останавливаемся. Каждый из трёх вариантов допустим, недопустим четвёртый: «продолжаем ещё месяц и посмотрим».
Остановка пилота не значит неудачу проекта. Остановка по записанному условию на второй неделе стоит дешевле, чем незаписанное продолжение на пятом месяце. Как отличить зависший пилот от пилота, которому нужно ещё немного времени, описано в статье «Когда останавливать пилот ИИ-проекта».
Бюджет: сколько стоит ошибиться на первом проекте
Лёгкий пилот стоит 150 000–400 000 ₽ и занимает две-восемь недель, тяжёлый пилот с интеграцией боевых систем стоит 400 000–1 200 000 ₽ и занимает два-три месяца. Вывод в эксплуатацию начинается от 1 500 000 ₽ и идёт этапами по 300 000–700 000 ₽. Все суммы совпадают со страницей «Тарифы».
Первая задача должна укладываться в лёгкий пилот. Если для проверки идеи нужна интеграция с боевыми системами, значит, идея слишком крупна для первой, и стоит найти её уменьшенный вариант: чтение вместо записи, одна группа заявок вместо всех, подсказка вместо действия.
Смотрите не только на цену пилота, но и на ориентировочную вилку следующих ступеней. Пилот на 200 000 ₽, за которым идёт эксплуатация на порядок дороже, оправдан только если вы уже представляете, что получите в конце. Об экономике владения и расчёте эффекта написано в статье «Как посчитать ROI от внедрения ИИ».
Как выбрать задачу, из которой вырастет рабочая система
Хороший пилот отвечает на вопрос «работает ли это», но продуктив требует ответа на другие вопросы. Их удобно задать при выборе, чтобы потом не оказаться у стены.
- Кто будет пользоваться через полгода. Не комитет и не рабочая группа, а те, кто выполняет операцию каждый день.
- Куда попадёт результат. Если ответ нужно переносить руками, добавьте интеграцию в первую задачу или выберите другую.
- Что будет при ошибке. Порядок обработки, ручной режим и откат продумываются на пилоте, а не после первого случая.
- Кто следит за качеством. Качество меняется с данными, и без владельца оно ухудшится незаметно.
- Где работает модель. Для данных ограниченного доступа облачные модели чаще всего не подходят по требованиям заказчика, поэтому решение о контуре принимается до пилота.
Общие компоненты первой задачи пригодятся второй и третьей. Это загрузка данных, учёт прав, журнал и оценка качества. Правильно выбранная первая задача строит основу, которой будет пользоваться весь портфель, поэтому её выбирают с оглядкой на соседние.
Признаки, что вы уже застряли, и что с этим делать
Пилот может быть уже запущен. Если хотя бы один признак из списка узнаваем, остановитесь на неделю и ответьте на вопросы справа.
| Признак | Что за ним стоит | Что сделать |
|---|---|---|
| Срок сдвигался больше одного раза без новых данных | Критерия остановки нет | Назначить дату решения и порог, которые утверждает владелец |
| Результаты показывают только на подготовленных примерах | Проверка не на реальном потоке | Собрать случайную выборку за последние недели |
| Владелец говорит «мне интересно», но не может назвать показатель | Пилот никому не нужен каждый день | Найти того, чей показатель изменится, или остановить |
| Ответ приходится переносить в систему руками | Нет пути в процесс | Сузить задачу до чтения либо добавить интеграцию |
| Спорят о том, что считать правильным ответом | Нет эталона | Разметить выборку двумя экспертами и сравнить |
Если после этих шагов путь вперёд неясен, возможно, нужно не продолжать пилот, а возвращаться к выбору задачи. Диагностика застрявшего проекта описана на странице «Вывод ИИ-пилота в продуктив».
Что делаем мы и с чего начать
Начинаем с обследования: 200 000 ₽ и 2–3 недели за один-два процесса, 350 000 ₽ и 3–4 недели при нескольких системах, 500 000 ₽ и 4–6 недель для производства или контура. На выходе список задач с оценкой по шести вопросам, выбранная первая задача, критерий успеха, условие остановки и вилка бюджета по следующим ступеням. Стоимость вычитается из первого этапа, если вы продолжаете с нами, а документом можно пользоваться и без нас.
Дальше лёгкий пилот на вашей выборке, затем при необходимости тяжёлый пилот и вывод в эксплуатацию. Остановиться можно после любой ступени. Мы делаем один контур или один участок, а не внедрение системы целиком, не дежурим круглосуточно и держим исходники в вашем репозитории с первого коммита. Цены и сроки — на странице «Тарифы», описание работы — на странице «Разработка стратегии ИИ для бизнеса». Если нужен взгляд со стороны на отдельное решение, посмотрите консалтинг по ИИ.
Частые вопросы
Какую задачу выбрать первой для ИИ?
Повторяющуюся, с дешёвой ошибкой, с понятными данными и эталоном, с владельцем от бизнеса и измеримым результатом. Хорошие кандидаты: ассистент по регламентам, разбор входящих заявок, извлечение полей из документов с проверкой оператором.
Сколько времени должен занимать первый пилот?
Лёгкий пилот занимает 2–8 недель. Если для проверки идеи нужно дольше, задача, скорее всего, слишком крупна для первой: уменьшите её до чтения вместо записи или одной группы случаев.
Сколько стоит первый ИИ-проект?
Обследование стоит 200 000 ₽ за один-два процесса, лёгкий пилот 150 000–400 000 ₽. Тяжёлый пилот 400 000–1 200 000 ₽, вывод в эксплуатацию от 1 500 000 ₽ этапами по 300 000–700 000 ₽. Обследование вычитается из первого этапа, если вы продолжаете с нами.
Нужна ли стратегия до первого проекта?
Не всегда. Если задача одна и понятна, достаточно обследования на один процесс. Отдельная стратегия нужна, когда у разных подразделений есть свои идеи и общие данные или общая инфраструктура.
Что делать, если эксперты спорят, какой ответ правильный?
Остановить выбор этой задачи, пока не будет согласованного правила. Если эксперты расходятся, модель не научится и проверить её нельзя. Иногда помогает сузить задачу до случаев, где мнения совпадают.
Можно ли начать с ChatGPT или другой облачной модели?
Для открытых и обезличенных данных можно проверить идею быстро через внешний интерфейс. Для данных ограниченного доступа облачные модели чаще всего не подходят по требованиям заказчика, и тогда пилот сразу строится на модели в вашем контуре.
Как понять, что пилот пора остановить?
Если порог, записанный до начала, не достигнут к дате решения, а причина не в данных, которые можно быстро исправить. Допустимы три выхода: меняем задачу, дорабатываем данные или останавливаемся. Продолжение без нового условия недопустимо.
Кто должен участвовать в выборе первой задачи?
Владельцы направлений, человек, знающий данные, представитель службы безопасности и тот, кто выполняет операцию руками. Решение принимает владелец показателя, а не комитет.