Предиктивная аналитика для бизнеса: прогноз, под который есть решение

Что именно считать событием

«Клиент ушёл» нужно определить числом: не заказывал сто восемьдесят дней, не покупал после закрытия договора, перешёл на другой тариф. От определения зависит всё: модель учится предсказывать то, что записано в данных как событие. Определение пишем вместе с вами и фиксируем в договоре на пилот, потому что смена определения после обучения означает новую модель.

На сколько вперёд

Горизонт прогноза равен времени, за которое вы успеваете среагировать. Если закупка идёт три недели, прогноз на следующую неделю бесполезен. Если менеджер звонит клиенту за неделю до вероятного оттока, а модель замечает его за два дня, польза нулевая, как бы точна она ни была.

Что модель не должна знать

Утечка данных — признак, который появляется только после события. Статус «закрыт» в карточке клиента, дата расторжения, заполненная причина отказа. Модель находит такой признак и показывает отличный результат на проверке, а на новых данных не работает. Мы перебираем признаки и выкидываем те, что появились позже момента прогноза. В обучающей таблице у каждой строки есть дата, на которую «знаем» только то, что было известно тогда.

Что делает человек по прогнозу

Для каждой модели записываем действие и цену двух ошибок: пропустить событие и поднять ложную тревогу. Если ложная тревога стоит звонка менеджера, а пропуск стоит клиента, порог ставим низко. Если ложная тревога блокирует отгрузку, порог ставим высоко и добавляем проверку человеком. Подробнее о пороге — в статье «Порог уверенности модели».

Любая модель проходит один и тот же путь проверки. Он нужен, чтобы вы получили оценку, а не презентацию.

• Разбивка по времени. Обучаем на прошлом и проверяем на периоде, которого модель не видела. Перемешивание строк даёт красивую и бесполезную цифру: модель подглядывает в будущее.
• Простой прогноз как планка. «Столько же, сколько в прошлый раз», «среднее за четыре недели», «тот же день прошлого года». Если сложная модель не выигрывает, берём простую: её легче объяснить и сопровождать.
• Ошибка там, где она дорогая. Средняя ошибка скрывает крупные промахи по важным позициям. Считаем отдельно по группам: крупные клиенты и мелкие, ходовые товары и редкие.
• Смещение. Модель, которая систематически занижает, хуже модели, которая ошибается в обе стороны поровну. Смещение отслеживаем отдельно.
• Согласованность вероятностей. Если модель говорит «вероятность пятьдесят процентов» для группы клиентов, то из этой группы должна уходить примерно половина. Это проверяется, а не принимается на веру.

Результат фиксируется в отчёте: на каком периоде проверяли, с чем сравнивали, где модель проигрывает простому прогнозу. Если проигрывает везде, пилот заканчивается, и вы платите только за проверку.

Если нужен ответ на вопрос «что было» или «где отклонение от плана», хватит отчётов и витрины данных: это работа для порталов и витрин, прогноз не нужен. Если нужен прогноз по конкретному ряду или классу, но задача не требует интерфейса, это модель, описанная на странице разработки модели машинного обучения.

Прогнозы, которым нужны отдельные знания предметной области, выделены в услуги: закупки и запасы, отказы оборудования. Подбор товаров и материалов для конкретного пользователя вынесен на страницу рекомендательных систем. Эта страница — о типовых прогнозах для продаж, клиентов и нагрузки.