BI и аналитика для бизнеса: витрины данных, загрузка из 1С и CRM, панели на вашем сервере

BI и аналитика для бизнеса начинаются не с диаграмм, а с вопроса: какую цифру, откуда и как часто вы хотите видеть. Мы строим цепочку целиком: определения показателей, загрузку из 1С, CRM и таблиц, хранилище, витрины и панели. Всё стоит на вашем сервере, у каждой цифры есть источник и время обновления, а расхождение с учётом объяснено, а не скрыто.

Обследование — 200 000 ₽, витрина и панели — от 250 000 ₽Загрузка из 1С, CRM и таблиц подразделенийИсходный код в вашем репозитории с первого коммита

С чем приходят

Когда нужна аналитика, а не ещё один отчёт в Excel

Отчёт собирают руками каждую неделю

Аналитик открывает 1С, CRM и три таблицы, сводит их и присылает файл в пятницу. К понедельнику цифры устарели.

На совещании две цифры выручки

Отдел продаж и бухгалтерия считают по-разному: по отгрузке, по оплате, с возвратами и без. Спор о цифре длится дольше, чем разговор о решении.

BI купили, но им не пользуются

Панели построены на ручных выгрузках, данные устарели, доверия нет, и люди вернулись к таблицам. Чинить надо загрузку и определения, а не цвета диаграмм.

Данные нельзя отдавать наружу

Договорные цены, выручка по клиентам и персональные данные для облачного сервиса чаще всего не подходят по требованиям заказчика. Хранилище и панели стоят на вашем сервере.

Виды

Четыре вида аналитики: кто смотрит, как обновляется и что нужно в данных

Оперативная панель и управленческая отчётность требуют разных гарантий, смешивать их в одном экране не стоит.

Вид аналитики
Кто пользуется
Как часто обновляется
Что должно быть в данных
Вид аналитикиОперативные панелипродажи, склад, отгрузки
Кто пользуетсяРуководители смен, склада и отдела продаж
Как часто обновляетсяРаз в несколько минут или раз в час
Что должно быть в данныхЕдиные справочники, метки времени, понятные статусы
Вид аналитикиУправленческая отчётностьвыручка, маржа, план-факт
Кто пользуетсяДиректор, финансовый руководитель
Как часто обновляетсяРаз в сутки, закрытые периоды фиксируются
Что должно быть в данныхОпределения показателей, зафиксированные периоды, сверка с учётом
Вид аналитикиАнализ по запросуразрезы и гипотезы
Кто пользуетсяАналитик, коммерческий отдел
Как часто обновляетсяПо запросу, на текущем срезе
Что должно быть в данныхДетальные данные и надёжные связи между таблицами
Вид аналитикиПоказатели для внешнихклиент, партнёр, ведомство
Кто пользуетсяКлиент или партнёр через кабинет
Как часто обновляетсяКак договорились
Что должно быть в данныхПрава на разрезы, показ только своих данных, журнал просмотров
Определения

Словарь показателей: что считать выручкой, активным клиентом и «в срок»

Первая работа в BI — не диаграммы, а определения. Без них две панели покажут разные числа, и обе будут считаться верными.

Показатель — это определение, а не поле

Для каждого показателя записываются название, формула, источник, период, владелец и обработка исключений: возвраты, отмены, сторно. Без записи через полгода никто не вспомнит, почему цифра на панели не равна цифре в отчёте 1С.

Три вопроса, на которых расходятся чаще всего

  • Выручка. По дате отгрузки, оплаты или проведения документа, с возвратами или без них, в каких ценах. У каждого ответа свой владелец и своя причина.
  • Активный клиент. Был заказ за последние девяносто дней или любое обращение. Меняется определение, меняется воронка и все отчёты по ней.
  • «В срок». Относительно даты, обещанной клиенту при заказе, или первой даты, попавшей в систему. Вторая почти всегда выглядит лучше.

Определения утверждает человек, который отвечает за показатель, а не разработчик. Утверждённый словарь лежит рядом с кодом расчёта и меняется только с записью причины. Типовой разбор — «Витрина данных для руководителя ведомства».

Слои

Слои данных: от выгрузки до панели

Слои нужны, чтобы ошибку можно было найти. Если панель читает прямо из источника, любое расхождение — расследование.

Слой
Что хранится
Как меняется
Как проверяем
СлойСырой слойкопия источников
Что хранитсяДанные как отдал источник, со временем загрузки
Как меняетсяТолько загрузкой, вручную не правится
Как проверяемЧисло строк и контрольные суммы относительно источника
СлойОчищенный слойединые справочники
Что хранитсяДубли объединены, статусы приведены к одному набору, типы данных исправлены
Как меняетсяПравилами в коде, с журналом изменений
Как проверяемВыборочная сверка записей и список необъединённых дублей
СлойВитринатаблицы под вопросы
Что хранитсяГотовые показатели по разрезам: день, клиент, товар, подразделение
Как меняетсяРасчёты как описанные запросы под контролем версий
Как проверяемСверка контрольных показателей с расчётом владельца данных
СлойПанельэкраны и отчёты
Что хранитсяТолько чтение витрины, права по разрезам
Как меняетсяБез вмешательства в данные
Как проверяемПрогон прав и метка времени обновления рядом с цифрой
Загрузка

Загрузка данных (ETL): три способа и что происходит при сбое

Загрузка — самая хрупкая часть аналитики. Панель можно перерисовать за день, а потерянные или удвоенные данные находят через месяц.

Как данные попадают в хранилище

  • Полная выгрузка по расписанию. Проще всего и годится для небольших справочников. Для больших таблиц долго и нагружает источник.
  • По изменению. Загружается только то, что изменилось с прошлого раза. Нужно поле даты изменения или журнал обмена в источнике, и 1С его даёт не всегда.
  • По событию. Источник сам сообщает об изменении через очередь. Данные свежие, но требует доработки со стороны источника.

Что должно происходить при сбое

Повторный запуск не удваивает данные: загрузка задумана так, чтобы результат не зависел от числа запусков. Каждая загрузка пишет в журнал время, число строк и итог. Панель показывает время последней успешной загрузки, а при остановке ответственный получает сообщение. Если в источнике переименовали поле или обновили конфигурацию 1С, загрузка останавливается с ошибкой, а не молча теряет столбец.

О том, как получать данные из 1С разными способами, — на странице интеграции 1С.

Источники

Откуда берутся данные и что в них обычно искажено

Заготовка для разбора: на ваших системах строки будут другими, вопросы те же.

Источник
Как получаем
Что обычно искажено
Что делаем
Источник1С и ERPпродажи, склад, закупки
Как получаемOData, HTTP-сервисы, файл; прямое чтение базы только по согласованию с владельцем
Что обычно искаженоДокументы не проведены, справочники дублируются, периоды закрывают задним числом
Что делаемБерём проведённые документы, дубли сводим в очищенном слое, сдвиг периодов фиксируем
ИсточникCRMсделки и обращения
Как получаемAPI с отдельным ключом и минимальными правами
Что обычно искаженоСтадии меняют произвольно, поля заполнены частично
Что делаемХраним историю стадий, показываем долю заполненных полей
ИсточникТаблицы подразделенийручные Excel
Как получаемПриём через форму или папку с проверкой формата
Что обычно искаженоФормат меняется, значения правят руками, итоги не сходятся со строками
Что делаемШаблон с проверками, отклонение при несовпадении формата
ИсточникСайт и магазинзаказы и посещения
Как получаемВыгрузка заказов и события счётчиков
Что обычно искаженоСтатусы заказов на сайте и в учёте расходятся
Что делаемСводим по номеру заказа, расхождения выносим в отдельный список
Проверка

Как проверяем, что цифрам можно верить

Сверка контрольных показателей

Набор показателей сверяется с расчётом владельца данных. Расхождение разбирается письменно: ошибка загрузки, разное определение или ошибка в источнике.

Время обновления рядом с цифрой

Видно, на какой момент построена панель. Если загрузка остановилась, появляется предупреждение, а не молча устаревшее число.

Расхождения объясняем

Если аналитика не совпадает с отчётом учёта, причина записана: другое определение, незакрытый период, возвраты.

Проверки на загрузке

Пустые поля, отрицательные количества, даты из будущего и резкие скачки объёма попадают в отдельный список ошибок.

Инструменты

Чем показывать: готовый BI-инструмент или свой интерфейс

Витрина данных не привязана к одному инструменту панелей. Для типового управленческого набора годятся программы с открытым исходным кодом вроде Metabase или Apache Superset, которые ставятся на ваш сервер, для временных рядов и технических показателей часто используют Grafana. Если у вас уже есть коммерческая платформа, подключаем витрину к ней. Мы лицензий не продаём.

Свой интерфейс нужен, когда показатели встроены в кабинет клиента или партнёра, права зависят от организации и договора, а экран должен выглядеть как часть вашего продукта. Тогда это уже личный кабинет или портал с витриной внутри.

Выбор делается по пяти вопросам: кто меняет отчёты сам, нужны ли права по разрезам, сколько пользователей, нужно ли встраивание, можно ли ставить инструмент в вашем контуре. Ответы получаем на обследовании.

Что делаем

Из чего состоит работа и сколько она стоит

Цены — по тарифам, нижняя граница для витрины данных совпадает со страницей порталов. Цена называется по итогам обследования, остановиться можно после любой ступени.

Обследование: один-два источника и один круг вопросов

Какие решения принимаются по цифрам, откуда данные, какие определения спорны. На выходе словарь показателей, схема загрузки и вилка бюджета. Вычитается из первого этапа, если продолжаете с нами.

200 000 ₽ · 2–3 недели

Обследование: несколько систем

1С, CRM, склад, сайт и таблицы вместе: матрица источников истины, схема слоёв и загрузки.

350 000 ₽ · 3–4 недели

Обследование: производство или контур

Данные с оборудования и из учётных систем, требования к инфраструктуре и доступу.

500 000 ₽ · 4–6 недель

Витрина и панели для одного подразделения

Загрузка из одной-двух систем, хранилище, показатели и панели с ролями. Нижняя граница по услуге.

от 250 000 ₽ · разработка от 4 недель

Пилот: один круг вопросов на ваших данных

Показатели одного направления с протоколом сверки.

150 000–400 000 ₽ · 2–8 недель

Аналитика по нескольким направлениям

Несколько источников, словарь показателей, витрины, панели, права по разрезам, интеграции. Цену называем после обследования.

400 000–1 200 000 ₽ · 2–3 месяца

Вывод в эксплуатацию

Опытная эксплуатация, обучение пользователей, регламент загрузок, передача исходников и инструкций.

от 1 500 000 ₽ этапами по 300 000–700 000 ₽ · от 3 месяцев

Сопровождение

Мониторинг загрузок, обращения, разбор сбоев, доработки показателей. Сверх пакета 5 000 ₽ в час.

20 000 / 60 000 / 120 000 ₽ в месяц
Процесс

Как идёт работа

2–4 недели — Обследование: вопросы и определения

Какие решения принимаются по цифрам, кто за них отвечает, какие определения спорны. Реестр источников, их формат и периодичность.

Перед разработкой — Первая панель на образцах

Прототип на выгрузке образцов, чтобы руководитель увидел, что получит, до построения загрузки.

От 4 недель — Загрузка, хранилище, витрина

Загрузка по расписанию, слои, расчёты, журнал. Работаем в вашем репозитории, раз в две недели показываем рабочую версию на тестовом стенде.

1–2 недели — Сверка

Контрольные показатели сверяются с расчётом владельца, расхождения разбираются письменно. Прогон прав по разрезам из-под каждой роли.

Неделя — Запуск для одного подразделения

Один круг пользователей, ручная схема остаётся рядом. Смотрим журнал загрузок и обращения.

Дальше — расширение или сопровождение

Новые источники и показатели по этапам с отдельной приёмкой. Объём работ в месяц записан в договоре.

Цена

Что двигает цену внутри вилки

Число и возраст источников

У каждой системы свой доступ, свой владелец и свои ограничения. Таблица без формата стоит больше, чем API.

Спорные определения

Если выручку считают тремя способами, согласование определений занимает недели, и это самая частая причина смещения срока.

Свежесть данных

Раз в сутки загрузка простая. Раз в несколько минут нужны очередь и контроль нагрузки на источник.

Права и разрезы

Одна роль и общий набор экранов — одно, права по подразделениям, клиентам и договорам — другое. Работа растёт по числу правил и их проверке.

Контроль

Что остаётся у вас и чего мы не делаем

Остаётся у вас

  • Исходный код в вашем репозитории с первого коммита.
  • Хранилище, загрузки и панели на ваших серверах, развёртывание описано.
  • Словарь показателей, схема слоёв и таблица источников.
  • Расчёты как описанные запросы: их можно проверить и передать.
  • Право остановиться после любой ступени: сделанное остаётся у вас по акту.

Мы этого не делаем

  • Не ведём бухгалтерский и налоговый учёт и не готовим регламентированную отчётность.
  • Не заменяем источники и не исправляем в них данные: расхождения показываем, решение остаётся за владельцем данных.
  • Не продаём лицензии на BI-платформы и не настраиваем чужие облачные сервисы.
  • Не внедряем корпоративное хранилище данных на всю компанию: берём один круг вопросов.
  • Не проводим аттестацию, лицензии ФСТЭК у нас нет; не дежурим круглосуточно и не берём работы дешевле 150 000 ₽.
Граница

BI, предиктивная аналитика, отчёты 1С и портал: что вы заказываете

Аналитика отвечает на вопрос «что было и почему». Если нужен прогноз («что будет»), это предиктивная аналитика: ей тоже нужна витрина, но прежде всего целевая переменная, история и проверка на отложенной выборке.

Отчёты внутри 1С хорошо справляются, пока вопросы касаются одной базы. Когда нужно сопоставить учёт, CRM и таблицы или показать данные людям без доступа в 1С, нужна отдельная витрина. Она читает 1С и ничего в ней не меняет.

Если показатели видит клиент, партнёр или подчинённая организация, а не только ваши руководители, это портал или кабинет, и главным становятся права: чужие цифры видеть нельзя. Чем BI отличается от таблиц и когда его вообще стоит заводить, разобрано в статье «BI или Excel».

Инструменты

На чём собираем

Хранилище и загрузка
  • PostgreSQL как основное хранилище; ClickHouse, если объём и скорость запросов этого требуют
  • Python для загрузки, планировщик заданий (cron, Airflow или совместимый), расчёты на SQL
  • Очередь RabbitMQ при загрузке по событию
  • Журнал загрузок и проверки качества данных
Панели и развёртывание
  • Metabase, Apache Superset или Grafana, либо свой интерфейс на React или Vue
  • Единый вход через ваш каталог (LDAP, Active Directory), права по разрезам
  • Docker, Nginx, GitLab CI
  • Копии хранилища и проверка восстановления
Материалы

Материалы по теме

Статья

BI или Excel: когда нужна аналитическая система

Признаки, по которым таблиц уже мало, и промежуточные шаги, если BI пока рано.

  • Признаки
  • Промежуточные шаги
  • Когда не нужен BI
Читать →
Статья

Предиктивная аналитика: как не ошибиться с данными и проверкой

Как отличить прогноз от отчёта и что проверять до запуска. Пригодится, если после витрины нужен прогноз.

  • Целевая переменная
  • Утечка данных
  • Проверка
Читать →
Статья

Как считать стоимость владения ИТ-системой

Что стоит денег после запуска: хранилище, загрузки, поддержка и обновления.

  • Расходы после запуска
  • Поддержка
  • Обновления
Читать →
Заявка

Разберём, какие цифры вам нужны и откуда их брать

Сорок минут созвона: какие решения принимаются по цифрам, какие системы есть и где сейчас собирают отчёт. По итогам скажем, с чего начинать и в какую вилку это укладывается.

Спасибо, заявка отправлена. Ответим в течение рабочего дня.

Не удалось отправить. Напишите в телеграм или позвоните.

Вопросы

Частые вопросы: BI и аналитику

Сколько стоит BI и аналитика для бизнеса?

Начинается с обследования: 200 000 ₽ для одного-двух источников, 350 000 ₽ для нескольких систем, 500 000 ₽ для производства или контура. Витрина и панели для одного подразделения стоят от 250 000 ₽, пилот 150 000–400 000 ₽, аналитика по нескольким направлениям 400 000–1 200 000 ₽. Обследование вычитается из первого этапа, если продолжаете с нами.

Чем BI отличается от отчётов в 1С?

Отчёты 1С строятся по одной базе и по её определениям. BI собирает данные нескольких систем в хранилище, приводит определения к одному виду и показывает людям без доступа в 1С. Отчёты 1С остаются.

Можно ли подключить 1С, CRM и таблицы подразделений?

Да. С 1С работаем через OData, HTTP-сервисы или файлы, с CRM через API, таблицы принимаем через форму или папку с проверкой формата. Если у системы нет ни интерфейса, ни выгрузки, скажем об этом до договора.

Где хранятся данные и уходят ли они наружу?

В хранилище на ваших серверах или у выбранного вами хостера, панели читают только его. Для данных ограниченного доступа облачные сервисы аналитики чаще всего не подходят по требованиям заказчика. Персональные данные граждан России обычно должны храниться на серверах в России.

Как понять, что цифрам на панели можно верить?

Контрольные показатели сверяются с расчётом владельца данных до запуска и после каждого изменения. Рядом с цифрой видно время обновления, расхождения с учётом записаны, а остановка загрузки заметна на панели.

Нужно ли выбирать конкретную BI-платформу до начала?

Нет, выбор делается на обследовании по ответам на пять вопросов. Если у вас уже есть платформа, подключаем витрину к ней.

Как устроено сопровождение?

Ежемесячно: 20 000, 60 000 или 120 000 ₽ в месяц, до 4, 12 или 25 часов. Часы уходят на мониторинг загрузок, обращения и новые показатели. Сверх пакета 5 000 ₽ в час, по согласованию до начала.

Вы работаете только в Ростове-на-Дону?

Мы в Ростове-на-Дону, работаем с заказчиками по всей России: удалённо и в вашем контуре. Доступ к системам и обследование согласуем на старте с вашей службой безопасности.