Видеоаналитика с ИИ: система компьютерного зрения для ваших камер

Видеоаналитика — не одна нейросеть, а цепочка. Ошибка в любом звене выглядит для заказчика одинаково: «система врёт», поэтому разбираем цепочку по звеньям.

1. Получение потока. Камера отдаёт видео по сетевому протоколу, чаще всего RTSP. Сервер подключается к потоку, декодирует кадры и берёт не каждый кадр, а столько, сколько нужно событию: для подсчёта прохожих кадров нужно больше, для проверки, закрыта ли дверь, хватает одного в несколько секунд.
2. Обнаружение. Модель находит на кадре объекты нужных классов: человек, каска, транспорт. Для типовых классов берём готовую предобученную модель и дообучаем на ваших снимках; для специфичных собираем примеры с вашей площадки.
3. Сопровождение. Трекер связывает один и тот же объект между кадрами. Без него один человек, стоящий в зоне минуту, превратится в сотни «вторжений».
4. Правила. Здесь обычная логика, а не нейросеть: «объект класса „человек“ внутри зоны больше десяти секунд в нерабочее время». Правила редактируются без переобучения модели.
5. Событие и реакция. Снимок, короткий фрагмент записи, время и камера уходят дежурному, в мессенджер, в систему учёта или в журнал. Дежурный отмечает «верно» или «ложное», и эти отметки возвращаются в проверочный набор.

Такое разделение важно практически. Если ложных тревог слишком много, чаще всего чинится не модель, а правила: зона, время, минимальная длительность. Если события пропускаются, причина обычно в съёмке: угол, свет, разрешение. Менять модель стоит в последнюю очередь.

Точность видеоаналитики нельзя назвать заранее: она зависит от камеры, угла, света и самого события. Поэтому мы не называем процентов, а договариваемся о способе проверки.

• Выборка с вашей площадки. Берём записи с тех камер, где система будет работать, включая плохие условия: ночь, дождь, смена, пересменка. Выборка делится на часть для настройки и отложенную часть для приёмки; модель отложенную часть не видела.
• Две ошибки считаются отдельно. Пропущенное событие и ложная тревога стоят по-разному. Для охраны периметра пропуск дороже, для оповещения диспетчера ложные тревоги быстро приводят к тому, что их игнорируют.
• Ложные тревоги на камеру в сутки. Для эксплуатации это важнее общей точности: дежурный выдержит несколько ложных сигналов, но не десятки. Допустимое число называет заказчик до начала работ.
• Задержка. От события в кадре до сообщения дежурному. Для проверки допуска допустимы секунды, для отчёта по смене — часы. Требование записывается до выбора оборудования.
• Условия вне выборки. Отдельно проверяем, что происходит при смене освещения, перемещении камеры и грязном объективе: система должна замечать плохую картинку и сообщать об этом, а не молча ошибаться.

Если по записям видно, что событие плохо различимо даже для человека, мы сообщим об этом до пилота и предложим изменить съёмку: поставить камеру ближе, добавить подсветку или отказаться от задачи. Подробный разбор метрик — в статье «Видеоаналитика: как оценить точность до запуска».

Все три задачи используют компьютерное зрение, но отличаются условиями. Контроль изделий на линии — стабильный свет, известная позиция и сплошной поток одинаковых объектов; ему посвящена страница «Компьютерное зрение на производстве», а общий разбор метода — статья «Компьютерное зрение для контроля качества». Видеоаналитика наблюдает за людьми и техникой в меняющейся обстановке; для неё свет, ракурс и редкость событий важнее выбора архитектуры сети. Распознавание документов работает не с видео, а с изображениями страниц: см. распознавание документов.

Съёмка с дронов — отдельный случай. Разбор по линиям электропередачи лежит в разборе типовой задачи, окупаемость обсуждается в статье «Где дроны с ИИ окупаются». Общий порядок внедрения ИИ-проекта описан на странице «Внедрение ИИ».