Точность видеоаналитики оценивают так: берут записи вашего объекта, размечают в них события вручную, прогоняют систему и считают, сколько событий она нашла (полнота) и сколько её срабатываний оказались настоящими (точность). Отдельно считают ложные тревоги на камеру в сутки и отдельно разбивают результат по условиям съёмки: ночь, дождь, блики, загораживание. Одно число «точность девяносто с лишним процентов» без выборки, события и условий ничего не говорит.
Эту проверку делают до запуска, потому что на демонстрации система почти всегда выглядит хорошо: кадры подобраны, свет удачный, ракурс идеален. Услуга описана на странице «Видеоаналитика с ИИ», здесь только метод проверки, который можно повторить без нас.
Что считать точностью: событие, а не кадр
Система компьютерного зрения выдаёт рамки на кадрах, но вам нужны события: человек вошёл в зону, касок на участке не хватает, грузовик простоял у ворот дольше нормы. Поэтому измеряют по уровню, который соответствует задаче. Кадровая точность, хорошая на демонстрации, может ничего не говорить о том, замечено ли событие целиком.
| Тип задачи | Что считаем | Метрика | Типичная ловушка |
|---|---|---|---|
| Обнаружение события | вход в зону, нарушение, падение, задымление | Найдено ли событие, сколько настоящих сработало, сколько ложных тревог в сутки | Событие найдено за один кадр, а тревоги нет: считают кадры, а не события |
| Подсчёт | люди, транспорт, изделия, очередь | Расхождение с ручным счётом за интервал, смещение и разброс | Среднее по дню скрывает пики: ошибка в час наплыва важнее |
| Классификация | тип транспорта, наличие каски, тип брака | Точность и полнота по каждому классу, матрица ошибок | Редкий класс теряется в общей цифре |
| Распознавание номера или маркировки | номер вагона, госномер, маркировка на изделии | Доля номеров, прочитанных верно целиком | Один неверный символ портит всю запись, а система считает её годной |
| Отслеживание | путь человека или объекта по нескольким камерам | Сколько раз объект «потерян» или перепутан с другим | Хорошо на одной камере, плохо при переходе между камерами |
Прежде чем что-то измерять, запишите одним предложением, какое событие вам нужно, в какой зоне и в какие часы. Без такого определения двое людей разметят по-разному, и измерять будет нечего. Подробнее о задачах — на странице о компьютерном зрении на производстве.
Две ошибки, которые стоят по-разному
У системы две ошибки. Пропуск — событие было, система его не заметила. Ложная тревога — события не было, система сработала. Считаются они отдельно, потому что стоят по-разному: пропущенное падение человека дороже, чем десять лишних вызовов дежурного, а ложные тревоги каждый час приучают дежурного отключать звук.
- Полнота. Из ста настоящих событий система нашла восемьдесят — полнота ноль целых восемь десятых. Пропущено двадцать.
- Точность срабатываний. Из сотни тревог настоящими оказались шестьдесят. Сорок ложных — дежурному нужно проверить сорок пустых случаев.
- Ложные тревоги в сутки на камеру. Для дежурного важна именно эта величина: он живёт не долями, а числом сигналов за смену.
Эти две величины связаны порогом чувствительности: поднимаете порог — меньше ложных тревог, но больше пропусков. Поэтому в договоре нужны обе цифры сразу, а порог подбирается под вашу цену ошибки; общая логика описана в статье «Порог уверенности модели».
Если событие редкое (раз в неделю), одной ночи записи для проверки мало: в ней события просто не будет. Для редких событий записи либо накапливают дольше, либо добавляют воспроизведённые случаи, если безопасность позволяет их воспроизвести, и честно отмечают, что оценка на них приблизительная.
Эталон: как его готовят и почему он ваш
Эталон — это размеченные события в записях вашего объекта, с которыми сравнивают систему. Без него проверка превращается в просмотр роликов.
- Выборка из реальной съёмки. Не отобранные удачные эпизоды, а непрерывные фрагменты по каждой камере: утро, день, вечер, ночь, разные смены.
- Правила разметки. Письменно: что считать началом и концом события, как разметить частично видимого человека, что делать при загораживании, когда два объекта сливаются.
- Разметка вашими сотрудниками. Только они знают, что считается нарушением. Часть фрагментов размечают двое независимо: расхождение показывает, насколько событие само по себе однозначно.
- Допуск по времени и месту. Заранее договариваются, насколько может отличаться момент срабатывания и положение рамки, чтобы совпадение считалось верным.
- Раздел данных. Часть записей используется для настройки системы, часть остаётся закрытой и применяется только для итоговой проверки. Если проверять на тех же записях, на которых настраивали, цифра будет завышена.
Метод, одинаковый для документов и видео: эталон, раздельная выборка, метрики по классам, разбор ошибок. Для документов он описан в статье «Как измерить точность распознавания документов», а подготовку данных — в статье «Как подготовить данные для ИИ-пилота».
Условия съёмки: срезы, по которым нужно разбить результат
Общая цифра по всем записям сглаживает слабые условия: днём система работает отлично, ночью плохо, и в среднем выходит терпимо. Результат нужно разбить по условиям, которые встречаются на вашем объекте.
| Условие | Что меняется в кадре | Как включить в выборку | Что смотрим |
|---|---|---|---|
| Ночь и сумерки | шум, мало света, засветка фарами | Фрагменты в разное время суток по каждой камере | Рост пропусков и ложных тревог от шума |
| Дождь, снег, туман | капли на стекле, помехи, снижение контраста | Записи в плохую погоду, а не только в ясные дни | Ложные срабатывания на осадки |
| Блики и контровой свет | солнце в объектив, отражения в стекле и воде | Часы, когда солнце стоит низко, и мокрое покрытие | Пропуски в засвеченной зоне |
| Загораживание | люди и техника закрывают друг друга | Периоды пиковой загрузки: смена, наплыв | Потеря объектов и неверный счёт |
| Расстояние и ракурс | объект мал в кадре, виден сверху или сбоку | Все зоны камеры, включая дальние края | Падение качества на дальней границе зоны |
| Сезон и состояние камеры | листва, грязь на объективе, смещение камеры | Повторная проверка через сезон | Постепенное ухудшение без видимой аварии |
Для каждой строки результат фиксируется отдельно. Если условие у вас встречается редко, это тоже записывается: «ночью система не проверялась» честнее, чем общая цифра, куда ночь не попала.
Протокол проверки по шагам
Хорошая проверка воспроизводима: её можно повторить через год на новой версии системы и сравнить результаты.
- Определение события и зоны. Одно письменное определение на каждое событие.
- Сбор записей. По каждой камере, по всем условиям, с отдельным закрытым набором.
- Разметка эталона. По письменным правилам, с контролем расхождения разметчиков.
- Замораживание версии. Версия системы и порог фиксируются до прогона. После закрытого прогона их не подкручивают ради результата.
- Прогон на закрытом наборе. Система обрабатывает записи так, как будет обрабатывать поток.
- Подсчёт. Пропуски, ложные тревоги, ложные тревоги в сутки на камеру, срезы по условиям, задержка от события до сигнала.
- Разбор ошибок. Каждый пропуск и каждая ложная тревога просматриваются глазами: часть ошибок оказывается ошибками разметки, часть — устранимой настройкой, часть — пределом камеры.
- Протокол. Результат, версия, порог, условия и ограничения записываются документом, который подписывают обе стороны.
Предел камеры — важный итог. Если дальнюю зону не видно, никакая модель её не прочтёт: нужен другой ракурс, свет или установка камеры. Об этом лучше узнать на проверке, чем после установки на всех точках.
Проверка на живом потоке: теневой режим
Записи не показывают, как система ведёт себя в работе: сколько ресурсов она потребляет, не отстаёт ли от потока, что делает при пропаже связи с камерой. Поэтому после проверки на записях идёт теневой режим: система работает на живом потоке, но дежурные не обязаны реагировать на её сигналы.
- Сверка с реальностью. Сигналы системы сравнивают с тем, что подтвердили сотрудники на площадке или по ручному журналу.
- Задержка. Время от события до сигнала измеряется на нагрузке, когда включены все камеры, а не на одной.
- Сбои. Проверяют потерю камеры, перезапуск сервера и переполнение диска. Система должна сообщать, что слепа, а не молчать как будто всё спокойно.
- Дрейф. Через сезон и после смены камер проверку повторяют на новом отрезке записей, потому что условия меняются.
Видео с людьми — персональные данные. Хранение записей эталона и результатов проверки согласуется с вашей службой безопасности и юристом заказчика, мы юридических консультаций не даём. Персональные данные граждан России обычно должны храниться на серверах в России, записи для проверки остаются в вашем контуре.
Признаки обещаний, которым нельзя верить
Что насторожит в предложении или демонстрации:
| Признак | Что за ним стоит | Что спросить |
|---|---|---|
| Точность названа одним числом, без выборки | Число получено на подобранных кадрах | На чьих записях, сколько камер, какие условия, сколько событий |
| Проверяли на открытых наборах данных | Чужие кадры и ракурсы, ваши условия не учтены | Будет ли проверка на записях нашего объекта до установки |
| Считали точность по кадрам | Событие может быть найдено или пропущено независимо от кадровых метрик | Какую метрику применяют: по кадру или по событию |
| Нет ложных тревог в сутки на камеру | Эксплуатация дежурным невозможна: он перестанет верить | Сколько ложных тревог на камеру в сутки в ваших условиях |
| Нет разбивки по условиям | Ночь и непогода скрыты общим средним | Результат отдельно по ночи, осадкам, бликам и загораживанию |
| Настройка после закрытой проверки | Подгонка под тест делает цифру неправдой | Была ли версия заморожена до прогона на закрытом наборе |
| Нет описания пределов | Не названо, что система не умеет | При каких условиях система не гарантирует результат |
Общий подход к оценке подрядчика описан в статье «Как выбрать подрядчика на разработку ПО».
Что записать в критерии приёмки
Критерии приёмки пишутся до начала работ, а не после. Хорошая формулировка содержит событие, камеру или группу камер, условия, метрику и способ проверки.
- Полнота обнаружения события «вход в зону без каски» на камерах участка при дневном свете и в сумерках не ниже согласованного значения на закрытом наборе записей.
- Число ложных тревог на камеру в сутки не выше согласованного значения при проверке в теневом режиме в течение согласованного срока.
- Задержка от события до сигнала дежурному не выше согласованного значения при включённых всех камерах.
- Система сообщает о потере камеры и о снижении качества картинки.
- Условия, в которых качество не гарантируется (ночь без подсветки, дальняя зона), перечислены в протоколе.
Конкретные значения называются после обследования и пробной разметки: заранее они были бы выдуманными. Если условие не выполнено, договор должен говорить, что происходит дальше: доработка, смена ракурса или остановка. Когда останавливаться, разобрано в статье «Когда останавливать ИИ-пилот».
Что делаем мы и с чего начать
Начинаем с обследования: 200 000 ₽ и 2–3 недели за одну задачу и одну площадку, 350 000 ₽ и 3–4 недели за несколько задач и систем, 500 000 ₽ и 4–6 недель за производственный контур. На выходе определение события, план съёмки, правила разметки, срезы по условиям и черновик критериев приёмки. Стоимость вычитается из первого этапа, если продолжаете с нами, а документом можно пользоваться и без нас.
Дальше лёгкий пилот на записях (150 000–400 000 ₽, 2–8 недель) с замером на закрытом наборе, затем при необходимости тяжёлый пилот на живом потоке. Мы делаем одну площадку и одну задачу, а не охранную систему целиком, не обещаем распознавание людей по лицам и не дежурим круглосуточно. Исходники лежат в вашем репозитории с первого коммита. Цены и сроки — на странице «Тарифы», описание услуги — на странице «Видеоаналитика с ИИ».
Частые вопросы
Как оценить точность видеоаналитики?
На записях вашего объекта: вручную размечают события, прогоняют систему на закрытом наборе и считают полноту, точность срабатываний и ложные тревоги на камеру в сутки. Результат разбивают по условиям съёмки и фиксируют версию системы и порог до прогона.
Какая точность считается хорошей?
Единого числа нет: оно зависит от цены ошибки. Для задачи, где пропуск опасен, важна полнота, для задачи с дежурным важно число ложных тревог. Значения называются после обследования и пробной разметки и записываются в договор по событию, камере и условию.
Сколько видео нужно для проверки?
Столько, чтобы в выборку попали все условия объекта и достаточно событий каждого вида. Для частых событий хватает нескольких дней записи по камерам, для редких одной недели мало: их накапливают дольше. Объём оценивают на обследовании по пробной разметке.
Почему на демонстрации всё работало, а на объекте нет?
Демонстрация идёт на подобранных кадрах с хорошим светом и ракурсом. На объекте добавляются ночь, осадки, блики, загораживание и грязь на объективе. Поэтому проверка идёт на записях вашего объекта и в теневом режиме на живом потоке.
Что такое теневой режим?
Система работает на живом потоке, но дежурные не обязаны реагировать на её сигналы. Сигналы сверяют с реальными событиями, измеряют задержку и поведение при сбоях. Это позволяет проверить систему без последствий для работы.
Можно ли обойтись открытыми наборами данных?
Для первой оценки возможности задачи — да. Для приёмки нет: чужие кадры, ракурсы и условия не отражают ваш объект. Итоговая проверка проводится на ваших записях.
Работаете ли вы с распознаванием лиц?
Нет. Мы не опознаём людей по лицам. Видеоаналитика, которую мы делаем, работает с событиями и объектами: зона, каска, транспорт, брак, а не с личностью человека.
Сколько стоит проверка точности?
Входит в обследование и лёгкий пилот. Обследование стоит 200 000 ₽, 350 000 ₽ или 500 000 ₽ в зависимости от числа задач и площадок, лёгкий пилот на записях — 150 000–400 000 ₽ за 2–8 недель. Обследование вычитается из первого этапа, если продолжаете с нами.