Распознавание изображений на заказ: классификация снимков и поиск дефектов по фото

Проверка пригодности

До модели снимок проходит простые проверки: размыт ли он, не пересвечен ли, не повторяет ли ранее загруженный. Негодный снимок возвращается отправителю с причиной, пока он ещё может переснять. Это дешевле, чем разбирать потом «ошибку» на фотографии, где ничего не видно.

Ответ модели и степень уверенности

Модель возвращает класс, степень уверенности и, для обнаружения, координаты. Порог подбирается по цене ошибки: пропущенное повреждение и лишняя проверка стоят по-разному, см. статью про порог уверенности. Он записывается в приёмку заранее.

Автоматическое решение, подсказка или очередь

• Подсказка. Система показывает результат, а решение принимает человек. С этого режима начинаем почти всегда.
• Очередь неуверенных. Уверенные случаи закрываются сами, сомнительные идут эксперту. Размер очереди измеряем на пилоте.
• Автоматическое действие. Только там, где ошибка обратима, а проверка на отложенной выборке пройдена.

Журнал и обратная связь

Каждый ответ хранится вместе с версией модели, порогом и исходным снимком. Исправления эксперта возвращаются в набор данных и дают дообучение на реальных ошибках. Без журнала не разобрать спорный случай и не понять, почему качество просело.

Что может быть на фотографии, кроме предмета съёмки

В кадр попадают лица, номера автомобилей, документы на столе, а в файле остаётся место съёмки. Заранее решаем, что хранится и кто видит исходник. Людей по лицам мы не опознаём. Юридические вопросы согласий и сроков хранения решает юрист заказчика.

Классификатор «есть дефект или нет» подходит, когда решение принимается по снимку целиком: вернуть партию на проверку, отправить фото инженеру. Он не говорит, где дефект, поэтому эксперт ищет его сам. Разметка простая, ошибки легко считать.

Детектор возвращает рамку и тип дефекта. Он нужен, когда важно место (опора, участок, деталь), когда находок на снимке несколько и когда результат уходит в заявку на ремонт. Размечать дольше, а классы нужно описать письменно: иначе разметчики спорят о границах, и модель учится на противоречиях.

Поиск отклонений от нормы нужен, когда примеров дефектов почти нет или виды неизвестны. Система учится на нормальных снимках и отмечает всё непохожее. Платой становятся ложные срабатывания на непривычный свет и фон, поэтому режим годится как фильтр перед человеком, а не как окончательный контролёр.

Три условия, без которых мы не беремся

• Дефект виден на снимке. Если опытный эксперт не отличает его на хорошей фотографии, рассчитывать на нейросеть, как правило, не стоит. Скрытые под поверхностью повреждения на обычном снимке не видны.
• Есть письменное определение класса. «Недопустимая царапина» описана так, чтобы два человека согласились на одних и тех же снимках.
• Есть примеры. Для редкого класса сначала собираем примеры, потом обсуждаем модель. Подробности в статье «Как подготовить данные для распознавания изображений».

Фотографии объектов, товаров, повреждений и снимки с обходов — это эта страница. Поток с камер и события во времени (человек вошёл в зону, остановился транспорт) — видеоаналитика. Текст на сканах и фотографиях документов — распознавание документов, а извлечение полей со сверкой описано на странице интеллектуальной обработки документов.

Поломки по данным оборудования — предиктивное обслуживание, модели по таблицам и рядам — разработка моделей машинного обучения. Контроль модели после запуска, когда меняются сезон, камеры и поставщики, — MLOps.