Нейросеть уже в камерах видеонаблюдения Тантос!

В Тантос появилось несколько камер с поддержкой AI ISP. Это камеры TSi-Pe47FN, TSi-Ee47FN, TSi-Px867FN и TSi-Ex867FN.

Что такое AI ISP? Это AI Image Signal Processing (Процессор обработки изображения с искусственным интеллектом). Это технология, которая сочетает в себе алгоритмы искусственного интеллекта (ИИ) с методами обработки сигналов изображений (ISP). AI ISP повышает качество изображения, применяя алгоритмы искусственного интеллекта к «сырым» видеоданным, снятым камерой.

Для улучшения качества ночного изображения камер видеонаблюдения применяют сенсоры с большими размерами (1/1.8’’) и объективы с большой светосилой F1.0, но даже этого бывает недостаточно для качественного изображения в сложных условиях.

На рисунке выше показано сравнение камеры AI ISP и обычной камеры на улице.

Традиционные ISP работают по заранее заданным алгоритмам для выполнения задач обработки изображений. Это преобразование «сырых» RAW-изображений в RGB, регулировка баланса белого, цветокоррекция, повышение резкости и подавление шума. Это делается быстро и относительно недорого. Но это же приводит к сложностям и некачественному изображению в плохих условиях освещенности.

В AI ISP сигнал обрабатывается по-другому.

Сначала производится процесс обучения. На мощных серверных фермах на специальных GPU ИИ-модель обучают на гигантских массивах данных. Ей показывают множество пар кадров: исходный «хороший кадр» и «зашумленный кадр», который соответствует изображению сенсора видеокамеры в реальных условиях, ИИ пытается из зашумленного кадра восстановить чистый исходный кадр.

Полученную огромную модель «сжимают» таким образом, чтобы она могла работать автономного в чипе камеры без необходимости доступа в интернет.

AI процессор анализирует кадр и понимает, где находятся движущиеся объекты, а где неподвижный фон. AI ISP выборочно усиливает сигнал в темных зонах, не просто увеличивая яркость, а изменяет усиления разных объектов в кадре на основе нейросетей глубокого обучения. AI ISP обучен на парах кадров «шумное изображение / идеальное изображение». Нейросеть видит шумный кадр и пытается определить, какой объект находится в кадре (деревья, стена, человек). Нейросеть пытается убрать шум, формируя чистое и ясное изображение.

На рисунке выше показано сравнение камеры AI ISP и обычной камеры в помещении.

Для получения цветного изображения в темноте AI ISP берет остатки цветовой информации и «раскрашивает» сцену, понимая контекст, то есть растения должны быть зелеными, асфальт серым и т.д.

На рисунке выше показан один и тот же кадр, снятый обычной камерой, камерой ColorView и камерой AI ISP. Видно, что у камеры AI ISP наиболее чистое и четкое изображение.

Конечно же, изображение, выдаваемое камерой, пока не идеально и есть куда стремиться. На сегодняшний день AI ISP отлично работают с неподвижными изображениями, с движущимися объектами пока ситуация чуть хуже, AI ISP не может устранить «размытие» быстро движущихся объектов, ждем улучшения этой ситуации в ближайшее время.

Но прогресс движется очень быстро – ждем новых его проявлений в самое ближайшее время.

Тантос – только хорошие новости!