Система предупреждения об инцидентах и авариях на производстве

Безопасность на производстве не может быть обеспечена простым набором правил. Здесь требуется комплексный подход, призванный защитить здоровье и жизни работников, а также сохранить целостность оборудования.

Помимо повышения культуры безопасности за счет обучения сотрудников и проведения инструктажей, на производствах внедряются современные технологии: робототехника, носимые устройства, системы мониторинга и искусственный интеллект.

Создание ИИ-приложения было поручено другому подрядчику. Нашей задачей была разработка веб-приложения, которое должно принимать видеопоток с камер наблюдения, перенаправлять отдельные кадры на ИИ-приложение и получать от него сигнал тревоги и другие данные в случае детектирования опасных ситуаций. Решение имеет следующий принцип работы:

На момент обращения в КЕДР Solutions заказчик уже использовал систему управления производством, представляющую собой веб-приложение, созданное на Jmix. Программа служит для мониторинга, управления и планирования производственных операций. Заказчик не хотел создавать отдельное приложение для системы предупреждения о чрезвычайных ситуациях. Поэтому мы решили интегрировать создаваемое решение в уже имеющееся у предприятия приложение.

Мы разработали дополнительный модуль для приложения заказчика на языке Java с помощью фреймворка Jmix. Jmix-модуль осуществляет настройку ИИ-приложения, запись и хранение видеофайлов, рассылку уведомлений о произошедших инцидентах и предоставляет возможность просматривать видеопоток с камер в режиме онлайн.

ИИ-приложение расположено на отдельном от веб-приложения сервере. Пользователь указывает в веб-приложении адрес и порт ИИ-приложения, после чего программа проверяет его доступность. В рамках первоначальной настройки, веб-приложение генерирует и передает ИИ-приложению токен и ссылку для передачи HTTP POST запросов с информацией об инцидентах.

После первоначальной настройки пользователь может подключить IP-камеры, для чего указывается ссылка на RTSP-поток. Дополнительно можно указать теги и описание, видимые пользователям; настроить браузерные уведомления по ролям/типам пользователей с возможностью открыть новую вкладку с видеопотоком от соответствующей камеры; подключить SMS- и email-уведомления с выбором типов инцидентов.

RTSP-поток с IP-камер захватывается Jmix-приложением и записывается в видеофайлы максимальной продолжительностью 1 час. Указанная информация о камере (теги и описание) и видеофайле (продолжительность, разрешение и другая техническая информация) сохраняется в базе данных, а сам видеофайл в формате mp4 сохраняется в локальном файловом хранилище приложения. Время жизни видеофайла составляет 1 неделю, но если с файлом связан инцидент, его можно удалить только по решению пользователя с соответствующими привилегиями.

Отдельные кадры видеопотока периодически отправляются в ИИ-приложение. При детектировании чрезвычайной ситуации оно отправляет на Jmix-приложение сигнал тревоги, а также данные о событии:

• ID камеры;
• Время возникновения события;
• Тип события;
• Кадр с обведенной рамкой областью, где событие было обнаружено.

При получении сигнала тревоги Jmix-приложение выводит уведомление в браузере для соответствующих категорий пользователей, а также рассылает SMS- и email-уведомления в соответствии с настройками. При нажатии кнопки “Перейти” у пользователя открывается новая вкладка с видеопотоком от камеры, которая зафиксировала событие, и кадром, отображающим обнаруженный инцидент. Это позволяет быстро проверить, не произошла ли ошибка.

Помимо перехода на страницу видеопотока через уведомление, пользователь может перейти на страницу с IP-камерами и посмотреть их видеопоток в режиме реального времени с некоторой задержкой. Для передачи видеопотока с камер приложение разделяет его на небольшие видеофайлы, которые передает в ответ на запросы браузера. Процесс разделения активируется, когда появляются пользователи, просматривающие поток с соответствующей камеры.

Стандартные средства Jmix не имеют функционала для работы с видео. Поэтому нужно либо разрабатывать собственные компоненты, либо использовать внешние. После исследования команда остановилась на аддоне VideoJS Player.

Работа с видеопотоками в данном случае проходит распространенный алгоритм:

1. Захватывается RTSP-поток.
2. Создается временный файл для видео.
3. Поток записывается во временный файл.
4. Плеер в браузере подгружает файл.

Ни VideoJS Player, ни стандартные средства Jmix и Java не умеют работать с RTSP-потоком, который приложение получает от IP-камер.

Решение в данном случае уже содержит фреймворк JavaCV, который применялся для реализации ИИ-приложения. Он содержит библиотеку FFMpeg, средства которой (FrameGrabber и FrameRecorder) используются для захвата и получения отдельных кадров, а также записи видео.

Подключая новую камеру в Jmix-приложении, пользователь добавляет адрес RTSP-потока, который в дальнейшем используется FrameGrabber для захвата видеопотока на сервере.