Опытно-конструкторский проект: система компьютерного зрения для пожилых людей, распознающая падение

Нашим заказчиком стал стартап, который разрабатывает такую технологию. Для распознавания падений компания использует камеры, устанавливаемые в домах пожилых людей. Клиент обратился к нам за помощью в разработке.

Перед заказчиком стояла нетривиальная задача. Для создания системы распознавания падений нам нужно было разработать несколько умных алгоритмов, способных:

• Распознавать позу человека (когда он сидит, идет, ложится, падает);
• Распознавать человека в кадре;
• Распознавать падение;
• Различать, когда человек падает, а когда ложится намеренно.

Из-за сложности проекта мы предложили заказчику сотрудничество по модели опытно-конструкторской работы. Она подразумевает научные изыскания и оценку реализуемости проекта. Мы провели тщательное исследование в области компьютерного зрения и машинного обучения и сейчас работаем над алгоритмами компьютерного зрения, которые позволят собирать и анализировать видео-данные.

Чтобы решение работало правильно, камеры должны быть установлены в нескольких комнатах и охватывать все пространство, где живет пожилой человек. Но какая камера позволит получать информацию в реальном времени посредством анализа видео?

Сначала мы решили использовать камеру компьютерного зрения с открытой спецификацией. На ней мы могли запустить алгоритмы компьютерного зрения для обнаружения и отслеживания объектов, распознавания сцен и объектов с помощью глубоких нейронных сетей. Но у такой камеры есть и недостатки:

Использование алгоритмов компьютерного зрения в этом проекте налагало ряд ограничений. Например, мы не можем обнаружить событие, если в комнате слишком темно. Кроме того, системе сложно распознать человека, если у его одежды и фона схожие цвета.

Нам требовалось решение получше. Камера должна была «видеть» комнату в 3D независимо от условий освещения. К числу таких камер относятся Orbbec 3D и Intel. У них обеих есть функция активного определения глубины сцены с помощью инфракрасного излучения, так что они могут работать в темноте.

3D-камера формирует видео, используя карты глубин – изображения, содержащие информацию о расстоянии от точки съемки до поверхностей объектов сцены. Камера передает эти данные на одноплатный компьютер, который с помощью умных алгоритмов распознает на изображении человека и определяет его позу.

Мы выбрали камеру Orbbec 3D, но также рассматриваем вариант с разработкой собственной камеры, способной определять глубину сцены и передавать данные по Wi-Fi, а не по USB-кабелю.

Наша система использует ряд сложных алгоритмов, главная цель которых – распознавать падение человека. Мы написали их на C/C++ с помощью OpenCV. Алгоритмы выполняют следующие задачи:

Определяют, сколько человек в комнате. Для этого мы использовали такие методы машинного обучения, как гистограмма направленных градиентов и метод опорных векторов. Мы также работали над «областями наблюдения» – специальными зонами в комнатах. Благодаря этому, система лучше понимает повседневную активность человека. Если какое-то действие в «области наблюдения» занимает больше времени, чем обычно, система распознает его как то или иное событие. Например, область дивана требует больше внимания, чем область шкафа.

При распознавании падения система должна подать сигнал ответственному лицу. Мы работаем над специальным вычислительным блоком, который собирает информацию со всех камер в доме и при выявлении падения передает сигнал в центр обработки вызовов.

После установления связи оператор спрашивает упавшего человека о его самочувствии и, если нужно, направляет к нему домой врачебную бригаду. Оператор также может связаться с родственниками человека и сообщить им о случившемся. Мы планируем спроектировать специальное устройство наподобие планшета Android в форме фоторамки. Устройство будет полностью адаптировано под наши нужды и служить пользовательским интерфейсом. С его помощью пожилые люди смогут общаться с родственниками, связываться с врачами и получать полезный контент – например, видео с упражнениями.

Система видеонаблюдения для распознавания падений, над которой работает КЕДР Solutions, включает в себя четыре компонента:

• 3D-камеры для отслеживания повседневной активности пожилых людей;
• Одноплатный компьютер для обработки данных с камер;
• Алгоритмы компьютерного зрения для распознавания поз человека и падений;
• Система связи, которая в случае падения человека передает ответственному лицу тревожное оповещение и фотографию с места.