Опытно-конструкторский проект: система компьютерного зрения для пожилых людей, распознающая падение

Из-за сложности проекта мы предложили заказчику сотрудничество по модели опытно-конструкторской работы. Она подразумевает научные изыскания и оценку реализуемости проекта. Мы провели тщательное исследование в области компьютерного зрения и машинного обучения и сейчас работаем над алгоритмами компьютерного зрения, которые позволят собирать и анализировать видео-данные.

Чтобы решение работало правильно, камеры должны быть установлены в нескольких комнатах и охватывать все пространство, где живет пожилой человек. Но какая камера позволит получать информацию в реальном времени посредством анализа видео?

Сначала мы решили использовать камеру компьютерного зрения с открытой спецификацией. На ней мы могли запустить алгоритмы компьютерного зрения для обнаружения и отслеживания объектов, распознавания сцен и объектов с помощью глубоких нейронных сетей. Но у такой камеры есть и недостатки:

• Недостаточная частота кадров при низком разрешении;
  
• Слабый процессор, на котором мы не могли запустить сложные алгоритмы обработки изображений;
  
• У камеры только один интерфейс передачи данных – UART;
  
• Очень шумный кулер.
  
  

Использование алгоритмов компьютерного зрения в этом проекте налагало ряд ограничений. Например, мы не можем обнаружить событие, если в комнате слишком темно. Кроме того, системе сложно распознать человека, если у его одежды и фона схожие цвета.

Нам требовалось решение получше. Камера должна была «видеть» комнату в 3D независимо от условий освещения. К числу таких камер относятся Orbbec 3D и Intel. У них обеих есть функция активного определения глубины сцены с помощью инфракрасного излучения, так что они могут работать в темноте.

3D-камера формирует видео, используя карты глубин – изображения, содержащие информацию о расстоянии от точки съемки до поверхностей объектов сцены. Камера передает эти данные на одноплатный компьютер, который с помощью умных алгоритмов распознает на изображении человека и определяет его позу.

Мы выбрали камеру Orbbec 3D, но также рассматриваем вариант с разработкой собственной камеры, способной определять глубину сцены и передавать данные по Wi-Fi, а не по USB-кабелю.

Наша система использует ряд сложных алгоритмов, главная цель которых – распознавать падение человека. Мы написали их на C/C++ с помощью OpenCV. Алгоритмы выполняют следующие задачи:

• На основе данных камеры распознают контуры человека. У одноплатного компьютера, устанавливаемого в доме, ограниченная вычислительная мощность. Поэтому нам пришлось отказаться от ресурсоемких методов машинного обучения. Вместо них, для разработки алгоритма мы применили метод вычитания фона, в котором разные кадры сравниваются для нахождения отличий.
  
• Распознают позу человека (сидит, идет, лежит, падает) и различают, когда человек падает, а когда ложится намеренно. Здесь мы использовали скрытую модель Маркова, которая помогает предсказывать вероятность падения на основе предшествовавших и переходных положений тела. Модель помогает определять, к какому типу события (падению или нормальному состоянию) относится текущее положение тела.
  
• Отслеживают в реальном времени центр массы тела, скорость ходьбы и контур тела для получения максимально подробной информации о текущем событии.
  
• Фильтруют данные с камер, чтобы уменьшить влияние шума на качество распознавания изображений.
  
• Применяют алгоритмы вычитания фона и анализ осаночных колебаний тела.
  
  

Определяют, сколько человек в комнате. Для этого мы использовали такие методы машинного обучения, как гистограмма направленных градиентов и метод опорных векторов. Мы также работали над «областями наблюдения» – специальными зонами в комнатах. Благодаря этому, система лучше понимает повседневную активность человека. Если какое-то действие в «области наблюдения» занимает больше времени, чем обычно, система распознает его как то или иное событие. Например, область дивана требует больше внимания, чем область шкафа.

При распознавании падения система должна подать сигнал ответственному лицу. Мы работаем над специальным вычислительным блоком, который собирает информацию со всех камер в доме и при выявлении падения передает сигнал в центр обработки вызовов.

После установления связи оператор спрашивает упавшего человека о его самочувствии и, если нужно, направляет к нему домой врачебную бригаду. Оператор также может связаться с родственниками человека и сообщить им о случившемся. Мы планируем спроектировать специальное устройство наподобие планшета Android в форме фоторамки. Устройство будет полностью адаптировано под наши нужды и служить пользовательским интерфейсом. С его помощью пожилые люди смогут общаться с родственниками, связываться с врачами и получать полезный контент – например, видео с упражнениями.