В последнее время функция отслеживания пальцев рук вновь стала актуальной. Трекинг пальцев есть в Oculus Quest, в очках Nreal, в шлемах HTC Vive (и Index), в AR-шлемах Hololens и шлемах, использующих модули Leap Motion - Varjo, XTAL и Pimax. Все эти реализации, к сожалению, являются закрытыми, и их невозможно применить в своих проектах (не считая Leap Motion, ПО которого также закрыто и недоступно для Linux). Компания Collabora решила это исправить.

Collabora уже известна VR-миру по своей работе над свободной реализацией среды OpenXR, проспонсированной Valve. Теперь они (благодаря деньгам программы INVEST-AI) включились в работу над проектом, позволяющим отслеживать руки и пальцы с помощью всего одной цветной видеокамеры. Для этого компания сделала специальную установку, способную гарантированно определять расположение пальцев в пространстве, а также записала в ней большое количество движений рук большого количества людей. Теперь обученная нейронная сеть сможет отслеживать пальцы даже на условном Raspberri Pi, используя для захвата движений практически любую камеру.

Это действительно важный шаг на пути к развитию виртуальной и дополненной реальности.

https://discord.gg/ruvr

Теги:

Статьи, Обзоры...

Вопросы и ответы

Архив
Мы в соцсетях
  • Facebook Basic Square
  • Twitter Basic Square
  • Google+ Basic Square

1