教育新闻

Facebook 论文详细分享 Oculus Quest 手部追踪技术细

发布日期:2020-09-16 04:07   来源:未知   阅读:

已经能够相当精确地追踪手部和手指的快速运动

使用单色摄像头进行手部追踪

其中,亚伯拉什展示了优化的手部追踪功能,并表示现在Facebook研发的系统已经能够相当精确地追踪手部和手指的快速运动。另外,他指出光学手部和手指追踪将成为空间计算机范式的重要组成要素。

另外,研究人员引入了一种追踪检测的方法,在降低计算成本的同时提高了平滑度。优化后的系统在PC端能够以60Hz的速度运行,而移动处理器则是30Hz。

手部检测网络能够可靠地处理各种真实世界的环境,而关键点估计网络则利用追踪历史来产生时空一致的姿态。团队同时设计了可扩展的半自动机制,通过手动注释和自动追踪相结合的方式来收集大量不同的groundtruth数据。

下图概述了Facebook研发的手部追踪系统。团队从四个单色摄像头的图像开始,检测每个图像中的左手和右手,并生成一组边界框。然后,从图像中裁剪出每个包围盒(boundingbox),并将其传递给能够检测21个关键点的网络。相关的手部模型分为两部分:一个是手部骨架S;另一个是网格模型M。手部骨骼S由26个自由度组成,其中6个自由度代表全局变换,4个旋转自由度代表手指关节。

以前大部分关于手部追踪的研究都集中在外部深度摄像头或RGB摄像头。深度摄影头可以提供2.5D点云的手部几何图像。然而,深度摄像头对硬件设计和电量使用提出了额外的要求。相比之下,RGB摄像头更容易集成,而随着深度学习技术的进步,它们的实用性同样在不断提高。所以,利用单一RGB摄像头和神经网络来预测手部姿态已经成为一个热门的研究课题。

具体而言,手部检测的任务是在每个输入图像中寻找每只手的包围盒。一个关键的挑战是确保对各种真实世界环境的鲁棒性。为了应对这一挑战,团队使用半自动标记方法收集了大量不同的手部检测数据集,并提出了一个简单而高效的CNN架构:DetNet

相关论文:MEgATrack:MonochromeEgocentricArticulatedHand-TrackingforVirtualReality

(映维网2020年09月11日)在今年6月举行的2020年计算机视觉和模式识别大会中,FacebookRealityLabs的首席科学家迈克尔?亚伯拉什通过视频介绍了团队的研究及相关进展。

相关团队在8月举行的SIGGRAPH大会展示了所述研究,并发布了具体论文。

FacebookRealityLabs主要提出了用于驱动虚拟现实和增强现实体验的实时手部追踪系统。利用四个鱼眼单色摄像头,系统能够生成精确和低抖动的三维手部。研究人员主要是通过用于检测手部和估计手部关键点位置的神经网络架构来实现这一点。

查看引用/信息源请点击:映维网