幸运分分彩 首页 > 科技

为VR实现「手势识别」需要攻克哪些难点

2019-10-10 06:20 weila

来源:映维网 作者 广州客

先放一个视频,是网络搜集的各种手部交互产品及VR游戏内容的剪辑。能够帮助理解手部交互在VR中是多么关键的事情。

手部交互在VR中的作用

“手势识别”通常依赖更基础的“动作捕捉”(追踪)。良好可靠的动捕能够轻易推导出精确的手势识别结果,反之不成立。

李子琪将出席10月12日由映维网和IDG联合举办的广州2019小蛮腰科技AR/VR大会,并将发表《VR未来硬件交互范式探讨》主题演讲,欢迎有兴趣的朋友报名参会探讨、合作

一:四个基础条件

VR终极手部交互范式并不是单纯的“手势识别”,它要满足4个基础条件,这些条件同时也是需要攻克的难点:

1. 空间定位:理想的空间定位能力,得到手部与人眼(头显)的精准相对位置关系,是正确渲染及交互的基础;

2. 手部追踪:一只正常人手大概有二十多自由度,加上手腕小臂总计约28个,追踪需要精准,可靠,低延迟;

3. 触觉反馈:给人以更明确更加符合直觉的反馈效果(基于视觉原理的裸手操作难以给人明确的反馈);

4. 工业设计:(实体外设需轻便以降低疲劳,同时大发一分彩影响手部自身活动等,以及符合人体工程学佩戴舒适等)

四个基础条件中的『1. 空间定位』与『2. 手部追踪』有时可作为一个整体讨论,统称为追踪定位能力,是手部交互的基石,也是通常学术界所看重的技术难点。

手部追踪定位能力决定了人在虚拟幸运分分彩能否像现实幸运分分彩中一样自由使用灵巧的双手。

展开全文

低品质的追踪定位增加了用户疲劳度,降低了输入效率(要将手置于可识别区域以减少追踪失效,增大动作幅度以弥补精度不足或自由度的缺失),以及带来不确定性输入的困扰。

(可类比设想使用鼠标时,光标漂移,光标消失,移动精度不足,以及按键失灵等问题)。

同时追踪定位能力是『3. 触觉反馈』的前置条件,决定了能否在准确的位置和时间触发产生反馈效果。

所有VR手部追踪产品只需对照这四点基础条件进行判断。

二:计算机视觉方案

由于视野以及手部的自遮挡等原因无法解决『2. 手部追踪』中的可靠性问题,手部需保持在摄像头视野中以导致疲劳。同时无法提供『3. 触觉反馈』,引发用户困扰。

LeapMotion,微软HL2的手部追踪,OC6上Oculus Quest推出的手部追踪,代表了人类在以计算机视觉为基础的手部追踪的最高水准。已经展示出了双手自然交互的魅力,并已经在许多低交互需求的场景产生价值。然而依旧受原理机制的天花板所限制,低品质的追踪定位能力并不能提供真正可靠舒适的交互体验。

LeapMotion公司从融资近亿美金到最终3000万被收购,已经充分说明了基于计算机视觉的手部交互技术的局限性。

需要说明的是AR环境与VR有所差异,为了开放的外部现实环境,即使体验相对较差,AR也会优先采取裸手方案。相比VR环境已成为基础配置的6DoF手柄交互以及专门设计优化的OculusTouch和Knuckles手部控制器,当今AR头显更多采用效果差强人意的3DoF遥控器和基于计算机视觉的裸手方案。

延伸阅读:Oculus Quest手部追踪体验手记

三:肌电控制方案

该技术本身对『1. 空间定位』、『2. 手部追踪』、『3. 触觉反馈』三项技术难点均无法解决至够好的程度。肌电信号反映的是肌肉收缩所产生的生物电,用户个体肌肉生理差异大。肌电是肌肉收缩(用力)的信息,与手指等位置的信息本质有所不同。以及为了平滑不可靠的肌电信号会引入较大延迟。这些都是理想交互方案的大忌。在可预见的未来中此类技术对手部的追踪与其他方案相比,不具备优势。

CTRL—Labs(收购了MYO肌电臂环的专利),现正与Facebook谈被收购事宜,拟5-10亿美金。是当今唯一融资额度巨大,对外宣称想把此技术运用于VR/AR交互控制的公司。(补充:Facebook已经公开宣布未来想把CTRL—Labs与手部追踪方案(Oculus Quest上采用的基于视觉的手部追踪方案)进行结合。)