当地时间年3月27日-4月2日,一年一度的IEEEVR会议将于线上举行。
作为展示虚拟、增强和混合现实(VR/AR/XR)领域最新研究成果的重要国际性会议,IEEEVR自然也将涌现出不少创意。
比如瑞士苏黎世联邦理工学院计算机科学系就研制出了一种手环。
戴上这种手环,我们就可以悬空弹钢琴。
左右手比划一下,图片的位置和尺寸即可得到调整。
“虚拟键盘”也出现了。
相关研究成果已于预印本的形式公开,将在IEEEVR上发表,题为TapID:RapidTouchInteractioninVirtualRealityusingWearableSensing(TapID:虚拟现实中使用可穿戴传感的快速触摸交互)。
快速触摸交互内置2个惯性传感器
众所周知,随着硬件和算力的提升,VR产生了更为逼真、有吸引力的场景。
VR正变得越来越流行,传统产品是通过控制器或摄像头跟踪四肢进行互动。然而在研究团队看来,空中交互是阻碍VR场景生产力的关键因素,因为VR场景需要长时间的持续交互,而传统方式则无法满足这一要求。
实际上,VR系统中触控交互的一个核心挑战就在于对触控事件的精确检测。
头戴式系统可以对手进行跟踪,这种单一的优势会导致深度感知的不准确性,从而使得触摸/非触摸识别和接触定位具有挑战性。
此前研究人员们已经提出了多种方法,通过集成可靠的触摸检测和抑制滤波器,尝试用深度摄像机进行精确检测。当然,不论是滤波器还是相机帧率,都会限制系统实现精确检测的交互速度。
于是,为了更好地满足交互需求、保证用户可以得到片刻的休息,研究团队设计了一种快速触摸交互,即一种名叫TapID的手环——其实,最新的MR系统已经结合了用于输入检测的手势识别,AR设备(如微软Hololens2)和VR设备(OculusQuest2)亦然。
据了解,每只TapID都外表小巧,两侧嵌有2个惯性传感器。
论文将TapID手环称为是“基于手腕的惯性传感系统”。通过惯性传感器,TapID提供了粒度和对细微运动的检测。它不仅可以检测到某个表面(比如桌面)上的触摸事件,还可以额外识别手指,二者结合即在VR中触发输入事件。因此,平板和手机上的应用程序、交互模式可以无缝、可靠地转移到VR场景。也就是说,用户使用VR设备就像是在常见的生产力工具手机和平板电脑上操作一样。
用户使用TapID时需每个手腕各戴一个,这样TapID就能检测到用户的手指轻叩动作。其背后原理在于一种机器学习算法,该算法可以分析人体骨骼系统的独特振动——这在VR环境中颇为有效。
具体来讲,通过检测手势可以确定出是哪只手指在敲击“键盘”,并不需要精确的位置信息。用户可以像在现实世界中一样在键盘上打字,或在表面上与虚拟对象交互。
TapID实现精确检测
为检测TapID性能,研究团队设计了一系列测试。
团队招募了18名参与者(其中14名男性、4名女性;年龄跨度在19-57岁,平均28.4岁),平均手腕周长为mm(最小mm,最大mm)。
在每轮测试中,参与者戴上TaplD,按照指示重复用每根手指展示敲击的动作(敲30下),在短暂休息后,继续这样重复两回。每个参与者都在20分钟内完成了测试。
团队测得:
TapID的事件检测精度F1=0.;手指识别精度(单个用户F1=0.93;多用户改进后F1=0.91;多用户改进前F1=0.87)。论文显示,TapID的检测准确度明显超过了不少头显传感器和摄像头系统等。
最后,研究团队总结了TapID的一系列用途,包括UI控制、敲键盘、钢琴演奏、在桌面上做手势等等。
讲到悬空打字,也许有人会觉得不靠谱,正如开源社区Hackaday所说:
在一个虚拟环境中用虚拟键盘打字,我们并不敢保证效果如何,毕竟真正的键盘更容易触摸到,当然可能也更便宜。
不过Hackaday也表示,设计一个能够准确判断用户手指姿态、实现实时互动的设备,为VR领域的应用提供了新思路。也就是说,不论研究团队演示的悬空打字例子是否具有现实可行性,这项技术确实有效。
或许,未来我们可以顺着这种研究思路,提升与智能手表的互动方式。
引用来源:
转载请注明:http://www.0431gb208.com/sjszjzl/9378.html