如何来判断元宇宙的体验好不好呢？其核心取决于在虚拟世界中，是否能够重现物理世界的沉浸式感觉。当下在元宇宙，视觉、听觉方面的体验让用户感觉良好，但触觉方面的体验却一直处于“缺失”的状态。
【资料图】
目前虽然在元宇宙市场上，包括 Meta、苹果等在内的科技公司通过使用震动马达让用户能够获得触感，但需要注意的是，这里的触感是一种被动触感。
以折纸技艺为灵感，西湖大学姜汉卿教授团队提出了“主动触感”的概念，并创新性地将刚度的概念引入元宇宙。并且基于此，研发了一套高保真主动机械触感交互系统。
具体来说，主动触感就是用户在元宇宙的虚拟环境中，通过主动触发的方式（例如抓握），来真实地感受到物体的软硬程度，并可体验到物体被捏碎的感觉。
审稿人对该研究评价称，作者们巧妙地利用了通过实时改变曲线折纸的几何参数，在变形和屈曲过程中实现正刚度和负刚度。
他们使用微型电机来改变折纸的几何参数，以实现可调的刚度，从而模拟不同的环境，例如混凝土、草地和冰面等，给用户一种由用户主动触发、高度真实的感觉。这篇论文所使用的方法非常创新，可能对开发新的触觉技术产生很大的影响。
图丨相关论文（来源：Nature Machine Intelligence）
近日，相关论文以《沉浸式虚拟现实中高保真感知的主动机械触觉交互》（Active Mechanical Haptics with High-Fidelity Perceptions for Immersive Virtual Reality）为题发表在 Nature Machine Intelligence[1]。
西湖大学博士后张壮、浙江大学研究生徐正昊为该论文的共同第一作者，西湖大学机械工程讲席教授姜汉卿为论文的通讯作者，其他共同作者包括西湖大学科研助理俄木罗前、博士生陈森涛、博士后卫平东等。
为元宇宙增加触觉维度的新体验
2019 年，香港城市大学副教授于欣格等人在 Nature 发表论文，第一次将体感带入到元宇宙的研究。
他们研发了一种无线的电子触觉反馈系统，在皮肤上实现了触觉感知的虚拟现实技术（Virtual Reality，VR）[2]。通过这种柔性电子，将震动传感器集成在硅胶中。用户利用这种皮肤 VR 贴在后背或胸前，将远端的感觉通过震动的方式传递到用户身上。
2020 年，彼时姜汉卿教授在美国亚利桑那州立大学任教，他的研究方向之一是折纸机械超材料，他与团队发表了一篇关于曲线折纸方面的论文[3]。
曲线折纸依赖于曲线折痕的曲率，曲率不同则其体现的刚度也不同。在这个研究中，研究人员发现在曲线折纸中，改变曲线的曲率可实现正刚度、零刚度和负刚度的调节。
而这次的新研究恰好以此为灵感，通过曲线折纸来实现由用户触发的主动机械触感，并在元宇宙中首次引入了“主动触感”的概念。
图丨“手球”装置实物图（来源：西湖大学）
姜汉卿表示：“我们制作了一个手球装置，通过该装置可实时地将虚拟环境中物体的刚度呈现在真实物理世界中可触摸的按键上面。通过我们这种简单的机械设计，用户能体验出物体的软度、硬度以及捏碎物体的感觉。”
图丨生活场景中的主动刚度感知及对沉浸式虚拟现实的重建（来源：Nature Machine Intelligence）
如何利用折纸来调整刚度，是该研究中最大的技术挑战。姜汉卿在 2020 年的研究中，通过调节曲率实现了刚度调节。但在新研究中，如何进行刚度调节却让团队成员“犯难”了。
“调节曲率在实际应用中并不好操作，再加上手球的空间有限，因此很难实现实时调节曲线折纸的刚度。所以，我们转变思路，利用两个板旋转的方式实现角度的变化。”姜汉卿说。
图丨高保真主动机械触感交互系统的局部结构（来源：西湖大学）
另一方面，客观地表征手球装置的触感重现，也给该团队带来了不小的难题。研究人员原本计划在脑电波方面进行突破，但因脑电波过于复杂，研究团队用了三个月仍无实质进展，于是又及时调整了研究方向。
实际上，在手球装置的初次搭建也并不顺利。当时由于疫情原因，一些配件（如蜗轮等）无法及时到达实验室，经历了很长时间的等待，各种配件经历了从上海到广州再到杭州的运输过程。
回忆起拿到第一个版本的手球装置，姜汉卿表示，之前只是从理论上认为该技术可行但并未实践，直到所装配出的第一个手球真的实现了“所握即所得”。
他说：“我觉得使用装置的瞬间特别惊艳，尤其是通过我们的技术真实地感受到那种捏碎一个球的感觉，当时特别兴奋，这种体验在此前的研究中是从来没有被做到的。”
随后，研究团队通过对用户的交互体验进行大量的问卷调查以及生理电信号采集，对该技术有了客观的评价标准。至此，验证了该技术在触感上的真实性复现。
核心成本约几十元，将继续探索多模态感知
这个新技术的造价会不会很贵呢？姜汉卿表示，该技术的核心组件价格并不高。在虚拟环境中测量变形所需要的应变依赖于银纳米线，这种材料的成本很低，马达的成本则在几十块钱左右。因此，总体来说这种装置的核心价格在几十元范围内。
据了解，该技术可能最先实现的落地场景是娱乐方向。目前，姜汉卿与团队已经将该技术与市场上现有的商用手柄顺利结合。
结合完成后的新手柄与现有市场上的手柄相比，多了一个功能——刚度反馈。使用者可通过新手柄，感受到屏幕中物体的硬度、软度以及捏碎物品的感觉。
姜汉卿指出，如果想在工业上实现该技术的应用，就涉及到触觉的远程感知和操控。在了解远端的触感后，在近端进行触觉重现。他举例说道：“例如对消防员进行模拟灭火训练，可模拟场景实现物品的软度、硬度甚至温度的近端体验重现。”
图丨基于曲线折纸的闭环触觉（来源：Nature Machine Intelligence）
触感的维度包括刚度（物体的软硬程度）、物体纹理、温度、湿度等。这些细分方向的触觉体验，也是姜汉卿团队未来探索的方向。
目前，该技术已申请国际专利。对于成果的转化，姜汉卿持开放性态度，他表示，如果有机构或公司对成果感兴趣，也可以与课题组共同推进相关成果的产业化进程。
人体感官由视觉、听觉、触觉、嗅觉、味觉构成。目前，在元宇宙的视听触觉方面已有相关进展，那么未来在嗅觉和味觉方面是否有可能产生联动呢？实际上，嗅觉和味觉都属于近距离的感觉。姜汉卿表示，人体五感在技术上可实现联动或集成。因此，团队下一步也将向多模态感知体验方向继续探索。
他说：“我们未来做的研究会把主动感觉和被动感觉集成在一起，例如将身体被‘拧一下’的感觉体现出来。目前，做多模式感知方向研究的国内外课题组并不多，期待未来可以有更多的可能性。”
曾因无法实验而遗憾，终在西湖大学“圆梦”
姜汉卿教授本科和博士分别毕业于大连理工大学和清华大学。博士毕业后，他赴美国伊利诺伊大学从事博士后研究，并在美国亚利桑那州立大学任教 15 年。于 2011 年获得终身职位（associate professor with tenure），于 2016 年晋升为正教授。
实验，在姜汉卿的科研生涯中像是某种“门槛”。有意思的是，姜汉卿在美国任教之前，并没有做过实验。因此，当涉及到和实验有关的工作时，就必须寻找相关课题组来合作。他当时选择亚利桑那州立大学，很大一部分原因是因为该校可提供启动经费来发展实验。
但是，随着姜汉卿的研究中的实验越来越多，没有自己的实验室使研究工作的发展受到越来越多的限制。在一次与同行的交流中，他了解到西湖大学并与学校进行联系。2021 年 6 月，姜汉卿回国全职加入西湖大学工学院，任机械工程讲席教授。
“现在国内的科研环境发展得很不错，尤其是西湖大学的实验条件真的太好了，这个 offer 是我无法拒绝的。很多在美国不能完成的实验，终于在西湖大学圆梦了。”姜汉卿由衷地感慨道。
图丨姜汉卿课题组成员合影（来源：姜汉卿）
目前，姜汉卿的跨力学实验室（Beyond mechanics with societal impact）的研究方向以机械工程、材料科学与工程、电子科学与技术、跨力学实验为主。其实验室成员已发展超过 30人，“跨力学”体现在其多学科交叉的科研背景，包括力学、机械、电子、材料、计算机、电化学、化工等。很多时候，需要跨学科的合作在课题组内部就解决了。
“我一直和学生们强调，论文是研究成果的阶段性呈现，我们并不是要去做 to be believed 的应用，而是真正追求有社会影响力的研究，也就是通过学界与工业应用紧密结合并落地。”他说。
在姜汉卿看来，做科研应该是兴趣驱动的、有趣的事情，而不是被动地作为任务去完成某些课题。虽然做科研工作可能经常和失败作伴，但如果真正地热爱科研，即便失败了也会从中总结经验。
他分享道：“我非常自豪的一点是，我们课题组的研究气氛特别好，学生们都自发、全身心地去做他们感兴趣的课题。通过讨论和深挖，能把工程问题变成科学问题，最后再回到工程上去，这是最能激发人的创造性和工作热情的。”
参考资料：
1.Zhang, Z., Xu, Z., Emu, L. et al. Active mechanical haptics with high-fidelity perceptions for immersive virtual reality. Nature Machine Intelligence 5, 643–655 (2023). https://doi.org/10.1038/s42256-023-00671-z
2.Yu, X., Xie, Z., Yu, Y. et al. Skin-integrated wireless haptic interfaces for virtual and augmented reality. Nature 575, 473–479 (2019). https://doi.org/10.1038/s41586-019-1687-0
3.Z. Zhai, Y. Wang, K. Lin, L. Wu, H. Jiang, In Situ Stiffness Manipulation Using Elegant Curved Origami, Science Advances 6, 47（2020）. https://www.science.org/doi/10.1126/sciadv.abe2000
关键词：
