新火种
2023-10-20 
首都科学讲堂回顾｜第816期：虚拟现实——“穿越”想象与现实
本文内容来自北京市科学技术协会主办、北京科学中心承办、北京科技报社协办的首都科学讲堂。讲堂每周邀请院士专家开讲，弘扬科学精神，帮助公众树立科学思想，掌握基本科学方法，了解必要科技知识。
虚拟现实是一种近年来迅速发展的技术。它采用先进的电子设备模拟人体的感觉系统，使用户能够沉浸在虚拟世界中，创造沉浸式的体验。尽管虚拟现实最初用于游戏和娱乐，但是它现在已经被广泛应用于教育、医疗等领域。
首都科学讲堂于9月开展“中国式现代化中的企业科技创新”系列讲座，用科普讲好中国式现代化中的企业科技创新故事。本期首都科学讲堂邀请北京图象图形学学会秘书长、北京理工大学教授刘越，讲解虚拟现实技术的历史、现状和应用，同时走进一线科技企业，带你体验不一样的虚拟现实场景。
主讲嘉宾：
刘越
北京图象图形学学会秘书长
北京理工大学教授
▲虚拟现实——“穿越”想象与现实（上）▲虚拟现实——“穿越”想象与现实（下）
什么是虚拟现实？人类在不断地认识世界和改造世界时，迫切需要各种强有力的工具，用来增强、延伸、扩大自己的感官、肢体和大脑的功能，虚拟现实正是这样一个认识世界、改造世界的工具。
借助虚拟现实，我们能够基于对研究对象的认识，根据研究问题的需要，提供一个具有尽可能逼真的虚拟对象、虚拟环境的虚拟世界。它能够帮助我们身临其境地体验这个虚拟世界中的一切，同时我们还能根据需要，灵活地扩大或缩小虚拟世界的时间尺度和空间尺度。
例如，在数秒内观察地壳的演变历程；在数分钟内细细品味子弹穿过玻璃时的精细过程；亲眼领略探测器降落时的壮观场面等。借助虚拟现实技术，我们可以和虚拟世界进行自然的交互，不仅有可能在虚拟世界的街巷楼宇之间漫游，还能够触摸和移动虚拟世界中的虚拟物体。
20世纪90年代，当虚拟现实技术刚刚引入我国时，钱学森将其翻译为“灵境”，并指出，“灵境”是有望成为继计算机革命之后的又一项技术革命。
▲钱学森的书信中将VirtualReality翻译为“灵境”（供图/刘越）
虚拟现实的定义是采用以计算机技术为核心的现代高技术生成的，逼真的视、听、触觉一体化的一定范围的虚拟环境。用户可以借助必要的装备，以自然的方式与虚拟环境中的物体进行交互作用、相互影响，从而获得等同于真实环境的感受以及体验。
我们经常用三个以“I”为开头的英文单词来描述虚拟现实的特征。第一个以“I”为开头的单词叫Immersion，即沉浸感。用户在使用虚拟现实或者体验虚拟现实系统时，会产生沉浸于虚拟环境的感觉。
第二个以“I”为开头的单词叫Interaction，可以称之为交互性。用户除了可以沉浸式体验虚拟环境，还可以通过各种各样的输入装置影响虚拟现实环境。
虚拟现实的第三个特征叫做Imagination，就是构想性。它反映了设计者的思想，借助虚拟现实技术，可以构想在现实中不存在的场景。
近年来，人工智能（artificialintelligence）发展十分迅速，智能性（intelligence）也成为虚拟现实非常鲜明的特色。借助人工智能技术，虚拟环境既可以智能地感受用户的输入，同时也可以按照自然规律来实现自主演化，从而虚拟现实的特征从“三I”就进化成了“四I”。
虚拟现实的发展历史20世纪60年代，美国的MortonHeiling开发了一套被称为SensoramaSimulator的全传感仿真器。用户可以坐在仿真器的座位上来经历一种开摩托车漫游都市的感觉。
▲1962年美国的MortonHeiling开发了全传感仿真器（供图/刘越）
1965年，当时还在美国哈佛大学工作的IvanSutherland发表了一篇名为《终极的显示》的文章。他指出，我们应该将计算机的显示屏幕看作是观察虚拟世界的一个窗口，计算机的系统能够使窗口中的景象、声音、动作、行为和感觉都和真实世界相同或相似。这篇论文也被认为是研究虚拟现实的开端。
在20世纪70年代，越来越多的科研人员开始投入到与虚拟现实相关的研发中。例如科研人员发明了可以感知用户手指弯曲角度的数据手套，用户通过自然的手势，就可以与虚拟现实系统进行交互。此外也发明了基于电磁的跟踪系统，可以跟踪在三维空间内一定范围内的物体的位置以及姿态。
20世纪90年代，国内也开始注意到虚拟现实在军事、航空、航天等领域的应用潜力。1996年，国内开始了分布式的虚拟现实系统研发工作。
近年来对虚拟现实系统的需求十分迅猛，已经从传统的航空、航天、工业等领域的应用，逐渐转入了民用领域，国内外各信息行业巨头或自建研发团队，或收购初创公司，逐渐地涉入到与虚拟现实相关的市场。今年6月，苹果公司也发布了VisionPro头盔显示器，预计将在明年年初上市。
虚拟现实系统的组成虚拟环境能够给用户提供一个与周围真实环境完全类似的交互式环境。因此为了构建虚拟现实系统，首先要研究一下我们与外界和周围环境的交互。通常我们是通过感知系统来感知周围的真实环境，通过行为系统来发出各种交互的指令。感知系统包括视、听、触、嗅、味等感觉通道。此外，我们还通过前庭器官来感知身体的姿态以及方向的变化。
比如我们在环境中走动，可以通过转动头部来看到不同方向的信息，还可以通过语言来表达不同的交互语意。为此在构建虚拟现实系统时，首先需要一个输入输出的接口工具来感知虚拟环境，同时发出不同的交互指令。
此外，我们还需要虚拟现实计算机来进行虚拟环境的生成以及计算，需要软件和数据库储存相应的虚拟环境的数据。
在设计虚拟现实系统时，实物虚化以及虚物实化这两个概念会经常提及。实物虚化是要把真实世界的事物——主要是人，以及真实世界中的事件——主要是人的动作，转化为计算机能够理解的指令。虚物实化就是要通过声光电等信号，将虚拟环境呈现给用户。
目前，我们需要通过输出设备来完成虚物的实化，通过输入设备来完成实物的虚化。此外，还需要一些辅助设备进行虚拟场景的建立。
▲虚拟现实系统的组成（供图/刘越）
早期的头盔显示器体积和重量都比较大，价格也非常昂贵。为了降低开发虚拟现实系统的成本，很多科研人员采用桌面式显示器作为虚拟现实的呈现设备，用户佩戴立体眼镜，来实现三维场景的观察。但桌面式显示器视场小，沉浸感比较差，所以很快就被头戴显示器所代替。通过多台投影仪拼接实现的大屏幕显示，可以提供良好的沉浸式体验，并且还能让多个用户同时与虚拟环境进行互动，在展馆、驾驶仿真等领域获得了比较广泛的应用。
▲大屏幕显示设备在展馆、驾驶仿真等领域获得了比较广泛的应用（供图/刘越）
头盔显示器是目前虚拟现实系统最广泛使用的呈现设备，它具有以下特点：第一，小尺寸大投影；第二，提供双目立体显示；第三，可以提供个性化显示。当用户通过头盔显示器进行观察时，周围其他用户并不知道他当前所观察的画面，具有良好的隐私性。同时，当前的头盔显示器往往都集成了头部位置及姿态的跟踪，用户可以通过转动头部和在环境中移动，来实现在虚拟场景中的漫游。
▲头盔显示器（供图/刘越）
各种呈现设备的原理，基本都是为用户的左眼和右眼提供一对视差图像，用户通过大脑融像观看到三维的视景。这与观看周围真实的三维环境具有比较大的差异，长时间观看会带来头晕、恶心、眼酸等一系列视觉不适症状。而真三维显示设备可以让用户裸眼观看虚拟影像，如同观看真实环境一样。但目前真三维显示设备还存在体积过大、造价过高等问题，所以还没有得到广泛应用。
显示设备能够让用户看到三维视景，以及场景中形形色色的三维物体，但是无法提供用户接触环境时的触力觉的感觉。这就需要借助于触力觉设备，通过碰撞检测技术，可以让用户体验到接触虚拟物体的感觉。
声音在虚拟环境中也具有非常重要的作用，首先声音可以提供有关物体的材质信息，比如一个铅球和一个皮球从空中落地的声音是完全不同的。此外，声音可以提供视域以外物体的信息，比如听到身后传来脚步声，你就知道后面有人在接近。此外，声音也是用户和虚拟环境进行交互的一个非常有效的通道。
目前，在虚拟现实系统中，用户可以通过一些自然技能与虚拟环境进行交互。比如，通过头部的转动改变视点，这需要依靠头部跟踪装置来实现；通过肢体或者躯体的运动改变在虚拟场景中的位置，实现场景中的漫游，这需要通过运动跟踪设备、空间球等硬件设备来实现。
用户也可以通过数据手套、按钮装置等做出各种不同的手势。此外，当用户在环境中接触到某个虚拟物体时，带有力传感器的力反馈装置可以提供相应的力触觉。
▲数据手套（供图/刘越）
数据手套通过各种不同的传感器，比如应变电阻或者光纤传感器等，来实现对用户手指不同弯曲角度的准确实时测量，从而对用户的交互指令做出准确的解析。当用户穿戴上数据衣，用户的动作能够映射到虚拟的环境中，虚拟的人物就能做出与当前用户同样的肢体动作。
近年来，随着计算机图像处理技术和计算机视觉技术的快速发展，已经出现了形形色色的体感设备，使得用户不需要佩戴任何辅助装置，通过裸手和非常自然的身体动作就可以和虚拟环境进行自然的交互。
目前虚拟现实的研究方向包括以下几类。首先是感知技术的研究，也就是如何来感知真实世界中人和物的存在及其相关事件的发生。
其次，我们要研究建模技术，也就是虚拟环境的合成显示，即虚物实化。由于虚拟现实能够提供视、听、触、嗅、味等多通道的刺激，因此合成显示需要研究的就包括图像、声音、触觉、力觉等物理量的输出。相关研究工作主要包括形形色色的三维显示技术、声音合成技术，以及触力觉的合成显示技术。
▲虚拟环境的合成显示（供图/刘越）
此外，还有分布式虚拟现实技术的研究，也就是虚拟环境的表示技术，包括虚拟环境的几何表示、逼真环境的建模技术，以及基于物理特性的建模技术等。
近年来，随着计算机网络技术的快速发展，多用户的虚拟现实系统也逐渐得到了普及。为了实现分布式虚拟现实系统，我们需要研究多用户共享的虚拟现实实现技术，这主要包括网络技术以及数据共享技术，以便确保处于不同地理位置的用户能够看到完全一致的虚拟环境，并与其进行自然互动。
虚拟现实系统具体应用场景虚拟现实系统最大的特点是能够提供一种与以往所有传统技术所不同的视点，即第一人称视点。用户借助必要的硬件装备沉浸在由计算机生成的虚拟环境中，并且通过非常自然的方式，比如转头、在环境中走动，与其中的物体进行交互。
虚拟现实最早的应用可以追溯到军事领域。借助虚拟现实技术，科研人员可以构建一个飞行模拟器，飞行员可以在仿真虚拟环境中对各种特情进行处置，相关的类似虚拟现实系统已经应用于各种军用飞行器的培训中。在航空航天领域，虚拟现实也获得了广泛应用。
▲在哈勃望远镜的维修中，科学家在地面构建了一个用于哈勃望远镜维修的仿真环境，通过虚拟现实技术对整个维修方案进行了仿真，确保了相关维修工作顺利实施（供图/刘越）
在工业设计领域，在进行一项新产品的研发时，传统方法往往需要制作多个实体样品。这既延长了产品的研发周期，又极大地增加了研发成本。虚拟现实技术可以设计出生产线，也可以对现代化工厂中的复杂操作提供一个非常有效的可视化仿真手段。
在城市规划领域，虚拟现实技术可以在一个新的建筑物构建之前，让设计人员在佩戴头盔之后看到建筑物完工之后的效果，从而对设计方案进行更加有效的评估。
在文物保护领域，借助虚拟现实技术，我们可以将各种精美的文物进行数字化，让用户足不出户欣赏到这些精美的文物。此外，我们还可以借助虚拟现实技术还原文物最初的鲜艳色彩，以及预推文物在数百年之后，它的外观、颜色可能发生的变化。
▲利用虚拟现实、图像处理与人工智能等技术，实现了敦煌石窟虚拟展示、脱落壁画复原与演变模拟等系统，极大地提高和改善了文物保护研究的效率与效果（供图/刘越）
在医疗健康领域，借助虚拟现实技术，医生可以看到各种医学影像设备所获取的病人内部组织和器官的三维影像。这对于医生来说，他的眼睛仿佛具有了透视功能，极大地便利医生对于疾病的诊断以及治疗。此外，在新药研制领域，虚拟现实技术可以帮助科研人员看到药物分子与病人身体内病灶之间的相互作用，从而极大地缩短新药研发的时间，提高新药治疗的质量。
在教育培训领域，我们面临着在开展真实实验时，高损耗、高危险、高投入的问题，同时有很多实验是难以再现、难以观摩，以及难以实施的。但是借助虚拟现实技术，我们可以让用户在一个虚拟环境中进行实操训练，从而解决传统实验中所存在的上述问题。
游戏领域一直是虚拟现实获得最广泛应用的领域之一，用户借助虚拟现实设备投身到各种各样的虚拟现实场景中。比如用户可以佩戴上一套仿真的滑雪设备，通过不同的身体动作来控制虚拟化身在滑雪场内的动作，并通过呈现设备看到一个仿真的滑雪场景，从而为用户带来强烈的沉浸感及交互性。
未来，虚拟现实技术也将与其他领域，比如人工智能、物联网、大数据等领域的最新进展深度融合，有望创造出更多的创新应用。相信随着虚拟现实技术的普及，以及应用场景的拓展，社会对其接受度将逐渐提高，为其发展创造出一个更加广阔的空间。
走进一线企业，体验不一样的虚拟场景
作为虚拟现实平台的重要组成部分，动作捕捉技术拥有广泛的应用场景和较高的应用价值。在北京度量科技有限公司，讲堂主持人穿着动作捕捉服装，亲自体验光学三维动作捕捉系统。
北京度量科技有限公司产品经理朱士君介绍说，通过光学三维动作捕捉系统，可实现对现实场景的精确建模和对真实道具的追踪定位。目前，该项技术广泛应用于运动分析、步态康复、虚拟现实、电影动画、游戏制作、机器人、无人机和人机交互等领域，在教育、工业和医疗领域作用尤为显著。
150多个可编程控制光源、40多台高速工业相机、360度无死角拍照，10分钟内完成LED大屏的三维建模……在北京元客视界科技有限公司，主持人真正体验了一次数字人全流程制作。
北京元客视界科技有限公司品牌部杨一朵介绍说，FZMotion光学运动捕捉系统通过四周架设的红外相机阵列与定位算法，实现场地中多个摄像机、演员、道具等全域目标的精准定位及跟踪。同时，InFision XR软件通过在大屏上显示特定图案并利用摄像机进行拍摄与计算，可以在10分钟内完成LED大屏的三维建模、摄像机标定、虚实坐标系转换等，实现虚拟与现实的精确校准、实时交互。
随着多媒体和视觉显示领域技术的不断发展，全息投影在生活中的应用越来越广泛。全息3D显示技术由于可以呈现三维立体感强的效果，越来越受到用户认可。在深圳市瑞立视多媒体科技有限公司体验厅，讲堂主持人戴上3D眼镜，手持遥控柄，体验了一次惊心动魄的“穿越城市”。
深圳市瑞立视多媒体科技有限公司产品经理王云飞介绍说，这套双视角全息3D沙盘结合核心定位交互技术和全息3D显示算法，构建出了一套可支持“双主视角+N个观察视角”全方位立体交互操控系统。拥有全息3D效果，显示动态数字场景内容的全息3D智能交互数字虚拟沙盘，已在展览展陈、教育教学、军事仿真等行业场景落地应用。
（本期图文、视频来自第816期首都科学讲堂）
传播科学知识弘扬科学精神
让科学普及与科技创新两翼齐飞相关推荐
- 免责声明
- 本文所包含的观点仅代表作者个人看法，不代表新火种的观点。在新火种上获取的所有信息均不应被视为投资建议。新火种对本文可能提及或链接的任何项目不表示认可。 交易和投资涉及高风险，读者在采取与本文内容相关的任何行动之前，请务必进行充分的尽职调查。最终的决策应该基于您自己的独立判断。新火种不对因依赖本文观点而产生的任何金钱损失负任何责任。
热门文章
