目录

Summary for VR and Panoramic Video


VR和360度全景视频都是获得沉浸式体验的重要途径,除此之外,AR(Argmented Reality)和MR(Mixed Reality)也是比较火的概念,可以用来对比学习。

全景视频

  1. 全景视频实际上事先通过特殊的全景摄像机录制好视频,之后可以在HMD中观看。虽然看到的图像相对于用户当前环境而言是虚拟的,但是终归是从实际环境中录制而来的,本质上更贴近普通视频的全景推广。
  2. 在全景视频的观看过程中,用户只有3DoF的自由度,即只能完成头部的3个角度的运动,同时手柄实际上并不能和视频中的内容进行交互。
  3. 全景视频的主要应用在于实景导览,通过事先由拍摄者带着全景录像设备行走拍摄,用户观看时实际是将自己带入到全景设备的位置上,同时移动头部来观察不同角度的视频。

VR

  1. VR主要做的工作是创造出一个完全虚拟的环境,用户戴上HMD之后可以通过其看到虚拟环境中的事物,同时也可以使用HMD配套的手柄等设备进行操作,完成与虚拟环境之间的交互;
  2. VR支持的是6DoF的自由度,即除了头部的运动之外也支持身体的前后、左右、上下的移动,手柄;
  3. VR的主要应用在于游戏,比如广受好评的Beat Saber(又称节奏光剑),用户根据音乐节奏通过挥动手柄(在虚拟环境中被建模成光剑)来准确地按照提示的方向去砍击方块;

AR和MR

  1. AR主要做的工作是将虚拟世界中的事物投影到现实世界中,主体是现实世界,虚拟事物用于增强现实世界。

    MR主要做的工作是将现实世界中的事物虚拟化进入虚拟世界中,主体是虚拟世界,现实事物混合进虚拟世界中。

  2. AR实现起来比较简单,只需要将计算机产生的图像投影显示在现实中即可,目前的应用比如游戏Pokémon GO里面的AR-mode,启用之后游戏中遇到的Pokémon就可以投影在现实中。

    MR实现起来比较复杂,首先需要用摄像头扫描物体,得到的2D图像再交给计算机采用算法进行3D重建,最后将虚拟化建模好的物体展示到虚拟世界中,目前的应用比如Meta推出的Workrooms,线上的远距离视频会议在虚拟世界中可以变成虚拟人物之间面对面的交流。

总结

  1. 全景视频侧重于对虚拟环境的观察,而VR侧重于对虚拟环境的交互。

  2. 全景视频实际上是将用户带入到全景摄像机的位置上,让用户产生自己身临拍摄的环境中的感觉,本质上是对传统视频的推广;

    VR实际上是将用户完全带入到虚拟的环境中,用户可以和虚拟环境中的事物进行交互,而虚拟环境中发生的一切都和现实无关,本质上是对传统游戏的推广;

  3. 全景视频实际上和VR、AR、MR这种概念距离比较远,实际上只是因为全景摄像机相较于普通摄像机的360度视角的特殊性,这能让用户产生沉浸感。

  4. VR相比于AR、MR而言,是纯粹的虚拟环境,并不涉及到现实事物(除了HMD配套的手柄等设备),而纯粹的虚拟环境将人带入到了一个完全不同的世界,也是VR沉浸式体验的来源。

  5. AR和MR是虚拟和现实交融的技术,前者主体是现实,后者主体是虚拟环境。

https://s2.loli.net/2022/01/18/l1teM2HPxnSfpiV.png