搜索Unity

什么是AR、VR、MR、XR和360度视频?

几年前,虚拟现实(VR)开始成为一个热门话题,而现在这个行业正在快速发展。新的术语和缩写词层出不穷,让人无所适从。为帮助您成为这方面的行家,我们制作了一个包括从AR到XR在内的沉浸式技术的术语表。

360全景视频

定义:

360度视频通常被称为“球面视频”或“沉浸式视频”,是同时从多个方向录制画面的视频,一般是通过专业全景摄像机或采用球面阵列安装的一组单独的、互连的摄像机进行拍摄。360度视频可以是真人实景(不使用动画的电影或电视录像制作)、动画(从3D场景中捕捉)或计算机生成的图形和实景的组合。采用如3D游戏引擎技术进行做好显示准备后后,用户便可以使用头盔观看360度视频。

360度视频包含非交互式和交互式两种。在非交互式360度视频体验中,除了可以暂停视频或转动头部观看不同的“摄像角度”以外,观看者无法影响观看体验。在交互式360度视频体验中,观看者可通过凝视或控制器与UI或其他可交互元素交互。

机会:

许多行业都希望以营销或娱乐形式来呈现内容,而360度视频恰好提供了内容创作者与各个行业之间的合作机会。尽管360度视频制作在有些方面不同于数字资源视频制作,但其后期制作过程与游戏及其他数字MR内容的创作较为相似。

立体混响声音频

定义:

环绕立体声技术提供用户下方和上方的声源。这种技术的正式名称为“全球面”技术,还可以作为水平面上的音频源。立体混响声以多通道格式存储,它并不是将每个通道对应一个特定的扬声器,而是以较普通的方式呈现声场。然后根据聆听者的方向(例如,XR中用户的头部旋转)旋转声场。声场也可以通过解码使其格式与扬声器设置相匹配。立体混响声通常与360度视频结合使用,也可以用作表现遥远的环境声音的音频天空盒。

机会:

虽然立体混响声音频可能增加内存和制作预算成本,但它可以带来具有完全沉浸式音景的VR体验。相比之前的显示方式,VR更加重视音频设计和制作,而“3D声音”可以使大多数的虚拟现实体验更加逼真和更具沉浸感。

抗锯齿

定义:

抗锯齿技术最基本的作用是平滑三维资源边缘的锯齿状线条。这种方法可使边缘的颜色与紧紧环绕边缘四周的像素的颜色均匀混合。由于锯齿边缘会破坏沉浸感临场感,抗锯齿技术在VR中尤为重要。

机会:

抗锯齿可简单而有效地改善3D虚拟内容的视觉保真度。在许多情况下,类似Unity这样的3D引擎允许开发者使用前向渲染,以便进行多重采样抗锯齿。延迟渲染不支持多重采样抗锯齿,在这种情况下,开发者可以选择将抗锯齿用作后期效果。

API(又称“应用程序编程接口”)

定义:

API即“应用程序编程接口”,是软件开发中的一个常见概念,贯穿于AR和VR整个内容开发过程。事实上,它是一个使软件可以与操作系统连接并利用其资源的标准化接口。VR或AR体验用户看不到API。

机会:

访问和利用操作系统的资源和潜能变得更简单、更标准化、更高效。

ARCore

定义:

适用于AR的纯软件解决方案适用于所有运行Android Nougat或任何后续OS版本的Android手机,体验效果与ARKit为iOS提供的移动AR体验相似。事实上,SDK本身的功能与ARKit类似。Google尚未决定是将ARCore整合到Android中,还是将它作为一款单独的产品。但已经证实不会将ARCore纳入Daydream品牌。

机会:

如果ARCore如Google预期的那样取得成功,则将为大量的受众带来可访问的AR平台,当然也会将AR内容带给大量受众。

适用于Unity的ARCore SDK

定义:

软件开发工具包可用于开发面向Android设备的AR应用程序ARCore

机会:

为制作适用于ARCore设备的内容提供简便、快捷的方式。

ARKit

定义:

一个让您可以为iPhone和iPadAR打造和开启 增强现实体验的框架。

机会:

一种让大量iOS受众享受到AR体验的方式。

ARKit插件

定义:

Unity软件包可用于开发面向iOS版ARKit的应用程序。

机会:

让面向iOS平台的AR开发变得更加便捷、品质更高。

AR光源感知

定义:

从AR会话中捕捉的视频帧的任何场景照明的估算信息。

机会:

AR光线估算可确保在摄入图像上渲染的虚拟对象与环境融为一体,这是营造沉浸感所必不可少的。

空间音响

定义:

此功能可改变音频从音频源传输到周围空间的方式。这类插件获取音频源并调节左右耳效应的增益;Unity等3D引擎根据音频监听器(AudioListener)和音频源(AudioSource)之间的距离和角度进行计算

机会:

更佳逼真的沉浸式音效体验,与VR内容的3D特性相得益彰。

空间音响SDK

定义:

是原生音频插件SDK的扩展,可用于改变音频从音频源传输到周围空间的方式。内置的音频源平移功能是一种简单的空间音频形式,因为它获取音频源,并基于音频监听器(AudioListener)和音频源(AudioSource)之间的距离和角度来调节左耳和右耳效应的增益。这为玩家在水平面上提供了简单的方向提示。

机会:

此SDK是发挥空间音响功能潜力的简单、快捷、高效的方式。

增强现实(AR)

定义:

增强现实是数字创建的内容在现实世界之上的叠加。增强现实(即“AR”)能够使用户同时与现实世界和数字元素或增强内容进行交互。可以通过Microsoft的HoloLens等头盔或通过智能手机的视频摄像头向用户提供AR。

在实际和实验性的实现中,增强现实还可以替代或削弱用户对现实的感知。改变现实感知包括模拟眼部疾病以进行医疗培训,或逐步阻挡现实以引入游戏世界。要注意的是,在某个时间点,增强现实和虚拟现实可能合并或重叠。另请参阅“混合现实”

机会:

尽管虚拟现实在刚刚起步时吸引了大量的消费者目光、投资活动和行业宣传,但现在人们对增强现实的重视度却越来越高,因为后者无需专用硬件。AR体验不会完全限制用户的视野,而且拥有完美越狱这一巨大潜能,因此日益受到消费者的青睐。Pokémon GO的巨大成功与工业和创意设计行业的快速采用,都证明AR已经有机会大获成功获得大量的受众。如需详细了解AR带来的机遇,请参阅Unity探讨增强现实未来的博客第一部分第二部分

增强虚拟

简单定义:

混合现实连续体中,增强虚拟介于AR和VR之间。准确地说,增强虚拟是指将现实世界的对象带入可以与之交互的虚拟世界中。它可以看作是增强现实的逆转或反映。

将增强虚拟理解为MR的具体示例或实现可能是最为恰当的。“增强虚拟”这一说法并不恰当,因而可以视为一个灵活的术语。

机会:

从UI角度来看,增强虚拟是一种让VR空间变得更直观,同时对新用户而言更熟悉和“易用”的方式。

Cinematic VR

定义:

对于电影制作者和观众而言,VR的潜力是巨大的。它提供了一种新的叙事模式,充分利用自身的沉浸式体验潜能,以此提高观众的临场感。从观众可以参与其中的故事主线,到故事支线,再到带有类似游戏元素的“电影”,VR电影提供了许多独特的范例。尽管这一术语有多种解释,VR电影实际上包含多种可供虚拟现实内容借鉴或利用的电影制作手法,用来提供叙事体验

机会:

如果您是一名电影制作者,则这是一场创意设计的变革。如果您是一名观众,那么您将看到更多元化和更新奇的电影。如果您制作VR内容,例如游戏,VR电影将为您开启自由想象的大门,让您不断创作适合新产业的内容。

CPU(即“计算机处理单元”)

定义:

计算机处理单元被认为是现代计算机最重要的组成部分。CPU的任务是执行计算机程序提供的指令。目前您接触到的CPU通常都是由单个集成电路组成的微处理器。

机会:

开发人员可以使用游戏引擎的性能分析器,了解CPU承受的渲染负荷。获取此数据后,您可以优化VR内容的多个方面,确保为用户带来更好、更舒适的体验。

晕屏症(又称“虚拟现实晕屏症”或“模拟晕屏症”)

定义:

当人在物理空间移动而大脑感知却是静止时(因为人体未产生动势),会产生“晕动症”(通常乘坐长途车或飞机可感觉到)。晕屏症则相反,它是在体验者静止,但因面对不断变化的视觉图像而产生强烈的运动感时发生。(Arns和Cerney,2005年)

但是,晕屏症的感受与晕动症体验类似。

导致晕动症的因素有多种。例如,可视显示设备的滞后、刷新率和更新速率等因素都可能导致晕动症。其他因素也可能影响晕动症,包括对比度、分辨率、颜色、可视角度、可视区域、双目视场、场景内容、闪烁和摄像机移动等。

最新一代VR推出之初,模拟晕屏症被认为非常普遍,现在,一提到VR的缺点,用户大多还是会想到它。人们普遍认为,要防止出现晕屏症,最关键的在于内容而非硬件。许多人认为,在使用过程中,用户对晕屏症的耐受度会上升。这种体验还有很多未知的地方,尤其是它对年轻用户的影响。

机会:

这给单个VR项目以及VR的整体声誉和潜力都带来巨大挑战。如果因VR内容引起晕屏症,可能严重影响VR的应用,损害它的声誉。我们需要全力投入这方面的研究和测试工作。好消息是,业界克服晕屏症的通用最佳实践

Direct3D变换管线

定义:

Direct3D变换管线是一种图形变换管线,是适用于Microsoft Windows的Direct3D图形API所特有的。图形变换管线的实现使用三个Direct 3D矩阵:世界变换矩阵、视图变换矩阵和投影变换矩阵。Direct3D矩阵的工作原理与高级图形变换管线中的矩阵类似。

机会:

图形变换管线可为使用Direct3D的用户量身定制。

视线追踪

定义:

头戴式显示器中的摄像机可跟踪用户的视线。视线追踪可用作新的输入轴;例如,在空中格斗游戏中用于描准敌机。例如,FOVE是在Kickstarter上推出的HMD,可能引入视线追踪功能和注视点渲染SDK。

尽管视线追踪不是注视点渲染的必要条件,但它能够根据用户的视线方向平移高细节区域,从而显著改善渲染效果。此外,新用户往往难以抑制环顾四周的自然倾向。问题是,HMD光学器件在用户通过它直视屏幕中心时往往能发挥最佳效果,用户最好通过转动头部来环顾四周。视线追踪朝着用户用自己的眼睛在VR中自然跟踪的方向迈出了第一步。

机会:

一种提供更舒适、更直观、更具有沉浸感的VR内容的方式。

面部跟踪

定义:

计算机视觉技术旨在通过实时跟踪特定面部特征,获取静止图像和视频序列中的数据。

机会:

更加逼真和自然的游戏角色和交互,增强了叙事能力、沉浸感临场感,同时可提供更具创新的交互机制。

目标视场

定义:

“目标视场”与视野有关,它覆盖用户在移动眼睛、头部和颈部等时可以从给定位置看到的空间。

机会:

和视野一样,目标视场也是特定VR、AR或MR体验在摄影和取景时所使用的观看者视角。

视野(又称”FOV“)

定义:

视野是人眼直视前方时所能看见的空间范围。无论是在现实还是MX情境中,FOV是人的自然视野范围。人的正常视野角度约为200度。

研究虚拟现实头盔时(又称头戴式显示器或HMD),您会发现上面标有视野规格。目前,大多数VR头盔的最小视野角度在90到110度之间,这是获得良好VR体验的基本要求。视野越高,用户看到的环境越广,因为它会延伸到用户视野边缘,获得的沉浸感越强。这好比IMAX影院屏幕和一般影院屏幕之间的差别。IMAX屏幕更大,因此覆盖的视野更广,可视范围更大,从而可营造更加身临其境的体验。

宽视场很难实现,因为光学镜头的限制(存在色差和桶形失真)变得更加严重,而且要增加光学器件本身的尺寸和复杂性。和用鱼眼镜头拍摄的照片一样,HMD屏幕上的图像因HMD光学器件原因会发生失真。此外,扩大视野会“拉伸”屏幕分辨率,这意味着要在更高的FOV角度下保持相同的像素密度,必须增加分辨率,而使用多重分辨率VR着色和注视点渲染可以减少潜在的影响。

另外值得注意的是,有些头盔(例如HoloLens)呈现的视野也是有限的。智能手机AR体验的“视场”可以理解成可用的屏幕大小,虽然这不是严格的技术定义。

在极少数情况下,视野被称作“视场”。

另请参阅:“目标视场”

机会:

对于HMD制造商而言,需要非常重视FOV问题。对于内容创作者而言,硬件FOV局限性会显著影响用于绘制VR或AR视觉的“画布”,因此这是一个重要因素,尤其对于多格式版本而言。

注视点渲染

定义:

高级VR渲染引擎通过弥补人体生物学的不足,能够将更多的时间用在视野中心上,同时减少视野周边区域细节的渲染。

如果计算机能自动以较低的分辨率或在简化对象后进行渲染,则可以更快地渲染整个场景。因为人眼视野中心感知的细节较多,每一帧我们会错过很多的细节。通过在帧的边缘进行低品质渲染,计算机可以将更多的时间用于渲染中心的细节,或者更快地渲染单个帧。

机会:

注视点渲染可极大的提升速度。同样,它也可以释放出更多的GPU处理内存,让您可以更加自由地实现您的VR创意,同时无需以最高分辨率渲染整个场景。

帧率(简称”FPS“)

定义:

“帧率”或FPS指屏幕图像每秒刷新的次数。

机会:

帧率越高,运动越流畅,VR体验就越舒适。这对于虚拟现实非常重要,因为运动缓慢或不连贯往往会导致模拟晕屏症。用户要获得舒适的VR体验,必须购买FPS至少达到90(对于台式机或控制台VR而言)和60(对于移动设备而言)的VR头盔。目前市面上的VR头盔帧率大多为60到120。帧率又称屏幕刷新率,有时用赫兹(例如,90Hz)表示。

视椎体剔除

定义:

近裁剪面与远裁剪面属性决定场景中摄像机视点的开始和结束位置。平面垂直于摄像机的方向布置,并从其位置进行测量。近平面是可以渲染的最近位置,而远平面是可以渲染的最远位置。近裁剪面和远裁剪面与摄像机视野定义的平面一起,描述通常所谓的摄像机视椎体。视锥体剔除不显示完全在此区域之外的对象。Unity等3D引擎中发生的视锥体剔除与您是否在游戏中使用遮挡剔除无关。

机会:

视锥体剔除可显著提高虚拟现实的性能,帮助提供更加舒适、更加令人难忘和身临其境的体验。

注视追踪(又称”视线追踪“)

定义:

跟踪用户眼睛的方向和移动,有时使用跟踪的数据作为输入。另请参阅:“头部追踪”

机会:

一种支持细微用户控制和输入的方法,此方法可拉取用户与指定体验的交互过程数据。注视追踪也是一种功能强大的辅助工具,例如,身体移动受限的用户可以通过它来进行交互。

图形变换管线

定义:

图形变换管线方法常用于获取图形软件、游戏引擎等中创建的对象并将其传递到场景的既定空间,最终到达用户显示屏上。与对于更加传统的3D显示方式一样,图形变换管线可以非常有效地用于VR和AR。

机会:

一种可靠、公认有效的方法,可确保对象在VR或AR场景中按预期方式显示。图形变换管线和相关矩阵通常由3D游戏引擎(例如Unity)提供,因此您无需过多担心3D对象如何送到用户屏幕的VR或AR主页上。

GPU(即”图形处理器“)

定义:

图形处理器只包含一种组件(即电子电路),专门用于加速帧缓冲区内的图像生成。在这种情况下,生成的此类图像用于在屏幕或类似设备上显示。图形处理器广泛应用于个人计算机、工作站、游戏主机、移动设备等其他多种设备。虚拟现实对GPU的要求很高,这主要是由于此显示方式需要分别为用户的左眼和右眼创建不同的图像。

机会:

消费者需要投入大笔资金购买足以支持Oculus Rift和HTC Vive等高端VR解决方案的GPU。虽然成本极大地限制了VR的潜在受众,但已经涌现出许多新的优化虚拟现实中的GPU性能的方法,其中许多方法的定义可在本术语表中找到。

Haptics(又称”触觉反馈“)

定义:

Haptics通过输入设备或特定触觉可穿戴设备等向用户施加各种力(最常见的为振动)来模拟和刺激触觉。Haptics用于增加屏幕上的对象或移动的可触摸性。使游戏控制器振动就是一个典型的例子,但也可以通过智能手机屏幕和新型方法,比如将纹理投射到空气的超声波扬声器阵列等提供振动,VR用户在与内容交互可以感觉到这种振动。

机会:

提升VR 沉浸感,尤其VR临场感的又一种方法。

头盔(又称”头戴式显示器“或”HMD“)

定义:

虚拟现实或增强现实头盔通常采用类似护目镜的形式,用户戴在头上,覆盖或包住眼睛。VR头盔通常包含一个屏幕和多个镜头,以便用户观看虚拟世界, 或包含一个可以显示增强现实内容的半透明屏幕。许多头盔可以用于多种不同的硬件平台,可通过手机和控制台等任何设备输出VR内容。可以说,它是创新工具和技术的最佳拍档,可支持多种不同的VR平台

机会:

VR头盔是现代虚拟现实技术的载体,业已成为AR和其他HMD仿效的模板。在过去的50到60年间,该技术取得了长足的进步,20世纪70年代初期笨重、昂贵而且配戴不适的VR头盔也已经变成与滑雪眼镜差不多大小,其中Samsung Gear VR和Google Cardboard等VR头盔甚至使用手机作为屏幕。在研究VR头盔时,应考察屏幕是否内置,或是否需要借助手机。如果您希望获得优质的沉浸式体验,可以选择Oculus Rift和HTC Vive等高端VR头盔,但请记住,高端VR头盔需要在高端计算机上运行。如果您希望获得良好的移动VR体验,则可以选择Samsung Gear VR和Google Daydream,因为这两者的效果较之Cardboard VR观看器更为细腻,其中Google Daydream的价格更是非常亲民,因而成为VR设备简化变革的有力证明。

头部追踪

定义:

头部追踪通过各种方法监控和跟踪给定用户的头部和颈部的位置和移动,为输入和交互提供可能。.

举个例子,如果用户的颈部和头部略向一侧倾斜,头部追踪技术可以使用户在HMD中看到的内容偏移相同的角度。用户也可以伸展颈部朝四周观望、仰视和俯视,或者通过“目视地面”等动作激活特定的游戏操作。

机会:

头部追踪是VR提供的一项核心功能;它使虚拟世界构建成为可能,让用户可以像与现实世界交互一样探索虚拟世界。

沉浸感

定义:

“沉浸感”是指将用户完全吸引到虚拟世界中。在VR中,“临场感”特指您感觉或潜意识认为自己存在于给定的体验中,而“沉浸感”往往泛指被虚拟世界包围而忘记现实的感觉。在VR中,沉浸感更具实际意义,因为用户的眼睛、耳朵,有时甚至双手和身体都会参与其中,从而屏蔽现实世界的任何暗示或感官输入。

机会:

不论您是想让用户还是自己获得逼真体验,沉浸感都是VR以及部分AR创作的主要动力。沉浸感是VR的魅力所在,它让您有机会吸引受众的注意。

沉浸式体验

定义:

沉浸式体验概念早在最新一代VR和AR出现之前就已提出,尽管它包括使用这两种形式的体验,还可能包含所有MRXR内容的体验。此术语甚至被用来指特定于网站设计和游乐园旋转木马设计等的方法。然而,就VR而言,此术语指的是完全交互式体验、最低程度交互式体验和游戏之外的体验。这些体验可以作为真正的VR和360度视频两种形式提供。此术语含义非常广泛(和“XR”非常相似),但在此情况下不包括通过传统的平面屏幕产生的传统的数字和电影体验。

机会:

为吸引用户注意、探索新的创意形式、教育、娱乐、培训、服务、推广等其他更多方面提供新的机会。

沉浸式娱乐/超现实体验

定义:

结合现实世界的实体特征与VR或AR以及叙事写作和电影制作等其他形式的娱乐、营销和体验内容,例如The Void体验。

机会:

有机会为游乐园、拱廊、商场和许多其他体育场馆制作内容,从而为首次体验VR的公众提供多样化的接触方式。

惯性测量单元(又称“IMU”或里程计)

定义:

IMU即惯性测量单元,是一种能通过各种手段和技术检测运动的电子装置。IMU由加速度计、陀螺仪或罗盘组成,用于测量设备的绝对旋转角度,其测量延迟时间非常短。IMU还用于头部追踪等功能。IMU可与光学追踪系统一起用于确定HMD的视图方向。

与任何追踪系统一样,延迟和准确性是IMU的两个关键因素。通常情况下,这些功能并不对外宣布,但不同设备之间差异并不大。值得注意的是,Samsung GearVR包括一个专用的IMU,而Google Cardboard和Daydream则相反,都依赖于给定手机的内置IMU为头盔传输信息。

机会:

在VR HMD中,手机由横向切换为纵向或为手机游戏提供倾斜控制,其背后采用的技术都是一样的,目的是让虚拟摄像机与用户的头部方向相匹配。这为实现各种创新形式的控制和VR沉浸式体验提供了机会。

输入

定义:

输入提供了一种与机器、计算机或其他设备进行交互的方式。对于VR和AR,“输入”特指用于虚拟现实和相关形式的控制方法。最常见的形式是使用控制器进行运动追踪,但许多VR、AR和相关体验允许用户使用鼠标和键盘或游戏键盘进行交互。

随着VR日益成熟,出现了许多替代的、价格合理的输入方式,这包括从跟踪每个手指运动的手套,到可以在VR体验中跟踪全身的身体套装。

机会:

输入为设计者设计不同寻常的游戏机制提供了诸多方法。而用户可以通过输入来与数字世界交互,真正获得身临其境的感觉。输入方法如果不适合它们所服务的VR内容,将严重影响用户体验,使这种形式无法发挥最大潜能;即无法获得最佳沉浸感体验。因此,3D创作者应慎重决定采用的输入方法。

由内而外/由外而内运动追踪

定义:

HTC Vive和Oculus Rift这两大桌面虚拟现实平台都依赖于在房间内置于HMD外部的固定位置的摄像机或“灯塔”。这是对“由外而内”的运动追踪的定义。同时,Windows沉浸式混合现实头盔和Microsoft HoloLens等设备使用所谓的视觉里程计技术,分析安装在HMD上的摄像机的图像,以跟踪其相对于周围环境的位置。后一种方法可以理解为提供“由内而外”的运动追踪,与设置外部摄像机相反。

机会:

虽然硬件规范主要掌握在平台所有者的手中,但这两个可用选项可增加与VR及AR相关的设置数量,从而可能扩大受众面和提升体验。

瞳距(简称“IPD”)

定义:

给定用户眼睛的瞳孔之间的测量距离。IPD可以理解为VR缩放所基于的某种“基准测量值”。一些HMD能够手动调节两个镜头之间的水平距离,以更好地匹配不同用户的IPD。

机会:

虽然硬件规范主要掌握在平台所有者的手中,但这两个可用选项可增加与VR及AR相关的设置数量,从而可能扩大受众面和提升体验。

延迟

定义:

延迟是虚拟世界对用户移动的反应速度。具有高延迟的虚拟世界可以描述为显示“滞后”。简单而言,延迟越短,给定的体验越舒适。通常,延迟应少于20毫秒。此数字越小,体验越好。

延迟还可以指虚拟世界为用户更新的速率。

机会:

低延迟有助于缓解晕屏症,从而增强沉浸感临场感。更重要的是,它能让您在虚拟世界中感到舒适。

就虚拟世界更新而言,尽量缩短延迟可使虚拟世界变得更逼真,获得更好的交互体验。

延迟是决定整体XR体验效果的一个重要因素。

光场技术

定义:

光场技术融合各种计算成像和显示技术、硬件及可捕捉并修改图像与视频的图像处理解决方案,在后期环节乃至每个用户的不同体验中调整视频内容的光圈和焦距。该技术由Lytro公司首创,光场技术摄像机,其工作原理与现代数字摄像机基本相同。不过,他们使用的是由大约20万个小透镜组成的“微透镜阵列”,可以在光线从多个角度到达摄像机的处理器时捕捉无数不同的视角。相比之下,传统数字摄像机的图像传感器则仿照传统胶片摄像机的基本原理,在光线从单一角度进入时进行捕捉。

大部分工作也是通过处理和校准软件完成。另请参阅:“光场视频”

机会:

光场技术可让360度视频、VR、AR和MR内容变得更细腻、更逼真和更多元化,极大地推动创新交互发展,让用户无需始终站在捕捉摄像机的原始视点,即可完成整个视频体验。

光场视频

定义:

由伯克利大学和圣地亚哥大学的学者组成的团队使用了一种独特的安装方法,将传统的DSLR视频摄像机和Lytro Illum摄像机(这是一个光场摄像机)组合成一个混合设备,以使用消费级硬件拍摄光场视频。通常,光场技术摄像机的最大帧速率仅为3FPS,因此不适合拍摄视频。这种新方法在视频制作中引入光场摄像机的全部优点意味着,捕捉视频之后可以进行重新聚焦、调整视野、调整光圈等各种操作。

机会:

这种新兴技术为360度视频和其他形式的沉浸式视频的后期制作过程、交互式设计和创新带来巨大的潜力和灵活性。在更广泛的层面上,光场技术为模拟VR和360度视频内容中的聚焦、视角和距离等现实世界线索提供了方法。

低余晖显示技术

定义:

在体验中可以环顾四周,可能是VR的最基本的优势之一。然而,受限于早期的VR技术,用户在快速移动过程中可能发生视觉模糊、身体不适,破坏沉浸感。低余晖显示技术可解决此问题。

在Google Daydream的技术规格中,适用于智能手机显示屏的低余晖模式是一项重要的功能,使Daydream不再“只是使用配备若干镜头的智能手机”,而更像真正的VR HMD;而且,它还可以访问移动平台。Samsung Gear VR插入HMD时会将显示切换到这种特殊模式,也可以使用Gear VR的开发者模式手动激活此模式。在此模式下,从HMD外部看时,设备呈现闪烁的状态。因此请谨记,低余晖状态只能是暂时性的。

机会:

此方法正在不断改进,可让用户随心所欲地移动,在您创造的世界中获得真正的临场感

混合现实(简称“MR”)

定义:

混合现实体验可无缝融合用户的真实环境与数字内容,两种环境可以共存并交互。混合现实体验常见于VR体验和VR设备,可被认为是一种纯VR和纯AR结合的连续统一形态。这种体验与沉浸式娱乐/超现实体验类似。

“混合现实”频繁地见诸于广告宣传,定义也是五花八门,有些包含种AR体验,有些则包含介于VR和AR之间的体验。然而,上述定义正日益得到广泛认同。

机会:

尽管混合现实诸多设计挑战,并且托管和支持平台也还需要极大改进,其仍能够带来通过MR丰富受众体验和显示方式的巨大机遇。这意味着,更多的内容可以覆盖和服务范围更广的用户,包括那些认为传统VR或AR未达到其对功能性、舒适性、品味或预算要求的用户。

混合现实捕捉(又称“混合投射”)

定义:

混合现实捕捉是一个围绕由Oculus提出并使用的术语和方法,可以为身处VR体验之外的人带来融入内容的感受。正如Oculus所指,此方法让开发者可以“使用Rift和Touch创作出视频和其他内容,使现实世界中人物的实时画面与VR应用程序中的游戏内画面相融合”。

机会:

混合现实捕捉是一种颇具吸引力的VR体验分享、宣传、推广和交流方式。

运动时间延迟

定义:

移动时间延迟是指现实世界中发生实际运动到眼睛从HMD屏幕接收反映此变化的光子之间的时间。由于速度极快,而距离却很短,因此很难测量,但延迟可以反映VR系统的总体效率。Lay用户有时用具有相同含义的术语“滞后”来描述这种现象。

机会:

高帧率可平滑运动,避免出现导致晕屏症的“频闪”。然而,造成不舒适的VR体验的根本原因在于,现实世界的运动和视觉感知之间的差异。在这种情况下,计算机可以非常快速地渲染帧,但如果跟踪数据出现延迟,或者如果需要对帧进行编码和流处理,则较长的运动时间延迟仍会导致出现晕屏症。目前,因为此问题,VR很难实现云渲染。

运动跟踪

定义:

运动追踪是一项跟踪和记录VR用户的移动和现实世界对象的移动的功能,可将它们作为输入进行读取,并在虚拟现实中实时重现这些移动。

机会:

运动追踪支持VR用户如同在现实环境中一样在虚拟环境中四处走动。当您在虚拟世界里探身注视某个对象时,此对象与您的距离也会拉近,就像在现实中一样。运动追踪是让感官融入虚拟环境的最重要的一环。同样,内容创作者现在可以通过它来在VR中创作和设计VR内容

多通道立体渲染

定义:

在虚拟现实中,为了能够给用户提供立体3D图像,需要为每只眼睛提供不同的图像。也就是说,将两个不同的3D图像渲染到HMD。但是,多通道立体声渲染的性能要低于单通道立体声渲染,因此会影响某些场景的视觉保真度或复杂性。

机会:

对于游戏及其他VR内容创作工具的制造商而言,必须在实现和支持多通道立体声渲染方面投入大量精力。对于VR用户而言,可能需要通过强大的平台才能使用虚拟现实HMD进行多通道渲染。

非游戏虚拟现实/增强现实

定义:

包含所有非游戏内容的VR体验,例如教育应用程序、医疗培训软件、建筑可视化、军事模拟、宣传设施、游乐园旋转木马、零售用途和创意工具。目前,这些类型的体验开始在VR内容中占据较大份额。

机会:

好消息是,随着越来越多的行业和部门逐渐开始使用VR技术,虚拟现实生态系统也在日趋完善。这将为VR创作者和用户带来意想不到的好处,包括更多的工具、更多的投资和更多的人才。

OpenGL变换管线

定义:

OpenGL变换发生在OpenGL管线中,因此,基本流程与一般图形变换管线相同,跨语言、跨平台图形API尤其如此。OpenGL矩阵使用方式与为Direct3D变换管线量身定制的矩阵类似。

机会:

图形变换管线专为熟悉OpenGL API的用户量身打造。

OpenVR SDK/API

定义:

由Valve开发的SDK和API,专门用于支持SteamVR/HTC Vive和类似VR头盔的开发。相比之下,“OpenXR”计划是一种更广泛的工作组,旨在建立一套支持创作和分发VR和AR内容、工具和硬件的通用标准。

机会:

通过此SDK/API,可创作出在当前最多产和最受欢迎的最新一代VR平台之一发布的内容。

OpenXR

定义:

旨在制定VR和AR应用程序及设备的开放式标准和消除行业隔阂的计划。另请参阅:“OpenVR SDK/API”

机会:

一种更强大、更可靠、更先进的VR和AR内容创作生态系统。

全景2D/3D视频

定义:

与新兴VR和AR领域中的许多术语一样,全景2D和3D视频包含的范围较广。它们通常指完全环绕用户的视频内容,无论是与眼睛平齐的360度频带还是整个球体的视频。广义而言,此术语包括在VR HMD情境中观看的360度视频,但同样包括在游乐园等场所的通过屏幕观看的设施。尽管使用适当的设备和预算完全可以制作出真正的立体全景3D视频,但目前大多数真人实景360度视频内容仍是2D图像的。

机会:

除了360度视频提供的机会外,其他内容创作者(游戏开发者和营销者)还可通过全景视频降低场景复杂性,将视频作为预渲染背景放置在真实几何体位置。类似Unity这样的3D引擎为此类视频内容提供内在支持。

位置追踪

定义:

位置追踪是一项实时记录用户移动和对象移动的功能,这使得用户可以像在现实中一样四处走动,并在给定的虚拟世界中以交互的形式再现这些运动。

虽然“位置追踪”这个术语涉及的方面和“头部追踪”“注视追踪”定义的类似,但它涵盖HMD、控制器、道具和其他现实世界对象,包括那些在真正的混合现实体验中可以看到的对象。

机会:

基本上而言,位置追踪的相关技巧会影响到VR体验能否带来逼真和沉浸感。除此之外,随着可以通过位置追踪的对象和输入的种类不断增加,极大地拓宽了虚拟现实可以提供的体验范围。

用于VR的后期处理特效(即“后期处理栈”)

定义:

用于VR的后期处理特效提供在创建场景后应用的各种视觉效果。后期处理栈在单条后期处理管线中整合全套图像效果,从而直接、高效地应用电影效果,并以正确的顺序进行单通道渲染。

机会:

类似后处理堆栈中所看到的方法提供了一种简单、相对快速的装饰VR世界的方式,使其更加细腻,最终使其变得更加逼真。

临场感(即“存在感”)

定义:

身处某个环境的感觉,无论是在现实还是虚拟现实中。身处现实中的人可以强烈地感觉自身的存在和与社会交互。而在VR中,这个术语指一种体验,即您相信自己占据虚拟世界。当我们被一本书或一部电影吸引,忘记现实世界的存在,也可以被认为“沉浸”其中,这就是虚幻与现实重叠。VR提供任何其他媒介或形式无法比拟的沉浸感。

机会:

临场感无疑是VR的根本优势所在,也是使玩家沉浸其中的重要工具。临场感的产生,离不开许多用于制作优质VR的技术,但也许最重要的一点是,“任何提醒用户身处VR体验而非现实的东西,都可能影响临场感”。也就是说,不一致的菜单或瞬间的滞后可能会迅速破坏临场感。

渲染循环(又称“渲染管线”)

定义:

渲染循环提供决定渲染帧如何构成的逻辑架构。典型的渲染循环可采用如下结构和顺序,例如:

剔除 > 阴影 > 不透明 > 透明 > 后期处理 > 呈现

渲染循环由3D引擎完成场景创建的一系列步骤组成,而图形变换管线是由将对象从其自己的空间变换到是实体屏幕空间的一系列步骤组成。

机会:

在VR中,必须为两只眼睛渲染两个不同的图像。尽管可以同时运行两个渲染循环,但它占用的CPU和GPU资源非常高。但是,随着Unity单声道立体声渲染等技术的发展,渲染循环可更高效地支持VR内容,从而为GPU和CPU处理其他任务腾出空间。

渲染目标(包括“渲染目标阵列”)

定义:

渲染目标是一个内存缓冲区,非常适合用作目标存放位置,以便对象显示在最终用户的头盔中。渲染目标的阵列可同时输出到多个渲染目标。

机会:

渲染目标是游戏和相关开发的既定惯例,是一种非常有用的屏幕外对象渲染功能。

渲染纹理

定义:

渲染纹理是在运行时创建和更新的独特纹理类型。在指定要渲染到的某个摄像机之前,您可以首先新建一种渲染纹理,再将它指定到要进行该渲染的某台摄像机上。

机会:

渲染纹理可以用于游戏引擎中的材质,从而利用运行时的优势。

场景图

定义:

场景图是一种特殊的数据结构,用于整理渲染场景所需的信息。场景图供渲染器使用和理解。场景图可以指整个场景或对视图可见的部分。后一种情况使用的术语是“被剔除的场景图”。

机会:

井然有序的VR世界高效而且可靠,通过高效定位和缩放场景中的对象,将占用的系统计算资源降到最低。

屏幕分辨率

定义:

屏幕分辨率指屏幕上显示的像素数。与计算机监视器或电视一样,呈现的像素越多,图像质量就越清晰、越逼真。但是,对于VR头盔的屏幕分辨率,由于图像距离人的眼睛只有几英寸远,因此需要提高屏幕分辨率,避免用户察觉像素之间的间隔。此外,VR头盔的屏幕一分为二,以准确地向每只眼睛显示一个图像。

机会:

作为开发者或消费者,在选购中级或高端VR头盔时,屏幕分辨率应至少达到2160×1200(或1080×1200,对于每只眼睛而言)。如果低于此数值,可能出现所谓的“纱窗效应”,就好像隔着纱窗看东西一样;换言之,您可能在屏幕上看到小黑点或线条。

单通道立体声渲染

定义:

单通道立体声渲染功能将两只眼睛的图像同时渲染到一种填充的渲染纹理中,也就是说整个场景只渲染一次,从而大大缩短CPU处理时间。

如果启用了单通道立体声渲染立体实例化,则无论是否应根据3D对象在摄像机可见范围内来渲染此对象,Unity等3D引擎都会在两眼之间共享剔除和阴影数据。因此,对于每个可见的对象,我们只需要渲染一次对象,从而大幅提升速度,同时提供出色性能

单通道渲染和立体实例化的区别在于后者性能更高,但需要硬件支持。如果没有此功能,3D引擎会将场景渲染两次:首先渲染左眼图像,然后再渲染右眼图像。

从Unity 2017.3开始,支持的所有平台都具有单声道立体声和单通道实例化功能(如可用)。

机会:

随着传统渲染循环对CPU处理时间的要求降低,您可以将更多的时间投入到VR项目的其他方面。

六自由度(即“6DOF”)

定义:

提供六自由度的系统在三维空间中跟踪对象的位置和旋转。三个位置轴与三个旋转轴共同组成可自由控制的六个“度”。

机会:

3DOF旋转追踪的作用与全6DOF追踪明显不同。举例而言,最初的Wii控制器只跟踪旋转,迫使游戏开发者使用控制“隐喻”表示投掷球或摆动网球球拍等操作。另一方面,HTC Vive和Oculus Touch控制器可以在空间中得到精确控制,让用户知道他们的手在哪里,让控制更细腻,临场感更强。

SLAM(又称“同步定位与地图构建”)

定义:

同步定位与地图构建是通过在空间中移动的代理(可能是车辆)生成和更新地图的过程,与此同时,此类代理也在空间中受到跟踪。目前可以采取多种方法来实现同步定位与地图构建,而且这项技术对于自动驾驶汽车、家用机器人和AR应用程序而言越来越重要。

机会:

SLAM技术及其支持算法的出现可能对AR的发展产生重大影响,并将成为多种实际应用以及游戏和其他娱乐形式的实现手段。

空间音频(即“3D音频”)

定义:

空间音频是一种生成和放置音频资源的方法,旨在从VR用户视角听到从3D场景中的特定位置发出的给定声音。这很像家庭影院环境或电影院中的环绕声,对于VR体验的临场感沉浸感具有重要意义。

机会:

声音是营造沉浸式VR体验所必不可少的一环。空间音频可以让您听到四面八方的声音,也可以在您转动头部时跟踪声音,就像在现实生活中一样。这意味着,VR开发者可以在营造更多真实感的同时,使用声音来指导或引导玩家,并提供更多与VR不同的创新机制。

立体成像

定义:

通过摄影或其他图形手段重现双目视觉效果,也就是重现人用双眼观察现实世界的体验。通常,立体视觉方法提供同一场景的两个不同的图像,一个图像用于用户的左眼,另一个图像用于右眼;举例而言,这可以通过HMD的左右镜头来实现。然后,用户的大脑将这两个图像组合成具有深度和视角的3D场景,这与现实中人的左眼和右眼观察事物和编译图像的方式相同。

机会:

VR内容更具沉浸感和临场感,与传统平面显示器所显示的内容截然不同。

立体实例化

定义:

单通道渲染演变而来,是最新的几种渲染优化方法之一,旨在帮助开发者在无法降低帧率预算(传统游戏开发同样受限于此)的情况下确保获得较为流畅的VR体验。

机会:

开发者可通过此方法缩短CPU处理时间,以便腾出资源用于其他方面。

跟踪姿态驱动程序

定义:

内置的跨平台驱动程序组件,通过将真实设备或对象的位置和旋转与其姿势(对应虚拟对象的位置)相匹配,简化了对玩家移动和外设的跟踪设置。

机会:

创作者可以更加轻松地提供逼真、真实和响应迅速的跟踪,大幅增强玩家的沉浸感临场感

追踪

定义:

跟踪对于完全沉浸式VR体验至关重要。实质上,通过跟踪VR HMD或专用控制器等外设的位置,此方法告诉计算机用户注视的位置和他们正在进行的操作,以便它可以准确和适当地绘制他们周围的虚拟世界。跟踪越精确,VR体验就越舒适。另请参阅:运动追踪位置追踪注视追踪

机会:

带来更多控制游戏以及增强沉浸感临场感的创新方式。质量跟踪也可以防止出现晕屏症

恐怖谷理论

定义:

“恐怖谷”理论最初由机器人学教授Masahiro Mori于20世纪70年代提出,描述的是人类与以人或类人形式出现的实体或数字对象之间的关系。对象的拟人程度越高,真人产生的正面、投入的感受越多。但当对象接近而又不完全像真人时,观众的正面反应会有所下降。正如简单的线形图中所显示,这种下降即为“恐怖谷”—当机器人或计算机动画角色真实度较高但又无法完全令人信服时,人们就会产生恐惧或不安感。

很多情况下,接近真实的实体或数字人类形态可能比几乎以假乱真的形态更具吸引力。

机会:

VR和其他MX形式中的恐怖谷效应会严重破坏沉浸感临场感。因此,内容创作者通常会选择设计低保真的人物角色,而不是追求真实感的高保真人物角色,避免引起观众的负面反应。

前庭系统

定义:

内耳的耳道网络,可有效地探测运动,使我们能够平衡和理解自己的运动。视觉系统和前庭系统的冲突,即“前庭不匹配”,是我们产生晕屏症和晕动症的根本原因。

机会:

前庭系统是VR、AR和MR内容诠释及效果衡量的关键。凭借对前庭系统的基本认识,您将能够制作出更好的内容,让用户获得更逼真的沉浸式体验。

虚拟现实

定义:

随着虚拟现实的不断发展和广泛应用,它的定义也众说纷纭,但大多是大同小异的。不过,当描述VR的作用时,几乎都会涉及以下要素:

  • 计算机生成的完全环绕用户的立体视觉,完全替代用户周围的现实世界环境。许多人认为,这个定义将360度视频完全排除在真正的VR之外。
  • 从以观众为中心的角度使用和体验内容。
  • 在虚拟环境中,可以实现实时用户交互,无论是通过细节交互还是只需在体验中环顾四周。在这里,实时元素意味着可在特定于应用或视野的某个时间间隔内作出响应。

机会:

通过使用VR头盔和耳机吸引视觉和听觉这两个最重要的感官,可以获得强烈的VR沉浸感。VR头盔提供的虚拟世界或体验覆盖最大的自然视野范围。环顾四周时,您体验的环境与您在现实生活中环顾四周时一样。耳机可以隔绝您周围的噪音,放大体验,同时您可以听到VR体验中的声音。当您转动头时,VR环境中的声音会在您周围回响,就像在现实生活中一样。

类似Unity这样的3D引擎拥有可以打造和交付非常优质的VR内容。此类解决方案使得营造虚拟现实体验变得更加简单这种显示方法变得日益普及,有您将有机会掌控VR内容创作过程可以吸引更多的受众。

虚拟现实/增强现实编程

定义:

VR和AR的编程方式与其他显示方法及更传统的内容类型的编程方式相似。对于VR和AR,C++和C#是两种特别受欢迎的编程方式,说明这些常见的开发工具在保持既定的编码规则的同时,已适应VR和AR的到来。

机会:

您或团队可随时利用现有的编程技能开发VR和AR。

体积视频

定义:

即使最美轮美奂的3D 360度视频也存在限制,即难以让用户通过工具在虚拟世界中自由移动。到目前为止,大多数360度视频在被用于捕捉视频时要求用户采用并跟随摄像机的原始位置。体积视频通过捕获正在拍摄的空间以及每个帧的的体积数据来解决这一限制问题。然后像渲染的图形场景那样使用这些数据呈现场景,即用户可以在视频中四处走动。

机会:

您可以在真人实景的立体360度视频内容中四处走动。人们对于未来VR的一些更大胆的预测或许能变为现实。

VR安装

定义:

VR装置是特定于某个位置或场所的虚拟现实体验。它们可以是一次性作品(如艺术展等所展出的作品),也可以是在游乐园等多个地点重复的作品。它们经常被用于营销目的。例如,在ComicCon期间宣传电影,或在音乐节上宣传某个品牌。在这种情境下,它们往往得到精心设计的实体舞台和物理特效的衬托,如起风或移动的地面。零售商还可以在现场搭建临时或固定的VR装置,例如允许消费者试驾未参与展出的新车。

机会:

VR装置让消费者无需购买任何设备,即有机会体验高端虚拟现实。它们也为创作者提供了不可多得的机会,因为更多的品牌希望通过VR这个工具进行营销。

WebAR

定义:

一种开放式标准,使用户可以在浏览器中体验AR而不必下载应用程序。与WebVR类似。

机会:

WebAR对移动设备尤为重要,网站可以通过智能手机浏览器提供AR体验,而开发者可以开发简单的Web应用程序来提供AR内容。这将显著推动AR内容创作的普及化,让更多的用户有机会体验此内容。这也为AR开发者提供便捷的测试功能。

WebVR

定义:

一种开放式标准,提供通过浏览器体验VR的方式,而不必首先下载专门的应用程序。

机会:

VR仅使用头盔和Web浏览器,无需购买高端计算硬件,这可以促进VR的普及,为内容创作者提供更大的潜在受众群体。和WebAR一样,在某些情况下,此方法可为开发者提供便捷的测试功能。

XR

定义:

通过技术手段产生的,集虚拟和真实环境以及现实为一体的体验。其中,“X”可以看作是V(R)、A(R)或M(R)的占位符,尽管它也表示未定义的或可变的质量/数量。XR涵盖了实现虚拟现实混合现实增强现实、影像现实和其他现实的硬件、软件、方法和体验。XR的定义大多包含平台和内容,让用户可以将数字对象带进现实世界,或者反之,认为实体对象存在于数字场景中。

XR体验包括用户通过在实体世界中引入数字对象而产生新的现实形式的体验,还包括在数字世界中加入实体对象的体验。

一般意义上,XR是一个概括性的术语,在非正式场合还经常用作VR、AR和MR等技术的缩略统称。

机会:

创作者必须全面探索和理解XR,而不是专注于特定的环境,才能灵活应对新出现的XR类型并紧跟其发展步伐,避免因固守一种形式而停止不前。

明白了

我们使用cookies来确保为您提供网站的最佳体验。点击这里了解更多信息。