Meta甩出10大硬核技术，揭秘扎克伯格元宇宙野心

说起VR领域的前沿研究进展，全球最火的VR设备供应商Meta绝对是引领市场潮流的。

Meta首席执行官马克·扎克伯格最近几天在接受采访时透露了Meta在meta—universe的最新布局Meta将在10月份推出一款新的VR耳机——meta quest Pro

根据消息显示，该头显最大的亮点是其面部和眼睛追踪功能，可以让虚拟数字化身进行眼神交流硬件分析师布拉德林奇认为，Meta Quest Pro将采用改进的XR2处理器，与现有的XR2处理器相比，性能同比提升30%分析师郭明预测，Quest Pro将采用2160×2160分辨率的单目镜面板

在采访中，扎克伯格还谈到了元宇宙社交他认为，社交媒体的载体正从文字，图像向更大的信息容量进化，下一个能承载比视频更多信息的载体是在VR领域

此前，扎克伯格亲自推荐了自己的社交平台Horizon Worlds，并发布了一张VR自拍虽然照片被全网嘲讽，但扎克伯格给《地平线世界》带来了一波人气

扎克伯格的VR自拍

最近Meta在元宇宙动作频频今年6月，Meta的VR部门Reality Labs推出了四款VR头戴样机，分别展示了未来VR设备的四大关键技术演进方向:高分辨率，高动态范围，轻薄外形，变焦技术优化以减少眩晕感在8月份举行的SIGGRAPH大会中，Meta的显示系统开发负责人Douglas Lanman发表了演讲，为我们介绍了打破VR技术瓶颈的十大挑战

在SIGGRAPH 2022大会上，外媒Auganix的记者萨姆·斯普里格体验了具有HDR功能的VR原型机StarburstOculus Quest 2是迄今为止Meta推出的VR一体机中的巅峰之作去年出货量突破1000万台，成为史上最畅销的VR产品，《星爆》的峰值亮度是Quest 2的200倍

那么，Meta的元宇宙布局是怎样的呢Meta的原型机是怎样的体验Meta几百亿的研发投入到哪里去了带着这些问题来看看Meta在VR领域的最新进展吧

1.为了探索这四个研究领域，Meta发布了四个原型。

今年6月，Meta Reality Labs公布了四款不同技术领域的VR头显原型。

Butterscotch探索分辨率技术，Starburst探索HDR技术，Holocake 2探索VR头显的轻薄外形构建技术，Half Dome系列探索变焦技术这四款原型机分别代表了Meta在四款VR头显研发上的最新进展

此前，Meta的CEO马克·扎克伯格提出了视觉图灵测试的概念简单来说，视觉图灵测试的考核标准就是虚拟图像能不能真实，让人分不清虚拟图像和真实图像扎克伯格表示，视觉图灵测试有两个重点，即照片级真实感和临场感

不同VR头显分辨率的比较

让图像更真实的方法之一就是尽可能的提高图像的分辨率为此，Meta开发了Butterscotch原型，其特点是视网膜级分辨率

Butterscotch的PPD达到55，非常接近每1度角60像素的视网膜分辨率水平，分辨率是Quest 2的2.5倍Meta Reality Labs研究部DSR团队的光学科学家杨钊表示，Butterscotch的定制镜头模块有两个高精度玻璃镜头，表面质量更高，但也更重此外，还有一个特殊的透镜，可以衍射光线透镜与衍射透镜结合后，可以呈现清晰的图像

星爆原型

Starburst原型的特点是具有高HDR功能，其背光最大亮度可达20000nit，是现有VR头戴式Quest 2的200倍Meta Reality Labs团队开发了Starburst，以在虚拟环境中还原完整的室内照明，并探索用户实现最佳沉浸体验的理想亮度

Starburst采用COB LED替代原有的LCD屏幕背光，大大提高了LCD的背光亮度，但也产生了更多的热量所以Starburst还配备了风扇和3D打印的散热机箱但是，整个设备体积庞大，耗电量大四项技术中，这项技术是离市场最远的

全息照相2原型

Holocake 2原型机轻薄，可以提高VR头显的佩戴舒适度Holocake 2是一款PC VR设备虽然它的外形轻薄，但需要额外的空间来放置计算和电池组件，并采用了分体式设计

半穹顶发展历史

Half Dome是一个基于Oculus Rift的VR头戴原型，其特点是采用了变焦镜头从第三代开始，半球型的镜头由机械系统升级为电子变焦系统，降低了机械噪音和振动半穹顶3具有32个可切换的焦平面据体验者介绍，在通过Half Dome的动态变焦玩《幸运的故事》等游戏时，视野中图像的焦点可以根据手柄移动的距离而变化

02.《星爆》的峰值亮度为20000尼特，是《探索2》的200倍。

在本月举行的计算机图形学峰会SIGGRAPH 2022上，来自外媒Auganix的记者Sam Sprigg体验了具有HDR功能的VR原型机StarburstOculus Quest 2是迄今为止Meta推出的VR一体机中的巅峰之作去年出货量突破1000万台，成为史上最畅销的VR产品，《星爆》的峰值亮度是Quest 2的200倍

在展览现场，两个星爆被挂在一个框架上，供参与者体验Starburst的重量在2.5kg左右，对于一个耳机来说有点太大了萨姆·斯普里格说，太重了你不能把它戴在头上只能捧在脸前而且Starburst需要很大的功率来支撑它的高亮度显示，所以固定在边框上

架子上挂着两张星爆图。

星爆的亮度用尼特来衡量萨姆·斯普里格说室内环境亮度超过10000尼特，而《星爆》的峰值亮度是20000尼特Meta曾说过，Quest 2的峰值亮度约为100nit，Starburst的峰值亮度是Quest 2的200倍

而20000nit的峰值也能在一定程度上解释《星爆》的笨重高亮度也会产生高热量为了散热，Starburst配备了大型铝制散热器Meta的显示系统研究团队的研究科学家内森·松田隼表示，铝制散热器至少占设备重量的50%此外，设备顶部有一个大风扇，可以吸收散热器的热量

《星爆》由36部分组成。

但《星爆》分辨率较低，约为2560x1620像素，略低于Quest 2可是，这是可以接受的因为《星爆》主要展示的是HDR方案，至于高分辨率，那是Butterscotch应该探索的方向

Starburst使用彩色和单色液晶显示器松田隼说，这是因为单个液晶显示器在弱光下的对比度很差，而两个彩色液晶显示器会吸收大部分光线，降低显示效果因此，串联使用彩色和单色液晶显示器可以获得最佳的显示效果

为了专注于探索HDR技术，《星爆》在画面的刷新率和视野上做了妥协不过，萨姆·斯普里格表示，这一妥协并没有影响Starburst在HDR和亮度方面的表现

萨米格穿着星爆。

Starburst演示的第一部分是在虚拟空间中设置一个光源，然后放置一些球体来显示反射的光源SamIgG表示，在10000nit的显示范围下，这和Quest 2是一样的体验，并没有什么特别之处

但是，当亮度上升到10000尼特时，他能感觉到更明显的亮度当显示10000尼特光时，演示切换到海洋日落景观透过云层，阳光照射在海洋的波浪上，水面波光粼粼然后，光线上升到20000nit的峰值，画面中出现了一个虚拟的太阳萨姆·斯普里格说，他觉得自己仿佛看到了真正的太阳，因为光线太亮了最后，当太阳落山时，海浪发出微弱的反光这个演示令人印象深刻

放置球形测试光源。

萨姆·斯普里格说，在《星爆》中直视20000尼特的光源可能类似于盯着一个60瓦的灯泡但是VR里的光源离他的眼睛只有几英寸，很近他认为这种亮度显示器可以给用户带来更真实，更身临其境的体验

不过，Sam Sprigg也指出，功率，热量和形状是限制VR头显HDR技术发展的重要障碍他认为，我们可能需要很长时间才能在市场上出口20000单位的成熟产品

3.困难重重，VR头显面临十大技术挑战。

目前Meta虽然在VR头显方面取得了一定的技术进步，但是仍然遇到了很多目前无法解决的技术瓶颈。在SIGGRAPH大会的演讲中，元显示系统开发负责人道格拉斯·兰曼为我们提供了一些参考方向——为了将VR体验提升到一个新的水平，目前有十个挑战需要解决！

谁能率先突破这些挑战，谁就有望在越来越激烈的元宇宙硬件入口竞争中占得先机。

1.分辨率:Meta开发Butterscotch原型以提高分辨率。

为了提高用户的沉浸感，让虚拟世界看起来更加真实清晰，VR头显必须有更高的分辨率目前VR头显的分辨率远远达不到人类视觉的水平

Meta表示，他们最初的目标是实现单目8K分辨率和60PPD但目前Quest 2只做到了单目2K分辨率和20PPD，离这个目标还有一段距离

为了提高VR头显的分辨率，Meta开发了Butterscotch原型，专注于探索分辨率在这方面，高分辨率显示器的研发和生产并不是难点，难点在于如何为高分辨率显示器配备相应的计算能力兰曼指出，凝视渲染和云流媒体技术可能有助于提高计算能力，但它们也非常难以开发

以上是普通虚化处理的VR效果，以下是凝视点渲染技术的虚化效果。

2.视场角:VR头显的视场角比人眼小两倍。

人类的平均水平视野是200度，而目前大多数商用VR头显的水平视野都是100度这意味着VR头显的视野比我们在真实环境中看到的要窄此外，在垂直视角方面，VR头戴显示器也有提升空间

3.人体工程学:VR头显的佩戴舒适度不够。

目前大多数VR头戴设备都略显笨重比如Quest 2重量超过500g，装备厚度8cm这样的设备显然不会给用户带来好的佩戴体验理想的VR设备应该是越来越薄，用户可以长时间舒适佩戴

扁平透镜和全息透镜可能有助于减小头显的体积目前Meta的Holocake 2原型机正在探索这个方向，但还没有发展到量产的水平

墨镜是Holocake 1的原型，透明的是2016款Oculus Rift。

4.视力矫正显示器:目前还没有发现低成本的视力矫正显示器。

比较好的VR头显应该有视力矫正功能，这样用户就不用在VR头显下面戴普通眼镜了这个问题可以通过特殊的镜头配件来解决，但这并不是一个理想的解决方案最好的解决方案是头戴显示器自带视力矫正功能，这样头戴设计者就不再需要考虑配眼镜的问题了

但挑战是，我们如何找到一个制造成本低且没有额外重量的解决方案。

具有视力矫正功能的镜片配件已经有了，但并不是理想的解决方案。

5.变焦:Meta原型半穹顶可以实现人眼的变焦。

在自然环境下，为了看清不同距离的画面，人眼可以自然变焦但在VR头显中，由于人眼与屏幕的距离没有变化，人眼无法变焦，也看不到远近场景的区别视觉会聚调节有冲突所以有时用户会感到眼睛疲劳，甚至头痛和呕吐

为了解决这个问题，Meta的研究人员开发了一系列支持渐进视觉的原型半穹顶Half Dome可以模拟不同的焦平面，呈现不同程度的模糊，从而帮助人眼在虚拟世界中调整焦距

瞳孔伴随着物体的距离而变化。

6.眼球追踪:很难适应所有人的眼部状况。

眼球跟踪是虚拟现实中的一项关键技术它是许多其他重要VR技术的基础，如缩放和失真校正通过这项技术，用户可以在虚拟世界中与其他用户进行眼神交流，拥有更加真实的社交体验

但问题是每个人的瞳孔形状不一样，眼睑和睫毛的生长也不一样，所以目前的眼球追踪技术并不适合所有用户因此，蓝曼团队将广泛收集更多的用户数据，以升级眼球追踪技术，并尝试将其适应更多的人

瞳孔的形状因人而异，这对眼动追踪技术是一个挑战。

7.失真校正:Meta开发了一个失真模拟器来加速算法迭代。

瞳孔运动会造成图像失真，降低用户的沉浸感这种现象在配合变焦技术使用时尤为明显为了开发校正算法，研究人员必须在真实的头显上进行调整测试，但可能需要数周甚至数月才能制作出头显，这大大延迟了算法的迭代时间

为了解决这个问题，Meta研究小组开发了一个失真模拟器通过这个模拟器，研究人员可以在不生产测试头和特殊镜头的情况下测试校正算法

红光是未校正的，蓝光是校正后的结果。

8.高动态范围:星爆原型机的峰值亮度为20000尼特。

实物和环境的亮度远高于VR头显为了解决这个问题，Meta创造了Starburst原型《星爆》的亮度峰值为20000nit，是现有Quest 2的200倍

Starburst可以更真实地模拟封闭空间和夜间的光照条件，使虚拟环境看起来更真实不过目前星爆很重，耗能很大

Meta认为HDR比分辨率和变焦对视觉现实的贡献更大，但这项技术离实际应用最远。

星爆原型特写

9.视觉保真:透传技术尚未成熟。

更好的VR头显还应该让VR用户与现实世界保持联系VR头显可以记录真实的环境信息，并在虚拟现实中以视频图像的形式显示出来这种被称为透视的技术已经在商用VR头显中实现，但质量很差例如，Quest 2提供了黑白透视模式，而Meta即将推出的高端VR头显Quest Pro旨在追求更高的分辨率和彩色透视

可是，VR头显还没有实现对物理环境的完美重建透视技术拍摄的画面视角在空间上偏离眼睛，用户长时间使用可能会感觉不适所以Meta正在研究人工智能辅助的凝视合成，可以实时生成正确的视点，视觉逼真度高

此外，Meta还在研究一种反向透视功能，可以让真实用户看到VR用户的眼镜和脸，然后进行眼神交流但目前，这项技术在视觉上不协调，不自然，还远远没有为市场做好准备

左边是一个Oculus Rift，挡住了VR用户的视线，右边是一个早期的反向透视原型。

10.面部重建:Meta对虚拟化身项目进行研究。

Meta希望在未来，人们可以在虚拟的环境中像在现实中一样真实地相遇为此，Meta正在开发一个名为虚拟化身的研究项目，致力于在虚拟环境中为人们创建3D数字化身

目前，VR头显可以实时读取VR用户的面部表情，并传输到虚拟现实中根据消息显示，即将推出的Quest Pro将成为Meta中第一款提供面部追踪的设备

Quest Pro可以识别面部表情，并将其传输到VR设备中。

04.结论:Meta的VR技术有所突破，但仍需攻克技术难题。

兰曼在SIGGRAPH 2022上提出了VR头显正在面临的十大挑战，从中可以看出Meta取得的进步和尚未解决的问题Meta发布了四款样机，从分辨率，变焦，轻薄外形，HDR四个方面解决VR头显的问题四种样机各有千秋，在各自领域取得了初步的技术进步此外，Meta还开展了帮助VR头戴式人脸重建的虚拟化身项目，开发了加速算法迭代的失真模拟器

这些原型展示了Meta现在在VR单项技术领域所能达到的最高水平，但这些技术还远远不足以打造一个成熟的VR头显还有一些技术问题Meta暂时克服不了比如VR头显的视场角比人眼窄，佩戴VR头显的舒适度不够，VR头显的视力矫正功能尚未配备，VR头显的眼球追踪技术并不适合所有人，VR头显的透视技术不成熟

纵观目前Meta在VR头显方面的探索，可以发现Meta在VR头显探索的道路上已经走了很长一段路但是，Meta还远没有走到这条路的尽头目前，与VR头显相关的各种技术都在积极开发中，但这些技术还远未成熟，距离投入商用还有很长的路要走从这个角度来说，VR的爆发还很遥远