（映维网 2019年08月24日）为了充裕施展虚拟实际和增加实际的潜力，这项内向外追踪手艺需要支撑在任何所在适应用户地点的空间及其在真实情况中的移动体式。当Facebook斥地首款无线VR一体机Oculus Quest的时候，这家公司就领略设备需要实现正确的实时位置追踪功能，亦即意味着它必需紧凑和高能效。
延伸阅读：Oculus Insight内向外追踪手艺的起步、成长与将来
Facebook在2018年的Oculus Connect大会及后续的博文中已经分享了不少关于Oculus Insight的细节。跟着搭载这项尖端手艺的Quest和Rift S已经正式发售，Facebook进展向我们介绍研驱动Oculus Insight的人工智能系统。下面是映维网的具体整顿：
Oculus Insight标记着消费者AR/VR设备首次实现了无线约束的六自由度头显和掌握器追踪。Facebook团队是从零起头构建Oculus Insight客栈，而且行使了最进步的较量机视觉（CV）系统和视觉惯性即时定位与地图构建（SLAM）。
Oculus Insight可以以每毫秒的速度为头显和掌握器较量正确的实时位置，从而能够将用户的动作转化至VR，并带来真切的临场感。它行使SLAM来追踪头显位置，并经由Constellation追踪系统来确定掌握器位置。为了提高系统位置追踪的精度和响应时间，Oculus Insight的CV系统同时融合了头显和掌握器的多个传感器输入。
1. 用SLAM生成实时地图和追踪数据
学术范畴在曩昔数十年间已经对SLAM手艺进行了大量的研究，但这项手艺是直到比来才起头成熟并足以知足消费者应用，如无人驾驶汽车和移动增加实际。Facebook曾为移动设备发布了针对AR的SLAM手艺，其可经由单个摄像头和惯性测量单元（IMU）来确定智妙手机位置并启用“世界锁定”内容（数字内容视觉锚定真实对象）。Oculus Insight属于第二代产物，它集成了多个IMU数据，超广角摄像头和红外LED组合的更多信息，可配合追踪VR头显和掌握器的六自由度位置。
为了确定对象相对于给定空间内其他对象的位置，Oculus Insight系统行使了定制的硬件架构和进步的较量机视觉算法，包罗视觉惯性映射，位置识别和几许重建。这种新颖的算法客栈可以支撑VR设备正确定位其位置，识别房间几许外形的各个方面（如楼层位置），并确定头显和掌握器相对于由Oculus Insight生成并络续更新的3D映射的位置。这一过程所涉及的数据首要来自Quest和Rift S内置的三种传感器：
IMU的线性加快度和扭转速度数据，能够支撑系统以低延迟确定设备的偏向和位置。头显摄像头的图像数据有助于生成房间的3D映射和正确定位相关标记，如家具角落或地板图案。经由反复监测所述标记，Oculus Insight可以赔偿漂移（IMU的常见挑战，小幅度的测量差别可以随时间推移而络续累积，从而造成位置定位禁绝确）。头显摄像头监测掌握器的红外LED，可匡助系统限制由多个IMU引起的掌握器位置漂移。
当用户移动时，Oculus Insight将检测高对比度图像中的像素，譬喻说窗角。跟着时间的推移，系统将逐图像地追踪和关系高对比度图像区域。给定充沛长的监测基线，Oculus Insight能够对方圆情况中每个点的3D位置进行三角测量。这组成了系统3D情况映射的根蒂。
SLAM的首个首要应用是机械人手艺，稀奇是早期的主动驾驶车辆。所述的用例依靠于大量的较量资源（多个车载PC），以及昂贵（导航级IMU）和高耗能（如3D激光雷达系统）的传感器。最近，工程师们推出了许可SLAM支撑较低机能硬件的手艺，包罗用于游戏和AR滤镜结果的智妙手机。尽管基于智妙手机的增加实际能够接管丝许的延迟或定位误差，但对于消费者SLAM用例，无线VR需要空前未有的速度和精度。这是因为对于手持式AR，3D结果只占有用户整体视场的一小部门，而且为了削减延迟内容能够进行时间同步。比拟之下，VR内容占有了用户的整个视场，系统需要以成家用户的移动速度进行响应。所以对VR而言，任何潜在的定位错误都邑加倍显着，而且显著增加了Insight支撑Oculus Quest和Rift S的难度。
经由主动识别情况中的特征，SLAM可以解决所述挑战，并许可Oculus Insight将玩家的当前位置整合到VR世界之中。Insight同时行使了具有动态阻尼的外推功能来匡助展望用户头部和手部在将来几毫秒的移动位置。这存在大量的优势，包罗削减发抖等视觉卡顿问题（权衡追踪系统的要害指标之一）。为了实现舒适的VR体验，追踪应该要维持在亚毫米局限内。在大多数情况中，Insight已经超出了这个方针。
要实现沉浸式体验，另一个需要避开的首要问题是延迟。物理活动和对应虚拟活动之间的任何延迟都邑降低实际感。经由行使低延迟的IMU数据，以及展望用户将来活动的活动模型，Oculus Insight可以有效消弭显着的延迟。我们将鄙人一节中介绍包含SLAM数据的传感器融合过程，但削减发抖和延迟是Insight实现高水平真实感能力的焦点。
SLAM同时存在其他更微妙的优势，如匡助削减所谓的“Swimminess”，即因物理活动没有准确转化至响应VR活动而导致的失向感，如用户挥剑时剑刃挥舞的速渡过快或穿行距离过远。这个问题与由延迟造成的迟滞活动分歧，而Insight可以依靠高追踪精度来避免因真实活动和虚拟活动之间的差别所引起的Swimminess。
2. 经由动捕和设备模拟提高精度
要构建一个可以解决如斯普遍的潜在问题的系统，而且将其纳入至可以知足消费者市场需求的产物，这意味着需要解决同样普遍的手艺挑战。大多数挑战与两个方针相关：精度和效率。
精度的某些方面很轻易量化，例如为匡助削减发抖所达到的亚毫米级追踪精度。但对于其他方面（如Swimminess），至少有一部门原因是基于用户的主观感触。例如，网球拍的挥舞或者看起来太快或太远，但基于传感器的测量纷歧定会将其记录作为一个错误。量化，以及最终弥合物理活动和虚拟活动之间的差距需要一种全新的权衡方式。
Facebook的解决方案是，对由OptiTrack摄像头阵列采集的动捕数据与传感器数测量据进行深入的剖析。Facebook在工作室及员工家里设置了这种用于好莱坞视觉特效建造的摄像头阵列。 OptiTrack系统将追踪被试的头显和掌握器的照冥器。这使得Facebook可以较量Quest和Rift S用户的正确ground-truth三维位置，然后团队将所述测量值与Oculus Insight的位置追踪算法进行对照。凭据OptiTrack动捕数据和Insight位置数据的潜在误差，工程人员对算法进行微调。经由在数百个具有分歧照明，装饰和房间巨细的情况中（所有这一切都邑影响Oculus Insight的精度）进行测试，Facebook大大优化了系统。
除了行使物理测试情况外，Facebook同时斥地了能够重放数千小时的录制视频数据，并在查察给定视频序列时标记系统机能转变的主动化系统。因为Quest基于移动芯片组，所以团队构建了一个模拟移动设备机能的模型，并通用办事器较量机运行（如Facebook数据中心的较量机）。这使得Facebook可以进行大规模的重放，并发生代表Quest实际机能的究竟，然后他们可以在头显前提的约束下优化Insight的算法。
3. 设计极高效的CV
精度对Insight的位置追踪很主要，但空前未有的CV效率同样如斯。Oculus Quest需要以相当于PC和主机的差别率和帧速度衬着实时高端图形，而在某些情形下的差别率和帧速度甚至高于PC和主机，而Quest需要以低于PC或主机两个量级的功耗实现这一点。此外，设备同时需要运行实时SLAM和掌握器追踪系统。要凭比现代PC低了较量量级，总功耗低两个量级，以及内存和带宽显著更少的系统中支撑所有这一切，这毫无疑问是一项重大的系统挑战。
没有一种可以简化这种较量管道的方式，而团队为此进行了多线程调整，个中一系列的把持都是异步发生。
Oculus Insight实时处理多个数据线程：映射器线程点窜映射；将更新副本发送到追踪器线程，后者行使camera帧来估量映射器供应的帧的姿态；IMU线程行使IMU的测量来最新SLAM状况。
例如，Facebook采用了包含异步映射更新的Quest专用数字旌旗处理优化，这许可系统凭据用户情况的转变来而在后台进行优化和更新映射。同时，IMU数据在更高优先级的线程运行，而输出则存储在共享内存缓冲区中，从而可以最大限度地削减系统延迟。
4. 空间AI的将来
Oculus Insight是无线AR/VR手艺的根蒂，同时为Quest用户供应了高能效，高定位精度的无线体验，使得他们可以自由在游玩空间中畅玩VR的情趣，同时可以避开实际世界的障碍。对于索求SLAM的研究人员，以及任何可以受益于低功耗，高精度房间映射的系统而言（如数字助理和物理机械人），Facebook的这项研究或者会发生普遍的影响。
Facebook的历久愿景是将空间AI手艺融入至他们正在构建的所有联网设备和..，而这个系统恰是个中的一部门。到今朝为止，Facebook的空间AI应用法式包罗Oculus Insight（它证实了这种方式能够支撑消费者应用），以及Facebook Reality Labs为Replica数据集建立的真切三维重建。但这项手艺的将来是具有空间意识的全天候可穿戴AR眼镜。这个方针意味着Facebook需要解决运行SLAM的更多挑战，包罗进一步削减延迟并将功耗降低至头显SLAM所需的2％。消灭所述障碍将需要硬件方面立异，以及AI的提高，从而进一步优化合成多个传感器输入的过程。这个项目的最终方针是实现不光更具沉浸感，同时可以融入至物理世界的AR和VR体验。
