微软在 2016 年开始将立体摄像头集成至 VR 系统中以开发 AR 头显，允许用户能够通过摄像头的馈送看到现实世界。通过视频合成可以创建低成本的 AR 系统。
与光学 AR 相比，这种形式的 AR 存在几个优点：低成本的摄像头模块仅为 VR 头显增加了大约 40 美元的零件价格；视场宽，水平和垂直方向达到 100 多度；可在阳光下运行，提供真正不透明的合成影像。即便是在室内，设备都可以改善合成影像的色彩再现和对比度。
微软的第一个原型将现成的机器视觉摄像头集成至商用 VR 头显，显示分辨率约为单眼 100 万像素，频率为 60Hz 或 90Hz（见图 1 和图 2）。两条 USB 3.0 数据线将摄像头影像传输至主机 CPU。
微软编写了自己的实时图像信号处理流程，以便对 Bayer 图像进行去马赛克处理，校正透镜失真和修正颜色。光子到光子的延迟大约是 50ms。利用后期再投影单应性矩阵纠正这种延迟的效果出奇的优秀。
通过自定义同步电路板（图 3）令摄像头与显示器同步（由微软研究院实验室的硬件实验室设计和构建）。它由来自头显显示电路的垂直刷新信号触发。任何商用头显的外部不存在这种信号，因此微软打开了头显外壳，并在显示电路板上探测引脚，从而找到了具有正确显示更新频率的信号。
这些早期原型展现了巨大的潜力，并鼓励我们探索第二代头显，，而微软是从 2017 年夏天开始相关的项目。第一代的最大缺点是大型机器视觉摄像头的体积和重量，以及显示器的低分辨率。两者都已经在第二代设备中得到解决。
新款头显采用了由微软研究院实验室的硬件实验室设计和制造的定制摄像头控制电路板，后者搭载了一个滚动快门图像传感器 Omni Vision OV4689，可以在手机形状参数中以 90Hz 的速度捕捉 400 万像素。摄像头与 VR 头显显示器的同步是通过利用来自显示控制器电路板的同步信号，但同步电路完全包含在摄像头控制器电路板中。
