SLAM作为一种根蒂手艺，从最早的军事用途（核潜艇海底定位就有了SLAM的雏形）到今天，已经慢慢走入人们的视野，曩昔几年扫地机械人的盛行让它名声大噪，近期基于三维视觉的VSLAM又让它越来越显主流，很多人不得不存眷它，但凭据雷锋网的查询，认识它并能真正把它说清楚的国内大牛并不多，今天，我们请来了速感科技的CTO，张一茗，从SLAM的宿世此生起头，彻底扫清我们心中的迷惑。
SLAM的宿世
我之前从本科到研究生，一向在导航与定位范畴进修，一起头着重于高精度的惯性导航、卫星导航、星光制导及其组合导航。出于对实现无源导航的执念，我慢慢起头研究视觉导航中的SLAM偏向，并与传统的惯性器件做组合，实现自力设备的自立导航定位。
定位、定向、测速、授时是人们难过千年都未能完全解决的问题，最早的时候，前人只能靠夜观天象和司南来做简洁的定向。直至元代，出于对定位的需求，才调横溢的中国人发现了令人叹为观止的牵星术，用牵星板测量星星实现纬度估量。
1964年美国投入使用GPS，倏忽就打破了人人的游戏划定。军用的P码能够达到1-2米级精度，开放给公共使用的CA码也可以实现5-10米级的精度。
后来人人一方面为了冲破P码封闭，另一方面为了追求更高的定位定姿精度，想出了好多十分具有创意的设法来挺升GPS的精度。行使RTK的实时相位差分手艺，甚至能实现厘米的定位精度，根基上解决了室外的定位和定姿问题。
然则室内这个问题就难办多了，为了实现室内的定位定姿，一多量手艺络续涌现，个中，SLAM手艺逐渐脱颖而出。SLAM是一个十分交叉学科的范畴，我先从它的传感器讲起。
离不开这两类传感器
今朝用在SLAM上的Sensor首要分两大类，激光雷达和摄像头。（待会儿发的部门素材摘自官网、论文、专利，侵删）。
这里面列举了一些常见的雷达和各类深度摄像头。激光雷达有单线多线之分，角差别率及精度也各有所长。SICK、velodyne、Hokuyo以及国内的北醒光学、Slamtech是对照有名的激光雷达厂商。他们能够作为SLAM的一种输入形式。
这里展示的就是一种简洁的2D SLAM。
这个小视频是宾大的传授kumar做的稀奇有名的一个demo，是在无人机上行使二维激光雷达做的SLAM。
而VSLAM则首要用摄像头来实现，摄像头品种繁多，首要分为单目、双目、单目构造光、双目构造光、ToF几大类。他们的焦点都是获取RGB和depth map(深度信息)。简洁的单目和双目（Zed、leapmotion）我这里不多做注释，我首要注释一下构造光和ToF。
比来风行的构造光和TOF
构造光道理的深度摄像机平日具有激光投射器、光学衍射元件（DOE）、红外摄像头三大焦点器件。
这个图（下图）摘自primesense的专利。
能够看到primesense的doe是由两部门构成的，一个是扩散片，一个是衍射片。先经由扩散成一个区域的随机散斑，然后复制成九份，投射到了被摄物体上。凭据红外摄像头捕获到的红外散斑，PS1080这个芯片就能够快速解算出各个点的深度信息。
这儿还有两款构造光道理的摄像头。
第一页它是由两幅十分纪律的散斑构成，最后同时被红外相机获得，精度相对较高。但据说DOE成本也对照高。
还有一种对照奇特的方案（最后一幅图），它采用mems微镜的体式，雷同DLP投影仪，将激光器进行调频，经由微镜反射出去，并快速改变微镜姿态，进行队列扫描，实现构造光的投射。（产自ST，ST经常做出一些对照炫的黑科技）。
ToF（time of flight）也是一种很有前景的深度获取方式。
传感器发出经调制的近红外光，遇物体后反射，传感器经由较量光线发射和反射时间差或相位差，来换算被拍摄景物的距离，以发生深度信息。雷同于雷达，或许想象一下蝙蝠，softkinetic的DS325采用的就是ToF方案（TI设计的），然则它的领受器微观构造对照特别，有2个或许更多快门，测ps级其余时间差，但它的单元单子像素尺寸平日在100um的尺寸，所以今朝差别率不高。 今后也会有不错的前景，但我感觉并不是推翻性的。
好，那在有了深度图之后呢，SLAM算法就起头工作了，因为Sensor和需求的分歧，SLAM的呈现形式略有差别。大略能够分为激光SLAM（也分2D和3D）和视觉SLAM（也分Sparse、semiDense、Dense）两类，但其首要思路大同小异。
这个是Sparse（稀少）的
这个偏Dense（密集）的
SLAM算法实现的4要素
SLAM算法在实现的时候首要要考虑以下4个方面吧：
1. 地图透露问题，好比dense和sparse都是它的分歧表达体式，这个需要凭据实际场景需求去抉择
2. 信息感知问题，需要考虑若何周全的感知这个情况，RGBD摄像头FOV平日对照小，但激光雷达对照大
3. 数据关系问题，分歧的sensor的数据类型、时间戳、坐标系表达体式各有分歧，需要统一处理
4. 定位与构图问题，就是指怎么实现位姿估量和建模，这里面涉及到好多数学问题，物理模型竖立，状况估量和优化
其他的还有回环检测问题，索求问题（exploration），以及绑架问题（kidnapping）。
这个是一个对照有名的SLAM算法，这个回环检测就很时兴。但这个挪用了cuda，gpu对运算能力要求挺高，结果看起来对照炫。
以VSLAM举个栗子
我也许讲一种对照风行的VSLAM方式框架。
整个SLAM也许能够分为前端和后端 ，前端相当于VO（视觉里程计），研究帧与帧之间变换关系。首先提取每帧图像特征点，行使相邻帧图像，进行特征点成家，然后行使RANSAC去除大噪声，然后进行成家，获得一个pose信息（位置和姿态），同时能够行使IMU（Inertial measurement unit惯性测量单元）供应的姿态信息进行滤波融合
后端则首要是对前端出究竟进行优化，行使滤波理论（EKF、UKF、PF）、或许优化理论TORO、G2O进行树或许图的优化。最终获得最优的位姿估量。
后端这边难点对照多，涉及到的数学常识也对照多，总的来说人人已经慢慢甩掉传统的滤波理论走向图优化去了。
因为基于滤波的理论，滤波器稳度增进太快，这对于需要频仍求逆的EKF（扩展卡尔曼滤波器），PF压力很大。而基于图的SLAM，平日以keyframe（要害帧）为根蒂，竖立多个节点和节点之间的相对变换关系，好比仿射变换矩阵，并络续地进行要害节点的维护，包管图的容量，在包管精度的同时，降低了较量量。
列举几个今朝对照有名的SLAM算法：PTAM,MonoSLAM, ORB-SLAM,RGBD-SLAM,RTAB-SLAM,LSD-SLAM。
所以人人若是想进修SLAM的话，各个高校提高的素材是好多的，好比宾大、MIT、ETH、香港科技大学、帝国理工等等都有对照好的代表作品，还有一个对照有前景的就是三维的机械视觉，普林斯顿大学的肖剑雄传授连系SLAM和Deep Learning做一些三维物体的分类和识别， 实现一个对场景深度懂得的机械人感知引擎。
http://robots.princeton.edu/talks/2016_MIT/RobotPerception.pdf 这是他们的展示。
总的来说，SLAM手艺从最早的军事用途（核潜艇海底定位就有了SLAM的雏形）到今天，已经慢慢走入人们的视野，扫地机械人的盛行更是让它名声大噪。同时基于三维视觉的vSLAM越来越显主流。在地面/空中机械人、VR/AR/MR、汽车/AGV主动驾驶等范畴，都邑获得深入的成长，同时也会显现越来越多的细分市场守候挖掘。
这个是occipital团队出的一个产物，是个很有意思的应用，国内卖4000+，也许一个月1000出货量吧（固然不是好多，然则结果不错，pad可玩）虚拟家居、无人航行／驾驶、虚拟试衣、3D打印、刑侦现场记录、沉浸式游戏、增加实际、商场推送、设计辅助、地动救援、工业流水线、GIS采集等等，都守候着vSLAM手艺一展宏图
SLAM的此生——还存在着问题
多传感器融合、优化数据关系与回环检测、与前端异构处理器集成、提拔鲁棒性和重定位精度都是SLAM手艺接下来的成长偏向，但这些都邑跟着消费刺激和财富链的成长慢慢解决。就像手机中的陀螺仪一般，在不久的未来，也会飞入平常公民家，改变人类的生活。
不外说实话，SLAM在周全进入消费级市场的过程中，也面临着一些阻力和难题。好比Sensor精度不高、较量量大、Sensor应用场景不具有普适性等等问题。
多传感器融合、优化数据关系与回环检测、与前端异构处理器集成、提拔鲁棒性和重定位精度都是SLAM手艺接下来的成长偏向，但这些都邑跟着消费刺激和财富链的成长慢慢解决。就像手机中的陀螺仪一般，在不久的未来，也会飞入平常公民家，改变人类的生活。
雷锋网 ： 激光雷达和摄像头两种 SLAM 体式各有什么优瑕玷呢，有没有一种综合的体式互补各自的瑕玷的呢？
张一茗： 激光雷达长处是可视局限广，然则瑕玷性价比低，低成本的雷达角差别率不敷高，影响到建模精度。vSLAM的话瑕玷就是FOV平日不大，50-60degree，如许高速扭转时就轻易丢，解决方案有的，我们公司就在做vSLAM跟雷达还有IMU的组合。
雷锋网 ： 请问今朝基于视觉的SLAM的较量量有多大？嵌入式系统上若是要做到实时30fps，是不是只有Nvidia的芯片（支撑cuda）才能够？
张一茗： 第一个问题，固然基于视觉的SLAM较量量相对较大，但在嵌入式系统上是能够跑起来的，Sparse的SLAM能够达到30-50hz（也不需要GPU和Cuda），若是dense的话就对照消费资源，凭据点云还有三角化密度可调，10－20hz也是没有问题。
并纷歧定要用cuda，一些用到cuda和GPU的算法首要是用来加快SIFT、ICP，以及后期三角化和mesh的过程，即使不消cuda能够采用其他的特征点提取和成家策略也是能够的。
最后一个问题
雷锋网 ： 本年8月，雷锋网(搜刮“雷锋网”公家号存眷)将在深圳举办“全球人工智能与机械人立异大会”（简称：GAIR）。想认识下，您对机械人的将来趋势怎么看？
张一茗： 这个问题就对照大了。
机械人财富是个很大的Ecosystem，短时间来讲，或者财富链不敷完整，消费级市场缺乏爆点爆款。固然人人都在谈论做机械人，然则多少公司并没有解决用户痛点，也没有为机械人财富链缔造什么价格。
然则人人能够看到， 多量缺乏特色和积淀的机械人公司正在被镌汰，行业款式越来越清楚，分工逐渐完美，一多量细分市场成长起来。
从机械人的感知部门来说，传感器机能提拔、前端处理（今朝的sensor前端处理做的太少，给主CPU造成了很大的肩负）、多传感器融合是一个很大的增进点。
如今人工智能也起头扬头，深度进修、神经收集专用的分布式异构处理器及其协处理器成为紧要需求，我小我很进展国内有公司能把这块做好。
也有多少创业公司做底层工艺好比高推重比电机、高能量密度电池、复合材料，他们和机械人财富的对接，也会加快机械人行业的成长。整个机械人生态架构会越来越清楚，从硬件层到算法层到功能层到SDK 再到应用层，每一个细分范畴都有公司切入，跟着这些财富节点的完美，能看到机械人行业的前景照样很棒的，相信不久之后就会迎来堪比互联网的指数式增进！
