如何评价苹果新iPad Pro上的激光雷达扫描仪（LiDAR）？

这是一篇一直想写的回答。很早之前，在Ipad发布时，我曾经解释对其内置LiDAR系统的期望：

这次回答主要是对上篇回答中LiDAR的技术部分进行详细扩展，并以此为基础展开分析，解释当时并没有解释清楚的很多猜测。

1. 什么是LiDAR？

激光雷达（Light Detection and Ranging，LiDAR），是一种主动式、通过捕获目标的散射光，来获取相关目标信息的光学遥感技术。很多人说LiDAR和Radar不一样，这种说法也对也不多。LiDAR本质上还是依靠雷达原理，但是当以激光为载体是，会出现更多的场景特化应用。

顾名思义，相比传统雷达，LiDAR的主要特点是以激光为主要载体，而传统雷达则是以电磁波为载体，ToF摄像头主要以红外光为载体。因此，传统雷达波长>红外ToF摄像头>LiDAR（LiDAR波长从250nm到11μm） ^[1]。

所以它们三者的技术特性，也就体现在三种载体的物理特性上。单纯就激光而言，因为可见光波长短，所以激光雷达的测量精度高、单色性好、方向性强、相干性好、体积小 ^[2]，而且时间和空间分辨率都会相对更高。

比如上图，我们以水滴为例（不要在意它像不像水滴），较短波长（a）的散射结果会相对更多，而较长波长（b）会更容易透射。这就是为什么激光雷达所受到的大气干扰会比传统雷达更加严重。如果更进一步，我们做一些简单的对比，就会发现激光雷达存在三种场景相关的严重问题：

• 大气干扰问题：正如之前所说，激光的波长短、光束相干性大，在这样的波长下，微小物体的反射特性会非常好。在传统雷达信号处理里，对小目标特性有个恒量标准：最小雷达横截面（Radar Cross Section，RCS）。描述的是雷达系统能够识别的最小目标，激光雷达的波长大约是传统雷达的10，000分之一，在目标材料特性不变的情况下，RCS会和这个数值成正比 ^[3]。
• 目标量化问题（Object quantization） ^[4]：激光雷达通常以扫描形式成像，对于单次扫描来说，数据处理依然需要进行坐标变换，这其实是一种三维空间到二维空间的映射。但是问题是，激光雷达的成像分辨率远远不如摄像头，我们如何能够说明一个数据点属于一个物体？就像下图所示，大象和人体在数据点上并不能完美区分。因此，大家普遍把激光雷达的反馈称为点云。如何从激光雷达点云中进行目标识别和分割，是一个新兴课题。

• 数据关联问题（Data association） ^[5]：通常相比传统雷达，激光雷达扫描速度会比较慢，因此在扫描过程中，移动目标可能会在第二个时隙出现在点云的另一侧，那么如何在这两个数据表示同一个物体的情况下，让算法自动识别呢？这就是一个典型的数据关联问题，在多摄像头图像识别中，它被扩展到另一个领域：目标重识别（re-identification），用来在多个摄像头场景中构建关联物体之间的联系。

我们说了那么多LiDAR数据处理目前面临的问题，那么为什么激光雷达越来越多出现在大家视野里？从自动驾驶到新一代IPad，又为什么越来越多公司愿意探索激光雷达的应用场景呢？

2.为什么LiDAR会成为自动驾驶和成像系统的热门选择？

虽然LiDAR在应用场景中存在一些挑战，但因为激光雷达是目前民用分辨率最高的主动探测技术，在视频摄像头无法发挥作用的雨雪、夜间都可以发挥相当大的作用，所以这并不妨碍以无人驾驶和物联网为代表的新兴产业对激光雷达的追逐。

学术界和产业界都认为，随着人机交互从机器被动反应向主动环境感知发展，未来的民用雷达将会在智能传输和操纵系统中扮演更重要的地位，目前可见的萌芽是自动驾驶系统、物联网等等，但是未来市场会变得更加丰富。

这或许是苹果试图在新款IPad上使用LiDAR的原因----

期望通过高精度主动探测系统，来改变机器和人类的交互方式。

我们可以从激光雷达的发展应用看到一段端倪，目前激光雷达主要应用在大气探测 ^[6]，包括气溶胶探测、多普勒测风，甚至可能利用待测气体对不同激光波长的吸收系数不同，探测大气中待测气体浓度；陆地森林探测 ^[7]，包括陆地资源、冰层轮廓，甚至可以用来实现月球表面三维影像探测；或者空中交汇对接判断 ^[8]，用来检测航天器或者空间飞行器的空间交汇，并判断位置、距离等。

可以看到在以前，激光雷达的主要应用范围是航天、遥感等「大设备」和「大装置」上。但是随着固体光源的快速发展，激光雷达也逐渐慢慢小型化发展，比如大多直升机需要全天候避障 ^[9]，因此著名的直升机公司Fibertek研制了直升机激光雷达系统，目前正在UH-1H直升机搭载。马可尼SpA公司也提供了激光雷达的Loam障碍回避系统，利用人眼安全激光技术，来探测电线、树木、桅杆等等障碍，得益于激光雷达的高分辨率，飞行员除了可以通过视觉和声音获取报警之外，显示器也可以显示障碍的形状、位置、方位和距离等等。

如果从一个系统和发展的角度来看，大型设备的主动感知系统雏形，在可以预见的未来，小型化和便捷化的民用雷达，很有可能会成为未来智能设备上最主要的「眼睛」之一。

我想这就是民用激光雷达的未来，也是苹果迫不及待把LiDAR集成入iPad中的原因之一。

3. 以苹果为例，未来的LiDAR能够做什么？

Apple认为，LiDAR传感器主要有望改善增强现实，通过主动探测构建景深信息，进而完成对周围环境的AR建模和计算。

但是事实上，我并不同意这一观点：LiDAR可以通过全天候、不限时的主动感知，给当前的电子设备提供在无人场景下、比摄像头更可靠、更有效的高精度人机交互。目前Apple提供的Demo和测试APP主要集中在景深感知和其带来的一系列测距应用，比如测肩宽，室内装修等等。当然，在IPad上，LiDAR+摄像头完成的建模和测距不失为一种好的切入点，但是这些并不会是民用LiDAR的最终愿景。

我举个简单的例子，如果Iphone上装备前置LiDAR，那么如果能够提高激光雷达帧率，也有望完成更高效的手势识别，或者眨眼识别，比如把Iphone横置在眼前，可以辅助检测疲劳驾驶。或者IPad可能用来放在浴室里，检测老年人摔倒等等。这都是非常有前景的应用方式。

这里有一个转载自ViewAR的视频：

基本上能够看出目前LiDAR的帧率和分辨率都依然存在提升空间。从提供的Demo和实例来看，目前Apple对Ipad上LiDAR的规划主要侧重于和摄像头一起完成场景的景深建模。这一条技术路线如果延续下去，提高精度，再辅助多个传感器，就是目前大名鼎鼎的数字孪生（Digital Twins），随手一拍就可以完成建模。

从另一方面来讲，单纯的IPad引入后置LiDAR，将会显而易见的提高摄像头的测距精度和标尺特性。

正如苹果在上图中做的经典实例那样，原本摄像头3D测量能力将会提升到足以供给医疗App使用，这或许能够开辟一个新的应用体系。

不过我们可以确定的是，苹果对LiDAR的长远计划最终可能会远远超过iPad Pro本身，听说今年iPad和iPhone都将搭载LiDAR，构建相应的生态，相信我们能够期待便携式LiDAR更加美丽的未来。

参考

1. ^Zhang, Wende. “LIDAR-Based Road and Road-Edge Detection.” 2010 IEEE Intelligent Vehicles Symposium, 2010, pp. 845–848.
2. ^Grund, Christian J., et al. “High-Resolution Doppler Lidar for Boundary Layer and Cloud Research.” Journal of Atmospheric and Oceanic Technology, vol. 18, no. 3, 2001, pp. 376–393.
3. ^Bidigare, Pat. 2004. Minimum radar cross section bounds for passive radar responsive tags. Signals, Systems and Computers, 2004. Conference Record of the Thirty-Eighth Asilomar Conference on. 2004, Vol. II.
4. ^Fisher P D, Pyhtila J W. Timing quantization error in lidar speed-measurement devices[J]. IEEE transactions on vehicular technology, 2000, 49(1): 276-280.
5. ^Li Y, Olson E B. Extracting general-purpose features from LIDAR data[C]//2010 IEEE International Conference on Robotics and Automation. IEEE, 2010: 1388-1393.
6. ^贾佳. 基于 CALIPSO 气溶胶产品 LIDAR 信号校正的海面风速反演[D]. 青岛: 中国海洋大学, 2011.
7. ^李立存. 基于星载大光斑 LIDAR 数据的森林类型识别研究[D]. 东北林业大学, 2012.
8. ^赵一鸣, 李艳华, 商雅楠, 等. 激光雷达的应用及发展趋势[J]. 遥测遥控, 2014 (5): 4-22.
9. ^赵一鸣, 李艳华, 商雅楠, 等. 激光雷达的应用及发展趋势[J]. 遥测遥控, 2014 (5): 4-22.

通过两篇普及就可以知道iPadPro这个LiDAR的实力所在

iphone12pro系列上也装备了lidar。

Apple最近几年非常喜欢强行给iPhone塞各种感测器。估计是在为未来的ar生态链铺路。

这个东西，我认为是为了未来。它类似于陀螺仪，是一个辅助工具，可以给手机提供更多的精确数据。可能未来的两三年lidar会大放异彩，当然现阶段实用性并不高。

苹果这两年一直在做环境感知这一方面的内容，比如faceId还有homepod的基于环境感知调整自身声音。还有传言中跳票了的那个可以感知相对位置和方向的芯片，以及这个LiDAR

如今的苹果在实际上已经具备了对一定范围内的环境一键建模的能力。我认为这个能力对ar的帮助是巨大的。

大佬们，请教几个问题？

1.ipad pro2020扫描的三维模型能不能导出到电脑上，能以什么格式导出呢？

2.三维建模的精度和azure kinect等深度摄像头相比怎么样呢？

真心表达是苹果没有创新力了，只能玩的噱头。效果和多摄像头比差多了，但是华为已经占领了摄像头的先发优势，苹果赶不上了，只好出的对策，或许在五年后会有技术进步吧