据中国激光杂志社网，于2023年12月20日报道，能被动“测距”的偏振三维相机：“天残”何处觅知音？
1、一曲肝肠断，天涯何处觅知音？
天残天生眼盲，却是武功奇才，且好音律，尤善抚琴。但目不能视物，麻烦诸多，尽管聪慧超群，能谱一阙肝肠断之曲，却知音难觅。一日，地缺偶闻天残抚琴，静默许久，乃上前坐于天残旁，曰：吾与汝同奏一曲，何如？天残虽盲，但耳聪异常，早知有高人倾听，乃大悦，见其愿同抚奏肝肠断，甚喜。于是，琴声再起，骤见河水泛起，山动地摇，原来却是二人武功合璧，且地缺视力甚佳，为掩人耳目，同戴西洋墨镜，从此彼此不分离，武功号列杀人榜第二，为首者乃火云邪神是也。
2、生存之道：双目视觉
非洲大草原上一只羚羊警觉地竖起耳朵，像听风者一般侦听随时可能来自四面八方的威胁，突然，它撒腿逃向远方，而紧跟其后的是一匹饿了三天的雄狮。它们一个跑得快，一个追得更快，不多时，羚羊瞪着铃铛大的两只眼睛绝望地望着天空，不能动弹，因为它的脖子已被雄狮牢牢咬住。
你有没有发现：凡是食草的动物，它们的眼睛都长在两侧，因为它们随时会有来自四面八方的危险，它们需要更大视场的预警；凡是食肉动物，它们的眼睛都长在前面，因为它们要追逐猎物，需要即使快速奔跑状态下也能准确定位猎物的位置。
人的眼睛也长在前面，两只眼睛的间距其实就是双目立体视觉相机的基线，其原理实际上是几何中的三角定位，很显然，基线越长，定位的精度越高。人类也是靠着两只眼睛生存在这个三维世界中，能够准确判断近距离目标的位置，也就是具有“测距”功能，远一点呢，这个功能就下降得厉害。从这一点来看，“眉间尺”应该有超乎常人的三维视觉能力。
那么，一只眼睛是否也能测距呢？在生活中，我们经常会遇到只有一只眼睛具有视力的人，他们似乎也可以正常走路、跑步、甚至开车。我们可以做一个“睁一只眼、闭一只眼”实验，用手触及桌面上的物体，然后双目同时再实验，结果显然而知。但是，这个实验似乎也能告诉我们一个道理，那就是生活的常识、经验对单目的定位也很有用。嗯，这不就是现在很多人在做的用AI辅助单目视觉定位吗？
那么，我们就要思考一下：到底哪些因素会影响视觉测距？如果缺失了一些元素，还有没有办法补偿？偏振既然能三维成像，是否也能测距呢？如果偏振能实现被动测距，会有哪些应用呢？
首先，我们来看一下视觉测距的基本原理。
一.视差——视觉测距之源
人眼拥有立体视觉的基础是视差，其定义一般为从有一定距离的两个点上观察同一个目标所产生的方向差异。从目标看两个点之间的夹角，叫做这两个点的视差角，两点之间的连线称作基线。只要知道视差角度和基线长度，就可以计算出目标和观测者之间的距离。
因为人的左、右眼有一定的间距（基线），会造成两眼的视角存在细微的差别，而这样的差别恰好让两只眼睛分别观察的景物有一点点的位移，于是人类就能够产生有空间感的立体视觉效果。很显然，基线越长，立体感就会越强。这么看的话，立体感最强的人当属眉间尺，据专家分析，眉间尺的头在汤锅中沸煮时，依然能准确无误地咬住楚王，靠的就是双目之间基线长的优势。
我们从历史上回顾一下视觉测距的伟大案例吧。2000多年前，古希腊天文学家和数学家Hipparchus曾巧妙地运用三角学粗略测量出地月距离。1752年，拉朗德和拉卡伊分别在柏林和好望角进行联测，这是首次利用三角测量的方法精确测定了地球到月球之间的距离。
人类的两只眼睛与远方的物体其实就构成了一个三角形，而它们则各自对应三角形的三个顶点。在这样一个数学结构里，想要知道其中一个顶点到另外两个顶点所在边的距离，就很好确定了。当人类有了相机时，将人眼视觉推广到相机，于是，就有了双目测距。具体做法就是让两个一模一样的相机保持一定距离，即基线，同时拍摄同一个场景，就可以利用两相机图像中的对应点之间的视差推导出目标和镜头之间的距离。
在这里，我们再看一看双目视觉立体成像的原理。
双目能否判断平面或者立体，其主要看目标是否发生了“相位”（视差）的变化。当物体是平面时，其两个图像视差是相同的，因为两个相机在拍摄时的光轴交点与平面重合，所以无论从哪个角度看都是一样的。在这种情况下，通过双目视觉计算所有像素的视差值都将为零，从而判定目标为平面。
然而，当物体是立体时，两个相机的视角有所不同，相应的两幅图像中物体位置也会有差异，因此它们的“相位”不同。从而可以实现平面还是立体的判断。从实验结果可以看到，对于石膏雕像有了立体的视差效果，而对于雕像后面的平面标定板，由于视差值为零，因此重投影回的点云都在同一平面上。因此，可以实现平面或立体的判断。
双目视觉测距早就广泛应用，像靶场中用两台经纬仪就可以对目标精确定位测量，遥感测绘会利用卫星的一部分飞行轨道做基线，调整姿态对同一区域进行拍摄，做交会测量；现在很多无人机也会采用类似方法获取距离和三维信息。很显然，卫星和无人机的这种用同一载荷做交汇测量的方法具有代价小、基线长的特点，测距的分辨率很高；但缺点也很明显，那就是需要精准调整姿态以达到拍摄同一场景的目的，同时该缺点也会导致两幅图像匹配难度增大，而且经常会出现本来完好的桥梁出现了“坍塌”现象等等。
如果考虑到环境等因素的影响，那么，双目视觉还存在如下的问题。
1、对环境光照特别敏感。双目立体视觉依赖环境中的自然光线采集图像，因为光照角度变化、光照强度变化等环境因素的影响，如果采集的两张不同视角下的图片亮度差别大，那么在匹配配准的时候就会造成较大误差，导致精度急剧下降。
2、不适合用于单调缺乏纹理的场景。因为双目立体视觉法根据特征进行图像匹配，所以对于缺乏视觉特征的场景如天空、白墙、沙漠等会出现匹配困难，无法确定不同视角下的图像具体位置关系，造成匹配误差较大或匹配失败，导致立体信息的重构精度下降甚至重建畸变。
3、相机基线限制了测量范围。通过前面的介绍我们可以看出有效作用距离和基线关系很大：基线越大，测量范围越远；基线越小，测量范围越近。所以对于像汽车、手机、机器人等场景下基线固定的设备一定程度上限制了双目立体重建的测量范围。
毛病那么多，代价又高，于是，我们开始“奢望”：单台相机可不可以实现测距？很显然，单台相机的基线为0，没有视差，三角关系不再成立，视觉测距的边界条件不再成立，自然不行。那该怎么办？前面我们多次强调，遇到传统解决不了的问题时，我们就要从光场升维的角度来考虑。
二.天残：偏振三维成像的天生“残疾”
升维，专治各种疑难杂症！好吧，你不是想要距离吗？那就来看看光场中有哪些元素能与距离挂起钩。看看光场的“配料表”：强度、相位、偏振、光谱、空间位置和时间，与距离能关联的量似乎有相位和时间，而这两个量很显然与主动探测模式密切相关，于是就有了激光相位测距法和时间飞行法（Time of flight，ToF），当然也有了能获取密集三维点云的激光成像雷达。直观来讲，光波的传播速度一定，如果能够准确记录光波从发射到反射回来的时间，我们就可以很容易的根据这个时间确定物体距离。激光相位测距法，测定出射光波往返一次所产生的相位延迟，换算该相位延迟所代表的距离信息，间接测量了光波往返的信息。而根据所使用的波不同，还有超声波，毫米波雷达，激光雷达等等不同的实现手段。然而，超声波测距，探测距离仅在10米到100米，大部分实现在10米以内，具备厘米级精度但分辨力极低；毫米波测距受雨、雾和湿雪等高潮湿环境影响极大，相比微波，对密树丛穿透力低，同时元器件成本高，加工精度相对要求高。再看看备受瞩目的激光雷达测距，由于光速太快对计时系统的要求会很高，因此设备造价昂贵，同时还存在着一般基于ToF原理测距的通病——单点测距。换言之，我们对于场景目标的探测分辨率依赖于你所发射的激光雷达波数，因此在应用中为了增大视场，我们通常采用扫摆式成像，可这虽然减少了发射波数量，却是以牺牲时间为代价。
科学家得陇望蜀的“贪婪”是促进科技发展的动力源泉。于是，一个 “能不能单相机被动模式还能测距？”的新问题就浮现了出来。然后，我们不得不再次回到光场“配料表”中，看看还有哪个量与距离有关系。强度，很显然不行；光谱与距离似乎也很难发现有什么关系，那么偏振呢？提到偏振时，我们需要注意的是它本身是一个由偏振度和偏振角构成的复合量。等等，你说什么？偏振角，偏振角……这里有个角，按道理可以与距离相关……
没错，就是偏振！我们在“偏振为什么能三维成像”一文中讲到：物体表面的法线关系与偏振度和偏振角之间有着一对一的映射关系，有了法线，就能重建出物体的三维形貌。而且，无论从计算偏振三维成像卫星载荷拍摄的远距离遥感数据来看，还是地面偏振相机拍摄的自然场景来看，偏振都能高精度地重建出物体的三维形貌，而且在理论上，偏振三维成像获得的高程分辨率与其空间分辨率是1:1的对应关系，也就是说，如果对地观测的空间分辨率为1米，理论上，其高程的分辨率也是1米。不幸的是，因为探测信噪比的原因，目前，我们只能做到1.67:1这个程度，也就是高程分辨率只能达到1.67米，当然，这比双目视觉测量的2：1关系好多了。很显然，信噪比带来的分辨率退化问题是有办法解决的，未来，我们做到1.2:1还是很有可能。
打住，你不是前面说过，偏振只能获得物体的三维形貌，而且还是个相对值，你怎么就得到了高程的绝对值呢？
恭喜你，你问到点子上了！这也是做偏振三维成像的人最不愿意面对的问题，那就是缺少一个绝对的距离量值，而这恰恰就是那个最致命的“天残”！
三.天涯何处觅知音？寻找地缺……
无中生有是不可能的！天残的一曲肝肠断，觅得地缺千古一知音。天残虽然眼盲，不能视物，却武功精湛；地缺虽戴墨镜，眼力却甚佳，善于给天残及时指点方位和补缺，使得二人屈居杀人榜第二。
偏振三维成像这个拥有高精度三维重建的“功夫大侠”却带着天生的“残疾”——缺少距离信息，如果能遇到“地缺”这样及时补位的助手提供距离参考，必将天下无敌。
接下来，我们就该好好分析分析。“天残”缺的是绝对距离信息，我们就得想办法找这样的“地缺”。首先回答一个问题是：你那颗偏振三维成像的卫星载荷是如何获得绝对距离信息的？答案是卫星上的北斗等传感器和轨道数据，能准确告诉我们卫星的定位信息，于是就有了距离。
好吧，那么在地面应用时，怎么给出距离信息呢？单个偏振相机，可否被动测距？比如，一颗车载的偏振摄像头，能否给出距离信息呢？
于是，我们就大胆地设想一下：如果能给出一个可参考的距离信息，我们就可以从偏振三维精细的形貌中，根据已有的信息检索，就能够很快剥茧抽丝，找出蛛丝马迹，反演出距离信息，实现“测距”功能。
这其实就是我们要追求的目标。有了这样的相机，很显然，就能够很快推向市场，广泛应用起来。
为了精准寻找地缺，我们要看天残到底是“残”到什么程度，如果能把“残废”的等级划分一下，那就能比较方便地寻找到符合“精度”要求的“地缺”。
能给偏振相机提供距离信息的手段根据精细程度从高到低可以有：激光雷达、视差和相机标定，当然，还有已知参考信息等等。
首先是激光雷达，如果单点测距那就可以变得很简单，它能给出目标精度很高的距离信息，于是，根据偏振成像的对应目标点信息，恢复出全场景中的所有距离就变成了可能。很显然，天残的偏振相机加一个点测距激光雷达，就可以弥补激光雷达大面积扫描的缺点，真正可以做到“以偏概全”了！正所谓，你所舍去的恰恰是我需要的。
然后是视差方法，也就是双目视觉测距。说到这里，你马上想到：做一个双目偏振相机，这样的话，既有了视差，还有偏振，天残配地缺，完美结合。我们也做过这样的一台相机，确实既有双目立体视觉的优点，也有偏振的优点，堪称完美。
不过，这需要两台偏振相机，成本高了不少，而且要有一定的基线，安装空间上也有限制。那是不是单台偏振相机就无法实现视差测距呢？嗯，我看到了你在摇头，是不是？对，就是摇头——摆扫！
与立体视觉相似，设备摆扫也能提供绝对距离信息，多视角就是这类方法的代表，通过足够多的视角图像，通过它们图像视角直接的差异信息，不用对系统标定就能获得场景的深度信息。然而，摆扫的缺点是单靠两幅图像不行，往往需要十几张甚至更多不同的视角图像。显然，这种方法通常不是干活的，而是救命的，也就是在迫不得已的情况下才会用这个摆扫。机械控制、时间、存储、算法和算力的要求陡增，显然，这个代价太高。
接下来是相机标定方法。相机标定是能有效提供绝对距离先验信息的手段之一，典型特点是近距离精度高，远距离就很难谈精度了。你看看摄影用的镜头所标注的距离刻度，从近距离的0.7 m到1 m的刻度间距远大于10 m到无穷远的刻度，便一目了然。当然，这种方法与焦距和相机参数紧密相关，在近距离应用是没问题的。
最后是“非主流”门派的方法。首当其冲的便是“相似估计”，即如果在场景中有我们已知的目标的尺寸等先验信息，是不是就可以根据此先验推算出它离我们有多远。比如，我们都知道大部分的客机长40米左右，根据“近者大，远者小乎”的自然准则，可以根据其型号推断出相应距离信息。如果镜头可以变焦，根据同一物体的两次偏振图像，也有可能得到距离信息。当然，还有强大的AI，适当引入到相机模型中，这些距离信息就是你要寻找的“地缺”。
四.一曲肝肠断，奏唱遍天涯！
地缺找到了，天残地缺二人组该上场了。于是，一曲肝肠断，奏唱遍天涯。我们来看一看“天残”与不同“地缺”的组合。
1、偏振三维+激光雷达
激光雷达能够容易测得场景绝对距离信息，并且数据是离散、稀疏的。不过，我们只需要选择几个不同位置处的特征点，一般最少3个即可，分别测得3个特征点之间在x、y、z方向上的距离，这个对偏振三维来说足够确定场景坐标的量纲，实现立体相对信息到绝对信息的转化，完成我们场景测距任务。大家注意到，这里最少只需要3个点，对这位“地缺”小伙伴的要求属实不高，在更小体积、更低成本等优势发展的路上可以看到希望！
2、偏振三维+双目视觉 &双目视觉+偏振三维
双目视觉技术通过两个相机同时同步对场景信息进行采集，计算左右两相机对一幅图像的对应点成像的像素差获取深度信息，能够直接获得场景的深度信息，不过受限于基线和环境影响，往往得到的场景信息以低频为主，但是这里面包含了绝对距离信息。目前实际中这对“天残地缺”分别做了对方司机，开上了两条路：偏振三维用双目视觉来获得绝对距离信息；双目视觉用偏振信息来增强自己的高频细节。两种方法交相辉映、相得益彰！
3、偏振三维+摆扫式立体成像
这种组合搭配和双目的方式非常相似，有时候也会将这两种“地缺”当做是一家人，从实现方法上来看顶多算是远方表亲吧。不过这两对组合的作用方式倒也十分相似，双目是缺少高频信息，而摆扫这种方式往往会出现空洞。虽然应用方式相同，甚至这里也开了两辆车，但是实际过程中这可比开卡车和小汽车的差别要更大。摆扫更倾向于离散、稀疏的点云结果，所以呀，对于解决“天残”问题只有在“救命”的时候，我们才会请这位“地缺”出场。
4、偏振三维+相机标定
相机标定能够直接将世界坐标系、相机坐标系和像素坐标系紧密相连，只要相机系统标定好了，内参、外参不再改变，只要你输入一个“你好”，必然精准反馈“亲，有什么可以帮您？”，而且基本没有延迟。这里我们就能够任意选择特征点，得到它们之间的距离信息，完成坐标系量纲的转化。
5、偏振三维+“非主流”门派
不论是“近大远小”的先验信息也好，散焦/对焦的几何光学测定也罢，亦或是简单粗暴的深度学习估计，跟前面介绍的“地残”兄弟们或多或少方法或者思路一致，都是要利用求得的绝对距离信息来弥补偏振三维天生的“残疾”。小孔成像模型、焦距与光学系统的映射关系、神秘的“黑盒子”都是千千万万种距离估计的机理和方法，没有一种方法是完美的，谁是谁的“天残”，谁又是谁的“地缺”……
五.广阔的应用前景
偏振三维成像技术的发展将为各个领域带来更高精度、更全面的三维数据，有望成为未来科技发展中的重要驱动力。该技术通过捕捉物体反射或发射的偏振光来获取高分辨率的三维图像，具有优异的空间分辨率和形状识别能力。与传统的三维技术相比，它具备更高的准确性、适应性和实时性，在多个应用场景中展现出巨大的潜力和优势。
在卫星领域，它可以帮助我们更加精准地观测地球表面，测绘地形地貌、探测地质结构、监测自然灾害，并为环境保护和资源管理提供重要数据。与传统的卫星遥感技术相比，偏振三维成像能够提供更详细、更准确的地表特征信息，为地质勘探、农业检测、城市规划等科学研究和决策制定提供重要的遥感数据支持。
在航空领域，这项技术有望成为航空安全和导航的强有力工具，可用于飞行器导航、障碍物检测和3D地图创建。通过应用偏振三维成像技术，飞行器可以更加准确地感知周围环境，提高飞行安全性，并帮助创建更精确的三维地图。相较于传统的影像技术，通过安装在飞机上的偏振传感器，可以实时获取周围环境的高分辨率三维图像，捕捉更多细节，为飞行员提供更全面的飞行信息。
在汽车领域需要高度可靠的环境感知系统，以确保自动驾驶汽车的安全性。偏振三维成像技术相对于其它技术来说，在感知环境、识别障碍物、检测交通标志和提供精准导航方面更具优势。它的稳定性、实时性和高准确性使得汽车系统能更可靠地获取周围环境的三维信息，从而提高自动驾驶汽车的安全水平。
目前自动驾驶汽车中常用的传感器之一——激光雷达技术，近期在一些小视频平台上被报道了骇人的“鬼影”现象。这种情况是由于激光雷达对高反射率物体反射回来的高强度回波非常敏感。而偏振三维成像技术通过使用偏振光进行成像，这项技术可以更准确地区分不同表面特性，如金属、玻璃、塑料等，能够更好地克服这类问题，在应对不同光照条件和表面材质时会更为稳定，不易受到干扰，其将是自动驾驶汽车发展的重要推动力量。
在手机等移动设备领域，偏振三维成像技术有望为增强现实（AR）、人脸识别和室内导航等应用提供支持。它可以帮助手机捕捉更精确的环境三维信息，为增强现实体验带来更真实的感觉。通过应用偏振三维成像，设备可以进行实时活体检测，更准确地识别用户面部特征，从而保障手机支付和数据安全，有效防止生物识别技术被欺骗的风险。
此外，偏振三维成像技术在数据库权限管理方面也发挥着重要作用。设备可以利用该技术获取更精确的环境信息，有效区分真实用户和未授权人员，从而提高数据库系统的安全性。这对于保护隐私数据和防范未经授权的访问至关重要。
更广阔的应用前景，传统的一些解决方法包括结合Kinect、光度立体视觉、阴影恢复法、数据优化拟合等，在一些特定的目标和场景下能够得到不错的结果。在此基础上，我们针对遥感、室内/外等真实应用场景和目标，研究开发了无标定的多相机拟合、结合深度学习技术、自适应校正等方法，实现对更复杂的实际场景进行高精度重建。目前，已经在对地遥感、室内场景、人脸目标等场景下取得了较好的重建结果。
下面这个视频是我们在实验室实际拍摄的结果，左边为彩色图像，右边为深度图像。你看到了什么？
偏振三维成像还给我们带来了启示：在高维度的空间中，偏振、相位、光谱等高维度物理量可以向下映射到深度、分辨率、作用距离等信息量中，这些映射关系需要我们进一步去发掘，这就是计算成像的范式设计。
下期预告：计算成像中的计量问题
随着计算成像技术的高速发展，测量和计量的问题已提到日程。与传统的测量、计量不同，计算成像是以信息传递为准则，而光场是计算成像的灵魂。如何对光场信息进行测量和溯源？如何与传统成像进行对比评价？升维带来熵的变化是什么？下一期将讲述计算成像中的计量问题。
作者团队简介
邵晓鹏，教授，西安电子科技大学光电工程学院院长，西安市计算成像重点实验室主任，173重点项目首席，科普作家。主要研究方向：计算光学成像技术、光电图像处理与模式识别、光电仪器研制与测试。现任国家部委专业组专家，中国光学工程学会常务理事、中国光学学会理事、陕西省光学学会副理事长、陕西省光学工程学会副理事长、西安市激光红外学会副理事长；光场调控及其系统集成应用福建省高校重点实验室学术委员会主任；**工业光电信息控制和安全技术等10余个重点实验室学术委员会委员。《Advanced Imaging》主编，《Ultrafast Science》副主编，《应用光学》副主任委员，《激光与光电子学进展》《光学精密工程》《光子学报》《系统工程与电子技术》《数据采集》《光电技术应用》《激光与红外》《集成技术》《西安电子科技大学学报》等期刊编委。
李轩，特聘副研究员，博士后，入选中国科协青年人才托举工程项目，获得第九届中国光学工程学会技术发明一等奖，2023中国自动化学会科技进步二等奖，2022年度浙江省科学技术进步奖三等奖，第八届中国光学工程学会创新论文（优博）提名奖。
近年来主持国家自然科学基金青年项目、博士后基金特别资助、**某局创新基金、国家重点实验室基金、上海航天科技创新基金、杭州创新创业项目及横向项目近二十余项，作为子课题负责人等参与了国基金面上项目、装发共用信息、军科委创新项目、杭州市人工智能重大专项。在Optics Letters，Optics Express等国内外学术期刊和会议上发表论文20篇，授权/申请国家发明专利近二十项。担任中国光学工程学会计算成像专委会青年委员、《光学技术》期刊青年编委。
刘飞，教授，博士生导师，西安电子科技大学计算成像研究所主任。
西安电子科技大学华山菁英人才计划入选者。现任西安电子科技大学先进光学成像交叉前沿研究中心副主任，西安市计算成像重点实验室副主任，陕西省先进光电成像专委会常务副主任，美国光学学会(OPTICA)西电分会指导教师，中国科学院长春光机所应用光学国家重点实验室客座研究人员，光电信息控制与安全技术重点实验室客座教授， Journal of Nanophotonics期刊副主编，Cells期刊Computational imaging for Biophotonics and Biomedicine主题Guest Editor，OPTICA Travel Lecture（全球巡讲讲师）；中国感光学会青年理事，《激光与光电子学进展》、《光子学报》等期刊青年编委，Optics Letters, Optics Express，Applied Optics，JOSA A等多个国际期刊审稿人。
相萌，准聘副教授，现工作于西安电子科技大学光电工程学院计算成像研究所。
主要从事计算成像在空间遥感、工业检测、生物医学等典型交叉学科的应用研究，具体研究方向为光学合成孔径成像、傅里叶叠层超分辨成像等；近年来主持或参与了包括国家自然科学基金、JKW预研基金、高分辨率对地观测系统重大专项、重点实验室基金等国家及省部级纵/横向项目十余项。在Optics Letters、Frontiers in Physics等国内外重要学术期刊共发表SCI论文多篇，任Optics Letters, Applied Optics，JOSA A等多个国际期刊审稿人。
