据中国激光杂志社网，于2023年09月06日报道，未来“图像”数据长什么样？计算光学成像带来的数据革命。
引子
月黑风高夜，一个黑影身手敏捷，潜入机房，熟练地将小巧的U盘插入电脑，输入了一串字符。不到一分钟，取走U盘，转身疾步闪入一个房间，灯也不开，将U盘塞入一个文件袋，抑制不住的兴奋让他甚至有些颤抖：等待多少年了，我小二黑终于可以腰杆硬一回！
得意往往蕴含着危机。可惜，小二黑不懂这些，他的眼里只有金钱。这次他终于有一个千载难逢的机会，基地更新了新的成像装备，核心图像数据一直是他的上级做梦都想拿到的，国外的主子一定会给他一个好价钱。小二黑故作镇定地坐在约见的咖啡馆，不自觉地抬起手腕看表。终于，过了好久，一个身着旗袍的高挑美女影影绰绰来到对面坐下，一个眼神小二黑就立马掏出U盘，恭恭敬敬递给那女人。只见那女人高傲地接过U盘，插入一个随时携带的小巧设备，屏幕显示着数据拷贝的速度，转眼功夫，数据读取完毕。她娴熟地启动了一个程序，期待的眼神也掩饰不住她内心的那股傲气。这种事对她来说轻车熟路，所有影像数据都能瞬间显示出来。只见那程序在打开数据时，似乎出了意外，她显得很焦虑，眉头也皱了起来。这个程序可是他们的至宝，花了巨资制作，从未失手。只见屏幕的指示有了变化，突然蹦出一个框：格式错误！
小二黑更是紧张，难道失手了？……
其实，他并没有失手，只是他“不是不明白，这世界变化快！”原来，基地新换的设备采用了计算光学成像模式，图像数据发生了天翻地覆的变化，原先那一套竟然不好使了！
那么，计算成像的数据形式是什么？难道做了加密处理吗？
一.光场如何记录？
如果说光场是计算成像的灵魂，那么，计算成像记录的就应该是光场信息。这种说法对吗？
首先，你很难去否定这句话，因为在逻辑上确实如此。可是，往细处琢磨，却发现这种说法不严谨，直接原因是目前光电探测器记录方式是能量（强度）的阵列化存储。
接下来，我们还得从光场的基本元素说起。光场的基本元素有强度、相位、偏振、光谱、时间和空间等，这些基本元素的特点是既有强度、偏振度、光谱、时间和空间这样的绝对量，也有相位、偏振角等相对量。很显然，绝对量可以直接存储，而相对量存储必须要借助于参考才能存储/还原其原值，典型如全息摄影，相位的存储是光的干涉条纹，还原时，必须要用同频率的激光作为参考才行。
然后我们来看成像探测器又是怎么工作的呢？我们现在用的成像探测器还有个名字叫焦平面阵列（Focal Plane Array，FPA），其实就是告诉我们光电成像存储的是矩阵形式的数据，这个数据是什么呢？焦平面阵列可以认为是由若干单元探测器组成的，而这些单元探测器本质上就是二极管，二极管接收到光电效应产生的电子后，将光的强度转化为电量，量化之后变成数字量。很显然，成像探测器得到的图像本质上就是一个由强度组成的空间阵列，而这个阵列的空间坐标就是采样点的位置，也就是说探测器完成了时间和强度信息的记录。
那么光场该如何存储呢？这确实是个问题，而且是大问题。问题出在两方面：1）光场中的绝对量只有强度和空间能直接存储；2）光场是高维度信息，焦平面阵列型探测器只是一个二维矩阵形式。
这其实是一个典型的一对多的NP问题。对于探测器而言，时间这个绝对量可以帧序列来存储，在时间分辨率要求不高时，都能解决问题，图像就变成了视频；光谱尽管也是一个绝对量，但是受材料影响，探测器的光谱响应曲线直接断送了跨越红外到可见光、紫外的超宽光谱探测器的幻想——不现实！目前记录光谱的办法多采用时间换光谱、空间换光谱的办法。这里请注意：时间、空间与光谱也都是绝对量。
再看看相对量吧，存储和还原必须要有参考量。相位怎么记录？这当然首先要看“相位到底是个啥”，明确是什么相位，然后找参考。典型的相位记录是结构光成像和干涉成像，相位都是以条纹的形式出现，通过解相位包裹恢复出相位信息。那么偏振呢？相对而言，偏振比较粗暴简单，根据Stokes矢量分别记录0°、45°、90°和135°四个线偏振方向的子图像即可。你看，这其实是用时间或空间换偏振的方法。
那么，如果我想把强度、相位、偏振、光谱都得到，并且存储下来，那该怎么办？很显然，高维度的信息要以二维矩阵的方式记录下来，必须考虑各种投影关系，这将何其复杂？更何况，这里我们还没有考虑光场的投影关系以及复杂的变换域投影。
噫吁嚱，光场记录之难，难于上青天！
二.还是矩阵吗？
我们熟悉的图像都是矩形的，存储形式自然都是矩阵。可是，到了计算成像中，图像还是我们熟悉的矩阵吗？这其实取决于探测器。
“为什么受伤的总是我？”探测器不禁长叹一声！可不是嘛，在传统成像中，探测器作为成像链路中的最后一棒，光学系统的任务完成后，剩下来的压力自然就留给探测器了。在计算成像时代，我们一直呼吁计算探测器，其压力还可以传导到计算阶段，可是它却千呼万唤不出来。于是，在大多时候，我们不得不继续沿用传统的平面探测器，这个时候，记录成像数据依然还是矩阵，只是这个矩阵记录的不仅仅有强度，而且还有其他物理量。
探测器之所以采用平面，主要原因是为了适配不同焦距的光学系统，而且，矩阵特别适合做线性运算。当我们习惯于这种平面探测器时，我们应该想起鲁迅在《狂人日记》中说的一句话——“从来如此，那便对吗？”这句话对我们科研工作者尤为重要。当我们改变不了别人时，我们可以改变自己。当然，改变别人比登天还难，这种念头一刻都不要有。于是，探测器需要“自我”革命。
在这一篇中，我们依然不讨论计算探测器。但至少我们知道探测器的面型还有曲面的，甚至还有自由曲面的。简单起见，在这里，我们只讨论球面探测器这一种情况。
哈哈哈，你看到了什么？一个无理数π直接宣告矩阵的终结！是啊，坐标该怎么设计？还是熟悉的（x,y）吗？“无路可走”时的出路就是开辟新的道路，此时，我们应该果断地放弃笛卡儿坐标系，极坐标就是一个好的选择，它可以方便的将空间两点的关系表示为夹角和距离，被广泛用在航空、航海以及机器人等领域。在地理学中，地球表面是一个球面，而地图是平面，为了将球面投影到平面上制作地图，需要使用共形映射方法。其中，球面到平面的赤平极射投影是常用的投影方式之一。采用共形映射可以保持地球上不同区域的角度关系不变，使得地图更加直观易读，并满足测量和导航的需求。
平面探测器上笛卡儿网格划分是横平竖直的，但是在球体上看起来是扭曲的。尽管在球面上网格线仍然保持垂直，但网格方格的面积随着它们接近北极而缩小。平面探测器上极坐标网格在球面上同样保持垂直，而且看起来不再那么扭曲，但网格扇区的面积仍会随着它们接近北极而缩小。
这种扇区面积的渐变，很容易让人联想到光学系统设计中的场曲和畸变，此时，我们或许可以通过曲面探测器将它们都统统搞定。理论上曲面探测器阵列无法通过方形像元密集排列而成，实际上的像元之间存在间隙，因此可通过将平面弯曲而得到曲面探测器，但却一定程度上降低了填充率。解决这个问题的思路便是在极坐标系下优化像元布局，而不是仅仅将平面掰弯。
三.看到的都是视角：光场解译与图像
尼采说：“我们看到的都是视角，没有真相”。
对于计算成像而言，记录的光场信息需要解译之后才能得到“见所欲见、见所未见”的图像。在这里，我们需要注意：解译后得到的图像其实是光场信息的一个或者多个视图，也就是说，光场的解译目的和方法不同，得到的结果也不同，导致我们看到的都是特定视角下的结果。我们来看目标光场本身，它的传播方向、振幅分布、偏振分布、光谱分布、相位分布等等都携带有目标的信息：像利用光场传播方向可以对目标进行定位，在单光子非视域成像中一个重要的思路就是光波交会出目标所在；利用光谱分布即可辨析物体的材质特性从而实现伪装识别或真伪鉴定；利用相位分布能够对物体的三维形貌进行重建或者对透明物体成像，等等。但这些应用还是属于各自单一维度信息的解译，其实光场中这几个物理维度间更高阶的交互信息更能反映成像目标的特征即“指纹”，这也是我们计算成像努力的方向——直指成像目标的本质，当然这离不开更适用于光场信息探测的计算探测器。
为了更好理解光场记录和解译，我们举几个典型计算成像的例子。
1、散射成像
如果你留心观察，我们生活中处处都有散射成像的身影。当你抬头看向蔚蓝的天空，美丽的火烧云，这些都是散射造成的视觉奇观；当然，下雨天或恼人的雾霾天时，散射又会遮挡我们的视线，让我们看不清、看不远。在生物成像中，散射现象尤为明显，我们想要透过皮肤看清体内的组织，然而探测到的信号却是看起来杂乱无章的散斑图像。为了从这些图像中恢复出深层组织信息，我们需要获知散射介质对入射光场波前的扰动，然而我们的探测器仅对光场强度信息敏感，丢失了光场的相位部分。因此，如若能恢复出光场的相位信息，则可以实现物理“透视”，相位恢复在其中扮演着无可替代的角色。
相位恢复技术又可以分为确定型相位恢复及迭代型相位恢复两种。前者主要基于光干涉（同轴全息、离轴全息、相移干涉等等）或光强传输方程根据图像离焦量与相位变化关系来确定性求解光场相位。后者，则主要基于交替投影技术，在空域及傅里叶域或其他变换域中进行交替投影，并辅以两个域中的限定条件，通过迭代的手段，实现扰动光场相位的猜测。
由于相位恢复的病态及非凸性，采集单帧图像进行复原往往存在孪生像及陷入局部极小等问题。通过增加采集强度图像数量，可以在一定程度上缓解这一问题，多距离相位恢复及叠层成像就是高精度相位成像中成功的应用案例。
2、偏振三维成像
偏振三维成像记录并解译了光场中的强度、偏振等多维信息。偏振三维成像的原理简单而言，就是利用不同偏振方向图像的数据计算得到偏振度和偏振角。而偏振度和偏振角的信息能够建立起与物体三维形貌间的直接映射，实现对目标相对深度信息的反演和重构，这是利用光场高维度特性，通过对“图像”数据记录和解译，得到真实客观世界的直观三维感知。其中需要注意的是：由偏振三维成像解译出来的“深度”是相对值，只有提供了物体的距离信息，才能计算出实际的物理深度。
我们目前已经在500 km遥感轨道等多个自然场景下进行了“图像”数据记录和解译应用并得到了实际验证，取得了良好的效果，其中我们发现偏振三维成像的精度能达到10-5量级，对于一般的被动三维探测技术，这个精度非常难以实现。而通过对光场信息的记录和解译，在物理光学领域推动远距离、被动、高精度三维成像技术的实现。
3、结构光成像
结构光三维成像也是光场记录与解译的典型例子。结构光三维成像通过将调制结构光场投影到目标表面，通过相机记录目标表面结构光场投影的强度变化或飞行时间的变化，利用复现算法实现目标表面三维结构的测量。结构光三维成像可分为空间调制和时间调制两大类。时间调制主要依赖时间飞行法，通过判断光子飞行时间的差异反推出不同区域光程之间的变化，最终得到目标表面的三维形貌。空间调制是将光场编码为结构化图案，如正弦条纹、散斑等形式，投影到目标表面。目标表面由于高度的起伏会对投影投案产生差异化调制，然后用相机记录到结构图案的变化，就能计算得到目标表面的三维形貌。
4、全息成像
当一束光经目标表面反射或穿过待测目标时，其强度和相位均会发生变化，但传统相机直接成像或眼睛直接观察时只能看到光波强度的变化，无法对相位信息产生精确感知，也无法定量获取目标的高度或折射率变化等信息。为了获取光波的“全部”信息，全息技术应运而生。
全息成像可以分为波前的记录与再现两个过程。波前记录是在传统直接强度成像的基础上引入了一束参考光，当经目标调制后的物光和参考光发生干涉时，经目标调制后的光场信息就被编码在干涉条纹中，这时利用相机、干板等感光器件记录该干涉条纹，就能够实现目标光场信息的“全记录”。由于干涉条纹并不符合人眼的观察特点也无法直接获取物光波的强度和相位变化信息，对干涉条纹的再现就是全息成像另一个重要步骤，称为波前再现。波前再现的过程就是利用一束再现光波照射记录到的干涉条纹，此时就能观察到物光场的变化信息。如果是数字重建的方式，还可以根据物光场相位的变化定量计算出不透明目标的高度变化或透明目标的折射率、浓度等变化信息。
5、压缩光谱成像
光谱成像的目的是获取目标的二维空间信息与一维光谱信息，即三维数据立方体，进而利用目标的空谱特征实现其检测与识别。区别于以时间换光谱的空间维/光谱维扫描式光谱成像方法，基于压缩感知理论的光谱成像方法通过采用压缩采样、计算重构这种以空间换光谱的方式，可同时采集目标所有空谱信息，实现非扫描的快照式光谱成像。
在压缩光谱成像系统中，入射的三维数据立方体需要经过空间调制、光谱调制处理，即对目标的空谱数据进行编码使其发生混叠形成二维数组，进而被二维探测器记录下来，然后通过压缩感知重构解码算法从混叠的二维图谱数据中恢复出目标在各个波段下的光谱图像。其中，空间调制通过二维的编码孔径来实现，目前编码孔径已经由静态的石英镀铬掩模发展到了动态的编码模板，如液晶空间光调制器和数字微镜器件（Digital Micromirror Device, DMD），而光谱调制则主要是通过色散或衍射元件来实现，如色散棱镜或衍射光栅等。
编码孔径压缩光谱成像（Compressive Coded Aperture Spectral Imaging, CCASI）是一种非常经典的压缩光谱成像系统。以美国特拉华大学开发的CCASI系统为例，当采用一次测量、编码和解码的方案时，可重构出目标在可见光波段内的24个通道的光谱图像，通过将第16个通道与第21个通道下的光谱图像进行融合，可得到最终的探测结果。可以看出，一次测量、编码和解码的方案所获得的图像并不清晰，而且虽然采集时间很短，但却花费了长达24 min的重构时间。因此，采样和重构的过程共同决定了压缩光谱成像的探测效率和成像质量。
四.计算成像的使命：只跑第一棒！
我们做事的原则是“专业的人干专业的事儿”。
如果把计算成像和图像处理看成接力赛的话，计算成像跑第一棒，而且只跑第一棒。因为计算成像研究人员擅长的是设计成像的范式，专心做好成像就很不容易了。在这一段赛程中，只要能够将光场解译算法公之于众，就算跑完，剩下的就是将第二棒交给图像处理者，因为他们才是专业的。
这个过程其实是这样的：经过计算成像范式设计，光场信息经过投影变换后，由探测器记录下光场数据，然后根据反投影变换最大化恢复光场信息；再根据成像物理模型设计解译算法，得到图像结果。这个过程都是接力赛第一棒应该完成的任务。接下来，图像处理者要做的是优化解译算法，将更专业的图像处理技术应用到图像效果的改善中，进一步提升图像质量。
很显然，对于图像处理研究人员难以适应的是计算成像出现的复杂的物理名词和物理过程，望而止步。那么，应该怎么沟通呢？在科技领域，通用的语言是数学。对，唯有数学。那么，计算成像的算法必须用数学语言描述清楚。
在这里，我们举一个偏振三维成像的例子来说明这个问题。对于偏振三维成像技术，我们已经对单个目标、多目标自然场景、彩色目标，甚至是百公里级的遥感场景进行了测试。随着场景和目标越来越复杂，所需的解译手段和方法也更复杂，为了使读者更加容易理解偏振三维成像，我们选取了一个漫反射纸杯作为目标，来对偏振三维成像技术中的“图像”数据记录和解译过程进行数学描述。这也是我们第一次公开披露数据与方法细节，相关数据欢迎大家下载使用与比对！
五.挑战
很显然，计算成像光场解译的算法简直就是密钥，只有掌握了这把钥匙，才能打开计算成像的大门。不懂数据格式，没有光场解译算法，将无法还原数据。对于一个接力赛而言，只有跑完全程才行。因此，以开放的心态，公开数据格式和光场解译算法，让专业的人进入计算成像体系，才会有更好的发展。这些全新的数据和光场解译算法，其实是给现有的图像处理做了升维，升级到下一个时代。
当然，如果处于特殊的应用场合，计算光学成像的数据和解译算法无疑就是一把天然的密钥，可以让你的数据更安全，也可以在数据中隐藏秘密信息，而打开这个秘密信息必须要有第二把钥匙，即使你得到了公开的解译算法也没用，因为它只能打开第一道门。
小二黑因为不懂计算成像，他的间谍生涯从此画上了句号。他在监狱中后悔不已，在撞到了南墙后终于认识到自己的问题：没有加强业务学习，成天刷抖音、看视频，不听技术报告，专栏文章懒得看，明明现在可以“听专栏”了，却也不曾动过收听的念头。领导曾经批评过他：“你以为你是XX大学的研究生啊！让你去听‘计算成像’课，上课时你却连纸和笔都不带，只带手机，文章也不看！”他心里不服，心道：“我的专业是digital image processing，哼！”
下期预告 >>>
受空间带宽积的约束，在视场与分辨率相互制约的情况下，我们还能不能看得更广？广域高分辨率给我们带来惊喜的同时，还带来了哪些影响？如何面对海量数据的存储和传输？广域高分辨率相机该如何应用？
下一篇，我们将讲述广域高分辨率相机的故事——“看得更广的大眼睛：广域高分辨率成像的挑战”。
作者团队简介
邵晓鹏，教授，西安电子科技大学光电工程学院院长，西安市计算成像重点实验室主任，173重点项目首席，科普作家。主要研究方向：计算光学成像技术、光电图像处理与模式识别、光电仪器研制与测试。现任国家部委专业组专家，中国光学工程学会常务理事、中国光学学会理事、陕西省光学学会副理事长、陕西省光学工程学会副理事长、西安市激光红外学会副理事长；光场调控及其系统集成应用福建省高校重点实验室学术委员会主任；**工业光电信息控制和安全技术等10余个重点实验室学术委员会委员。《Advanced imaging》主编，《Ultrafast Science》副主编，《应用光学》副主任委员，《激光与光电子学进展》《光学精密工程》《光子学报》《系统工程与电子技术》《数据采集》《光电技术应用》《激光与红外》《集成技术》《西安电子科技大学学报》等期刊编委。
相萌，准聘副教授，现工作于西安电子科技大学光电工程学院计算成像研究所。主要从事计算成像在空间遥感、工业检测、生物医学等典型交叉学科的应用研究，具体研究方向为光学合成孔径成像、傅里叶叠层超分辨成像等；近年来主持或参与了包括国家自然科学基金、高分辨率对地观测系统重大专项、重点实验室基金等国家及省部级纵/横向项目十余项。在Optics Letters、Frontiers in Physics等国内外重要学术期刊共发表SCI论文多篇，任Optics Letters，Applied Optics，JOSA A等多个国际期刊审稿人。
刘金鹏，副研究员，华山准聘副教授，硕士生导师，现工作于西安电子科技大学光电工程学院计算成像研究所。主要研究方向为强对抗环境下计算成像。近年来主持国家自然科学基金青年、国家重点项目子课题等多项国家及省部级项目，参与面上项目、863项目等课题。在散射成像、光场调控与分析等方面开展研究，并发表多篇OPTICS EXPRESS、OPTICS LETTERS等SCI期刊论文，任Scientific Report、OPTICS EXPRESS、Applied Optics等期刊审稿人。
李轩，西电杭州研究院特聘副研究员，博士后，Optica Member。主要从事偏振三维成像、高精度偏振信息解译，以及超分辨率成像方面的关键技术和基础理论研究。近年来主持国自然青年基金、博士后基金特别资助、国家重点实验室基金及横向项目十余项，主要参与了国家自然科学基金面上项目、科技委创新基金、国家自然科学基金青年科学基金等多项国家自然科学基金项目及省部级基金项目研究。在Optics Letters，Optics Express等国内外学术期刊和会议上发表论文10余篇，申请国家发明专利10余项，并多次在国际及国内学术会议上做口头报告。担任MDPI期刊Advances in Si-Based Semiconductor Materials, Devices and Their Optoelectronic Application主题Special Issue Editor，担任Optics Express，Applied Optics等期刊审稿人。
席特立，西安电子科技大学菁英副教授，西安电子科技大学计算成像研究所副主任。主要从事透过随机散射介质成像、新型计算光学系统设计以及定量相位测量技术研究，近年来主持或参与了包括国家自然科学基金、重点实验室基金等国家及省部级纵/横向项目十余项。在Optics Letter、Optics Express、Applied Optics等期刊共发表SCI论文20余篇，并多次在国际及国内学术会议上做邀请报告。曾获2020年陕西省科技工作者创新创意大赛三等奖（第五获奖者）等奖项。
李伟，西安电子科技大学光学工程博士，西电杭州研究院先进光电成像与器件实验室菁英副教授，主要从事散射成像、非视域成像等计算成像方向研究。作为主要成员参与国家自然科学基金面上项目、“十三五”预研项目等多项科研项目，在Photonics Research、Optics Letters等领域内顶级期刊及会议发表论文20余篇。
董雪，准聘副教授，主要从事基于微纳器件的光谱成像、散射光谱成像方面的基础研究与应用研究工作，提出了多种基于微纳器件的新型光谱成像方法、目标检测方法，开发了多套面向微观目标、宏观目标探测的小型化、高性能化系统样机。近年来参与了装备预研航天科技联合基金、基础研究学科布局项目、中央高校基本科研业务费专项资金等项目，在Microsystems & Nanoengineering、Optics Letters和Optics Express期刊上发表论文4篇，申请发明专利13项，授权3项。
