据中国激光杂志社网，于2024年01月31日报道，成像光谱仪该长什么样？——下一代成像光谱仪。
1、一个简单的问题
好好的一张报纸，用不同颜色的笔一层一层地覆盖着写上不同字体的字，涂鸦后看起来惨不忍睹的这张报纸，你是否还能分辨出原先报纸的内容？每一层覆盖写上去的字是否还可以分辨？
2、一个真实的故事
沿海城市的一个研究所A找合作单位B花了上亿经费，做了一款从可见光到短波红外的高光谱成像载荷，用于地面目标检测识别，B夸下海口：“任何你感兴趣的目标都难以逃离这个载荷的毒眼！”结果，这个载荷上天后，连一同发射的耗费少得多的普通相机都发现目标了，这个高光谱却成了“睁眼瞎”。后来，A后悔得要死。
3、一个简单的道理——“涸辙之鲋”
庄周家贫，故往贷粟于监河侯。监河侯曰：“诺。我将得邑金，将贷子三百金，可乎？”庄周忿然作色，曰：“周昨来，有中道而呼者，周顾视车辙中有鲋鱼焉。周问之曰：‘鲋鱼来，子何为者耶？’对曰：‘我，东海之波臣也。君岂有斗升之水而活我哉？’周曰：‘诺，我且南游吴越之王，激西江之水而迎子，可乎？’鲋鱼忿然作色曰：‘吾失我常与，我无所处。吾得斗升之水然活耳。君乃言此，曾不如早索我于枯鱼之肆！’”。
如果想睡个好觉，买一个好的床就可以了，但卖家却要卖给你一个别墅。如果你觉得这是个笑话，这在现实里却是经常发生。本来几个光谱就能搞定的事儿，卖家却偏要卖给你一个高光谱成像仪，价格贵得让你紧捂腰包；随之而来的是光谱成像推广难度大，数据少，发展缓慢。
随着AI时代的到临，在图像识别中得到大范围应用，识别率大幅提升，甚至能把成像光谱自以为傲解决目标识别的那点光环扒得一干二净。是不是光谱不行了呢？说好的指纹怎么不好使了？成像光谱仪该怎么发展呢？本文将从光谱的指纹特征、光谱识别方法入手，讨论高光谱与多光谱的关系，探索下一代成像光谱仪的设计。
一、为啥说光谱是物质的指纹？
众所周知，指纹具有唯一性，很早就用来契约签订、刑事侦查和身份识别。在当今社会，指纹更是开锁、打卡等常用的人体特征，让我们告别了传统的机械钥匙和工作卡片，不再为忘记带这些附加的玩意儿而苦恼了。指纹唯一性的决定因素其实是基因，人的容貌、指纹、虹膜、声音、甚至走路的姿势，都受基因控制。于是，常常就会出现这样一幕场景：远处看见一个熟识的人走来，尽管看不清他的容貌，甚至他戴着帽子和口罩，他走路的样子、习惯性地咳嗽了一声，再听到他打电话的声音，你大概率地能判断出他是谁。结合“元视觉与计算光学成像”一章的内容，那个元视觉其实就是基因，强度、光谱和偏振等特征分布就像人的指纹、虹膜、声音等一样，都可以用来做目标识别。
光谱为什么能成为物质的指纹呢？
这得从光谱学开始说起。光谱学（Spectroscopy）是利用物质发射、吸收或反射的光、声或粒子的现象，来研究物质或能量的方法，一般定义为研究不同波长的电磁波和物质之间相互作用的学科。光谱学是物理和分析化学中的常客，通过发射或吸收电磁波来鉴定物质。相互作用的图被称为光谱，全称为光学频谱。按照电磁辐射与物质相互作用的过程不同，光谱可分为吸收光谱、发射光谱与散射光谱。按发生作用的物质微粒不同可分为原子光谱、分子光谱、固体光谱等。按照波长范围(谱域)不同又可分为红外、紫外、可见光谱，X射线谱等。
光谱学的物理机理是物质内部不同的分子、原子和离子对应着不同特征分布的能级，在特定频率的波谱下产生跃迁，由此引起不同波长的光谱发射和吸收，从而产生不同的光谱特征。这些能量变化就对应着光的波长或频率的变化，从而形成了物质的光谱线或光谱带。很显然，分子、原子和离子对应的能级是由低到高的，对于成像光谱仪而言，它获得的光谱其实对应是分子特征能级，自然地，红外波段的特征更明显，而可见光波段的特征就差了很多，这也就是为何可见光波段的成像光谱仪不好使的重要原因，其实就是“指纹”不完整，甚至残缺不全，识别当然难度大。
于是，每种物质都有其独特的光谱特征，就像人的指纹一样。光源发出包含各个频率（不同波长）的光，这些光照射到物体上，由于物体表面物质的理化性质导致一部分光被物体表面吸收，另一部分光被反射出去。
地物反射光谱是指地物的反射率随入射波长而变化的规律。本文主要讲的是成像光谱，地物反射光谱就是主要研究对象。
二、光谱识别带来的思考
光谱是怎么识别的？答案当然是比对特征光谱——物质的“指纹”特征。特征光谱实际上是一条曲线，这条曲线需要在特定的环境下测量、标定，然后绘制入库，形成特征光谱数据库。显然，这条曲线的光谱分辨率越高，特征就越明显，越容易识别。它就像是基因，每个片段越清楚，特征就越多，就越容易识别。
光谱分辨率高就需要光谱谱段分得特别细，于是，高光谱成像就出现了动辄以纳米光谱分辨率的形式出现，结果就是系统极其复杂，造价昂贵，却难以使用，更不要谈普及。一般的，地物反射光谱数据库拥有上百谱段的标定光谱就够用了。
我们知道，光谱识别方法千千万，溯其本质却只是光谱曲线形状比对，其实就是看着长得像不像的问题。如果按照定标入库的特征光谱拍摄的话，大概率地，比对的两条光谱曲线差异很小，只用简单的对齐就可以轻而易举地判断出来，甚至连最小二乘法这样的简单算法都不用。可是，实际成像光谱仪获得的数据是这个样子的：拍摄条件有环境干扰，光谱谱段数目少，甚至光谱波段残缺，典型的就是为了节省成本，只用了可见光探测器，成像光谱最多延伸到1000 nm的近红外区，而且探测器的这段光谱响应很低，造成光谱曲线退化，结果就是光谱稀疏，特征不明显，尤其是缺了更重要的红外光谱区。这就像是看有血缘关系的一个家族，他们拥有着一定数量的相同基因，但经过基因稀释和混合之后，单纯地从他们的形貌上来辨别他们是否属于同一家族是很困难的，甚至同胞兄弟二人都很难从形貌上来辨别。而讽刺的是，我们经常会看到明星撞脸现象，尤其是一些明星的替身，甚至让我们难以辨识，而我们心里却很清楚，他们是没有血缘关系的。于是，比对基因，就可以辨得一清二楚。
还是拿基因来分析这个问题，分析两个人是否属于同一家族，其实并不需要比对所有基因片段，而只需要知道这个家族的几个典型基因就可以了。前文我们说过，在计算成像中，基因就是“元视觉”，图像和光谱都是其投影，即元视角。
所幸，成像光谱获得的号称“图谱一体”的数据，既有图像，还有光谱，简直就是perfect！于是，在成像光谱识别中，就会联合图像和光谱一起来识别，提高识别率。
可是，既然如此，那怎么会发生开头一段的“一个真实的故事”呢？这还得从成像光谱仪的设计开始说起。
三、成像光谱仪的代价
我们知道，成像光谱仪获得的数据是“图谱一体”的数据立方体，即三维数据。而我们的成像器件呢，还是二维的阵列，只能获取二维图像数据，那么，第三维的光谱该怎么获得呢？那必须得牺牲点什么了。
方法有两种：升维和降维。
升维的典型做法就是牺牲时间，通过推扫、切换谱段等方式获取光谱信息，这是高光谱成像典型的做法，优点是获得了比较高的空间分辨率，缺点是变成了“行动迟缓”的老人，时间响应差。这种成像光谱方法多用于遥感等时间不是特别敏感的场合，而且不缺钱的那种。
降维的典型做法是牺牲空间分辨率和光谱分辨率，也就是让一个耳聪目明的帅小伙变成了“既瞎又聋”的老者，典型的做法就是在探测器上镀膜，做出多光谱成像芯片。当然，镀膜的方法有很多，也有镀膜后推扫牺牲时间的那种，这里不详细介绍。
还有没有其他的方法呢？当然有！十多年前流行一时的压缩感知让压缩光谱成像登上舞台，这几年的深度学习又神助攻了一把，使其性能似乎卓越了不少。但其物理上的解释着实让很多人不放心，火倒是火，但更多的是在论文区战场，在应用战场上并不卖座。
那么，既符合物理解释又能“干活”的成像光谱仪有没有呢？答案是：有！其实，之前我多篇文章已有论述，那就是牺牲存储位深的成像光谱仪，它的特点是不牺牲空间分辨率，不牺牲时间，而且与普通相机形态基本一样，只需要在光学系统中加入滤光片即可。当然，作为成像光谱仪，能量谁都要牺牲，这谁都没办法。这种成像光谱仪具体怎么做，我在之后的文章里会专门介绍。
写到这里了，那么就回到了另外一个问题，到底是多光谱还是高光谱呢？
四、多光谱与高光谱之争
其实，这个问题很好回答：高光谱应该作为光谱标定、建库使用的工具，它既“尊贵”（主要是贵），又不好用，就像你让一个侯爵去犁地一样；多光谱便宜且大众，适合去干活。
既然如此，那么，多光谱成像为什么也没有普及呢？而且，它活干得也不好啊！这就是成像光谱仪尴尬的地方，“涸辙之鲋”的道理更是明显，如果你真给鲫鱼一斗海水，它到底能存活多久更是难说。
原因很简单，那就是多光谱该怎么选的问题。干活是分工种的，有的犁地，有的养牲口，有的开拖拉机……你想让张三同志什么活都得会干，而且要干得好，这个太难了！
到底是高光谱还是多光谱这个问题，还得从光谱到底怎么分的说起。首先，高光谱成像多为光栅和棱镜的分光模式，将宽谱光色散后，根据设计谱段数均分光谱区域，特点是每个谱段都是等间距的，各谱段相互独立。高光谱的谱段数越高，光谱分辨率越高，理论上讲，光谱曲线就会越光滑；缺点是光谱能量低，易受噪声影响。然后，我们再来看多光谱，它的特点也是根据谱段数均分光谱区域，只是谱段数少而已，光谱稀疏，曲线不够光滑，能量利用率高一些，其他的与高光谱都一致。
我们再进一步看看高光谱识别方法，其中很流行的一类方法称之为“波段选择（Band Selection）”，方法多种多样，但核心思想无非就是对高光谱数据降维，也就是把高光谱图像上百个光谱数据根据目标的光谱特性做光谱的稀疏化，把高光谱变成多光谱。当然，具体的做法就比较复杂了，还涉及到光谱正交基的选择之类问题。不仅如此，难点还在于不同的物质对应的特征光谱不同，光谱曲线不同，很难将光谱识别问题变成一个通用的检测方法。
也正是因为这些原因，成像光谱应用很难推广。光谱成像难推广的原因主要有两个原因：一是设备太贵，老百姓很难用得起；二是高光谱和多光谱到底能解决什么问题，很难说清楚，而且这才是用户最关心的核心问题。当我想在工业界推广多光谱相机时，朋友经常一个问题就能问倒我：光谱能干什么？能解决生活中的哪些问题？含糊的答案当然千千万，可是却不能一言中的，直截了当地回答好这个问题。
目前成像光谱的应用现状到底怎么样呢？学术界的姿势是使用标准光谱图像数据库，变着花样设计各种算法，什么流行追什么，一会儿稀疏表示，一会儿深度学习，能用上的全用上，然后得到一组漂亮的数据，识别率达到诸如99%之类的结果。特点是算法应用不出标准光谱图像数据库，一旦给了一组新数据，算法表现往往都差强人意，然后来一句抱怨：光谱数据太少了，没有试验的机会。这样做的好处呢，是大家都在同一个尺度、同一个标准下对比，比对容易，但带来的问题是难走出这个圈子，论文相互审来审去，相互提携一下，发个顶刊，却不能干活。长此以往，做应用的少，发论文的多，于是就出现了怪现象：天生的物质“指纹”却怎么都摁不准，总是“解锁”失效。
当然，做工程应用的严谨研究人员也不少，他们也在不断思考，尝试用更简单的办法解决应用问题。我就遇到过做深空探测光谱应用的研究人员，他们就在不断优化成像光谱仪的设计，以应用为目的，解决光谱成像应用的难题。我和他们的共同观点就是高光谱多用做标准测量，多光谱来解决问题。
于是，一个问题就迎面而来，既然高光谱都不好解决的问题，多光谱能行吗？每个任务不同，特征光谱不同，如何设计多光谱呢？尤其是面对光谱成像设备昂贵的问题，我们该怎么做？
这里，当然我要讲的是计算光谱成像，也就是低成本的、好用的下一代成像光谱仪。
五、下一代成像光谱仪
成像光谱仪的小型化、低成本一直是科学家的梦想，每次技术革命都会激起这帮热衷光谱家伙们骚动的心：在压缩感知流行时，出现了压缩光谱成像；在光场操控流行时，出现了以F-P干涉调制型光谱成像；在微纳光学流行时，出现了探测器镀光谱薄膜技术；在超透镜（Metalens）流行时，出现了超透镜型成像光谱仪；在人工智能时代，出现了深度学习把多光谱拉扯成了高光谱……但有一个事实确实摆在我们面前，那就是成像光谱仪如武术般，花样繁多，什么高难动作都有，故事一大堆，投资一大把，却还没有飞入平常百姓家。于是就有人把成像光谱仪看成了“太极大师”，牛吹得很大，一拳就能被人家KO。我当然不同意这个观点，但我很着急，因为我知道这里面有大文章可做，只要不走偏，脚踏实地面对真问题，一定大有可为。
说白了，目前的成像光谱仪还是阳春白雪，曲高和寡，动作好看，却不能打，这肯定不行。那么，怎么才能让成像光谱仪走入寻常百姓家呢？走寻常路估计比较困难，我们拓展一下思路。
先回到我们最熟悉的人眼吧，大自然把人类的视网膜设计成由红、绿、蓝三类锥状细胞和一类杆状细胞组成，于是，我们可以在光线好的情况下由锥状细胞感知三种颜色，经过大脑的合成，让我们看到彩色的世界；当光线弱的时候，转换到黑白频道，杆状细胞开始工作，能够在黑暗环境中看到点什么，解决生存问题。当然，我们关心的还是色彩的问题，也就是为什么大自然千千万万的繁杂色彩都能由三种颜色合成？为什么是红绿蓝这三种颜色？可不可以是其他三种颜色？这三种颜色很“纯”吗？能不能把这些问题拓展到光谱领域呢？
回答完这些问题，也许你就能明白点什么。
首先看色彩合成的问题。尽管人类用的红绿蓝三种锥状细胞看彩色世界，但我们感知的只是颜色，确切地说，每一种颜色都是由一组红绿蓝锥状细胞分别感知的色彩分量，经过视神经传输到大脑合成的，甚至可以认为是一个具体的数值。光谱呢？我们在做光谱识别时，实际上是在做每个分量的独立比较，看它们离得远近程度判别是不是同一类光谱。这其实很不同，据说，正常视觉的人在相近颜色对比的情况下，可以分辨出16万种颜色。不得不说，这种辨识能力是超强的，而与之对比的现有的光谱识别方法，则远远达不到这种程度，因为拿这三个色彩分量与标准值做比对时，你发现它们之间的差异之小远超信噪比的宽容度了。于是，我们有理由怀疑比对方式的光谱识别实际上是有缺陷的。也就是，独立分量的灵敏度没有合起来的灵敏度高，换句话来说，光谱识别算法其实还可以有更好的架构设计。
接着，我们再看这三种锥状细胞的色彩“纯度”。从它们感知的光谱曲线就很容易看到问题：它们不仅不纯，而且，它们之间竟然还有光谱重叠！噫嘘乎！怪哉也！其实，怪的是我们，因为我们习惯了“平均分配”，习惯了“简单”，却为了简单，而搞得越来越复杂。这给我们带来另外的启示：光谱分量的切分可以是不等长的非均匀分配，而且，各谱段之间可以有一定的重叠。
我们来看看这样做的好处：
（1）不等长光谱分布的线性组合灵活性更强，相当于在原先一维空间做了升维的拓展；不等长设计方法需要参考物质的特征光谱，它的好处犹如通信中的不等长编码，也就是哈夫曼树的设计，可实现熵减；
（2）光谱谱段间重叠意味着其在数学上存在着交叉项，这就使原先的线性方程变成了非线性方程，如果设计得好，将会带来更多的收益。当然，光谱重叠的依据需要考虑正交基的设计问题，这部分工作恰恰在高光谱识别中已积累了很多成果。不过，这些问题目前可参考的东西很少，因为很少人会打破常规去设计成像光谱仪，何况成像光谱仪在老百姓心目中的接受度还很低，不知道它能干什么；也正是如此，才有更多的创新工作需要去攻克，我也相信，一旦有更多的数学因素参与进来，创新性成果将大量涌现，自信心强的学者可以考虑投稿到《Advanced Imaging》。
写到这里呢，你其实还有一个疑虑，那就是如何面对繁杂物质的光谱识别来设计多光谱成像仪呢？也就是说我总不能买一个成像光谱仪只能干一件事吧？这个问题提出多年，也没有好的解决方案，原因就是多光谱成像的范式设计过于固化，只有那么几个“固定”设计模式，束缚了设计者的思维。在计算光谱成像中，光谱当以混叠姿势进入设计角色，那就是多个光谱经过光学元件变换做频谱混叠，建立起光谱编码/解译稳定的函数关系，就能确保光谱的设计可靠性。在压缩感知时代，研究者多以4f系统做光谱的混叠，当然，压缩光谱成像存在着非稳定性特点，常被人质疑也是实情。回到多光谱的动态设计问题，随着微纳技术、空间光调制器、DMD、MEMS等动态光场调控器件的高速发展，我们有理由相信，可动态调控的光谱混叠技术将融入成像光谱仪的光学系统中，根据需求动态更换多光谱的时代将很快来临。
还有，进入了人工智能时代，AI光谱智能算法也登上了舞台，这些都是好事情，尤其是做端对端的AI设计方法，能把潜在的非线性关系梳理出来，那就更是大功一件了！
总之，下一代成像光谱仪瞄着设计简单、动态多光谱设计、低成本、高可靠性等方法发展，使成像光谱走入千家万户，让更多的人打开新“视界”，看到更丰富多彩的世界。
六、火眼金睛
银河学者张叁风经过长期不断努力，终于将他研究了一辈子的多光谱成像技术推广给了手机厂商，于是就有了这样的一幕：
“遥遥领先的大蒜7Q8手机率先推出了多光谱摄像头，独具慧眼的它，能够一眼看穿食品是否新鲜，农药残留多少，你买的有机蔬菜有没有缴纳智商税，你吃的是不是预制菜……7Q8，不要5999，只要5798，让你的生活更健康！”村里新安装的3D显示大屏，不停地播放着广告，旺财却只顾着啃着它藏了好几天的骨头，头也不抬，却不知厄运已来临。只见主人王二嘎亮出他的7Q8，对准那骨头，眉头一皱，大叫一声：“不好，你这骨头已过最佳赏味期……”说完，飞起一脚，那骨头早已不见了踪影……
下期预告：信噪比——计算成像的拦路虎
随着计算成像的高速发展，我们愈来愈发现一种成像方法是否可行，往往都会受到信噪比的影响，甚至很多时候，信噪比成了决定因素。那么，这个无处不在的信噪比到底是怎么影响着计算成像呢？本文将从信噪比的定义开始讲起，剖析信噪比如何影响计算成像信息解译，走出误区。
作者团队简介
邵晓鹏，教授，西安电子科技大学光电工程学院院长，西安市计算成像重点实验室主任，173重点项目首席，科普作家。主要研究方向：计算光学成像技术、光电图像处理与模式识别、光电仪器研制与测试。现任国家部委专业组专家，中国光学工程学会常务理事、中国光学学会理事、陕西省光学学会副理事长、陕西省光学工程学会副理事长、西安市激光红外学会副理事长；光场调控及其系统集成应用福建省高校重点实验室学术委员会主任；**工业光电信息控制和安全技术等10余个重点实验室学术委员会委员。Advanced Imaging主编，Ultrafast Science副主编，《应用光学》副主任委员，《激光与光电子学进展》《光学精密工程》《光子学报》《系统工程与电子技术》《数据采集》《光电技术应用》《激光与红外》《集成技术》《西安电子科技大学学报》等期刊编委。
董雪，准聘副教授，主要从事基于微纳器件的光谱成像、散射光谱成像方面的基础研究与应用研究工作，提出了多种基于微纳器件的新型光谱成像方法、目标检测方法，开发了多套面向微观目标、宏观目标探测的小型化、高性能化系统样机。近年来参与了装备预研航天科技联合基金、基础研究学科布局项目、中央高校基本科研业务费专项资金等项目，在Microsystems & Nanoengineering、Optics Letters和Optics Express期刊上发表论文4篇，申请发明专利14项，授权5项。
相萌，准聘副教授，现工作于西安电子科技大学光电工程学院计算成像研究所。主要从事计算成像在空间遥感、工业检测、生物医学等典型交叉学科的应用研究，具体研究方向为光学合成孔径成像、傅里叶叠层超分辨成像等；近年来主持或参与了包括国家自然科学基金、JKW预研基金、高分辨率对地观测系统重大专项、重点实验室基金等国家及省部级纵/横向项目十余项。在Optics Letters、Frontiers in Physics等国内外重要学术期刊共发表SCI论文多篇，任Optics Letters, Applied Optics，JOSA A等多个国际期刊审稿人。
刘金鹏，副研究员，华山准聘副教授，硕士生导师，现工作于西安电子科技大学光电工程学院计算成像研究所。主要研究方向为强对抗环境下计算成像。近年来主持国家自然科学基金青年、国家重点项目子课题等多项国家及省部级项目，参与面上项目、863项目等课题。在散射成像、光场调控与分析等方面开展研究，并发表多篇OPTICS EXPRESS、OPTICS LETTERS等SCI期刊论文，任Scientific Report、OPTICS EXPRESS、Applied Optics等期刊审稿人。
李伟，西安电子科技大学光学工程博士，西电杭州研究院先进光电成像与器件实验室菁英副教授，主要从事散射成像、非视域成像等计算成像方向研究。作为主要成员参与国家自然科学基金面上项目、“十三五”预研项目等多项科研项目，在Photonics Research、Optics Letters等领域内顶级期刊及会议发表论文20余篇。
郭成飞，副研究员，硕导。主要从事高通量、高空间带宽积计算显微成像、自动对焦技术以及自动显微仪器的应用开发等研究工作。主持某部委重点项目、国自然青年基金、博士后面上等项目，在Biosensors and Bioelectronics、ACS Photonics、Optics Letters、Optics Express等SCI期刊发表20余篇。
刘飞，教授，博士生导师，西安电子科技大学计算成像研究所主任。西安电子科技大学华山菁英人才计划入选者。现任西安电子科技大学先进光学成像交叉前沿研究中心副主任，西安市计算成像重点实验室副主任，陕西省先进光电成像专委会常务副主任，美国光学学会(OPTICA)西电分会指导教师，中国科学院长春光机所应用光学国家重点实验室客座研究人员，光电信息控制与安全技术重点实验室客座教授， Journal of Nanophotonics期刊副主编，Cells期刊Computational imaging for Biophotonics and Biomedicine主题Guest Editor，OPTICA Travel Lecture（全球巡讲讲师）；中国感光学会青年理事，《激光与光电子学进展》、《光子学报》等期刊青年编委，Optics Letters, Optics Express，Applied Optics，JOSA A等多个国际期刊审稿人。
