3 关键技术分析

3.1几种基于视觉特性的彩色图像融合算法及其相关性分析

已知人类视觉系统中具有中心-环绕对抗结构，能对到达感受域不同位置的光信号产生不同的兴奋或抑制响应。这种结构在生物系统中普遍存在，尤其是响尾蛇视顶盖的双模式细胞结构，还能够同时响应来自可见光和红外图像的信息输入产生感知。Waxman正是利用这种对抗结构建立了如图1的典型融合结构，其中的CENTER-ON／SURROUND-OFF结构体现了对比度感知属性，第二阶段红外增强微光、红外抑制微光的处理符合响尾蛇的对可见光和红外双通道图像处理机制。

图2是Toet等提出的可见光与红外图像融合方法的示意图，先分别计算两者的共有部分和特有部分，利用特有部分的对比，仿照对抗结构映射到RGB空间，形成彩声融合效果。

图像融合算法本身是对不同源图像信息的交互处理－即采用某种方法来有效包容各自图像蕴含的信息，这个过程最重要的基础就是源图像的相关性分析。如果源图像的相关系数为 1，说明图像完全相关；相关系数为-1，说明图像完全不相关，即包含大量的有用互补信息；相关系数为0，图像是随机相关的。完全相关的源图像映射到色彩空间后是无法获得丰富的彩色信息的，因此有必要选择相关系数小的源图像，得到的融合图像彩色信息丰富、彩色对比度好，从而达到图像融合的目的。而图像融合算法本身应当具有很好的相关性提取、去相关能力，即有效迟取源图像的共有部分、各自的特征部分。

上述两种方法都采用了拟视觉特性的方法对源图像进行相关性分析，由于视觉系统具有增强图像共有信息、增强互补信息以及良好的动态范围压缩能力，因此从这一角度出发建立的彩色图像融合方法都取得了优秀的效果。一些其他的去相关方法，如基于特征分析的图像统计方法也在研究中。

3.2不同源图像的特征研究

图像融合以传感器件的关系为基础，不同传感器基于不同的物理现象，所以得到的不同源图像可能有很大差异。

图像融合的信息通道一般来源于可见光成像、多光谱微光夜视、近红外成像、短波、中波与长波红外热成像，还包括SAR成像、高光谱成像等。信息源差别很大，因此融合图像的彩色效果有很大的变化空间。彩色图像融合算法要增强共有信息、显示互补信息、去除噪声，同时要用符合人类视觉感知习惯的色彩表达出来，就需要熟悉不同源图像本身的特征。

例如微光图像最主要的特征是信噪比低，在照度低于10^-31x，噪声几乎把图像淹没，图像的对比度、亮度以及分辨力明显下降；微光图像信号的空间和时间相关性很大，而图像噪声的空间和时间相关性很小。而红外图像信噪比一般比可见光图像低，且动态范围相对较大，但易产生空间不均匀：不同波段的红外图像特征有所差异。综合不同源图像的特征，提高这些互补特征在融合图像中的对比度、色彩丰富程度，能有效地提高融合图像的质量。

3.3 实时图像配准技术

在很多场合下需要引入实时图像融合技术，其中一个难点是不同传感器获得的图像可能在时间、空间位置、角度等方面有所差异，因此实时图像配准技术的研究至关重要。

要获得好的图像融合效果，必须保证不同源图像的像素点对应于相同的时间和空间位置，即实时图像配准处理一方面要保证源图像的时间同步，另一方面要弥补由于镜头变形造成的畸变，修正由不同传感器未对准形成的不同源图像空间平移、旋转或比例缩放等问题。

从图6可以看出，若不同源图像未作配准处理，其融合结果会产生“鬼影(9hosting)”现象，在高精度的应用领域(如目标跟踪、精确制导、目标变化检测等)会严重影响后续处理的准确性。需要说明的是，并非所有图像融合的应用领域，都需要高精度的图像配准技术。在图6(a)未配准的情况下，与图像近景的主体部分(人像)相比，在距离传感器较远的背景区域，其建筑物的图像质量仍在可以接受的范围内。进行实时处理时，整个场景不断变化，很难找到一种单一的映射方法，同时对源图像不同视差的景物实现精确的配准。在某些实时系统中，将这一问题独立出来，设置交互式的操作接口以供不同应用环境选择。

国外已经有较为成熟的实时图像配准技术，嵌入到实时图像融合系统。国内也开展了大量相关研究。目前研究中还存在着很多的困难，特别是图像或数据类别差异大(如光学与SAR图像)、波段差异大(如可见光与长波红外图像)等情况下的图像高精度、自动配准技术的实现，更是存在较大的困难。

目前实时图像配准技术的难点主要来源于异构传感器图像配准、高精度(亚像素级、深亚像素级)图像配准、高速图像配准、自动图像配准和严重位置差异的图像配准等。但在与实时图像融合技术的配合研究中，应当把握应用环境对图像配准精度、速度的要求，从而获得适合图像融合要求的配准结果。

3.4 融合图像的后期处理

彩色图像融合算法的设计过程中已经考虑到动态范围压缩、色彩与人类视觉感知的匹配等问题，对直接融合的结果进一步处理，有可能获得更加贴近自然真实感的彩色融合结果，有利于减轻观察者的负担。

文献[15]在HSV空间对直接融合的结果进行色彩重映射(color remapping)，并对不同类型的场景(如森林、沙漠等)设计不同的映射因子(效果见图7)。这种色彩重映射的过程能增强不同景物对比度、保持色彩恒定性、有利于显示输出，对此课题组也开展了相关研究(真实影像再现技术的研究)。图8反映了文献[24]用视觉神经动力学的中心环绕受域原理对直接融合结果的处理。

4 实时彩色图像融合系统的发展动态

目前实时图像融合系统的实现主要分为两类：一类是基于DSP技术；另一类是基于大规模FPGA技术，即SoPC(可编程SoC)实时融合系统。

国内外利用DSP进行实时融合系统的研究已取得了很大的成果。美国丁I公司较早开展图像融合系统研究，成果显著。1998年，美国MIT林肯实验室设计了一套基于C80处理器的实时融合系统，以完成微光CCD图像与红外图像的彩色融合算法，并取得了很好的效果^[15];2000年，MIT在原有基础上增加了中波红外和短波红外摄像机，开发出多传感器实时夜视融合系统^[16]。国内，北京理工大学、南京理工大学等科研院校也开展了图像融合系统的设计和实验，为实际应用创造了条件。

近几年，由于大规模可编程器件的快速发展使得它在实时融合系统领域备受瞩目，目前国内外都在开展利用大规模FPGA实现SoPC实时融合系统的工作，并取得了令人鼓舞的成绩。

较早英国OCTEC公司和Water fall Solutions公司联合研制了一款用于警察直升机上的图像配准融合系统^[31]，采用Altera公司Stratix II系列FPGA作为处理器，分别接收红外和可见光图像，实现自动配准和融合，其结果直接输出到监视器上以供飞行员观测。目前该系统已投入实际使用，但限于其自动配准水平，须将两台摄像机装载在一定距离内，其配准技术有待进一步研究；彩色融合算法、相机自动控制技术是下一步发展的重点。

美国Equinox公司的实时彩色图像融合系统开发水平为世界领先水平。Equinox于2005年6月在SPIE防卫安全研讨会(SPIE Defense Security Symposium)上推出了最新研究成果-DVP_4000^[32-33]。该系统来源于美国Army/CECOM(US Army Communications-Electronics Command)的SBIR(Small Business Innovation Research)的名为“夜视红外和微光图像融合”发展计划。DVP-4000选用Altera公司Cyclone系列和Stratix系列FPGA作为处理器，功耗只有1.5W，采用Equinox公司优化的彩色融合算法，较好地实现了双通道热红外和可见光图像的自动配准及彩色融合。这是实时图像融合系统迈进商用化的一大步。

国内基于FPGA的实时图像融合系统研究起步较晚，还处于实验室阶段^[34]。

目前实时彩色图像融合系统的主要难点在于：

● 重量轻、体积小，便携化；

● 功耗低；

● 实现自动配准；

● 图像融合算法速度快，能实时融合；

● 彩色融合图像直观自然，色彩恒定性好，易于显示。

因此，加快高性能实时彩色图像融合系统的研究对推动国内相关技术应用发展具有举足轻重的意义。

5 展望

在2006年初召开的美国IDGA(Institute for Defense and Government Advancement)第四次图像融合年度会议上，对图像融合技术的意义和发展方向等进行了一系列的探讨。可以看到，美国等发达国家非常重视图像实时融合系统的研究，已逐步走向小型化、实用化、商业化；并将图像融合技术的研究深入到更高层次，如基于多传感器的3D图像融合。