1.txt

本文介绍了超分辨率图像重建的基本概念、应用场合和主要的重建方法

 

超分辨率图像重建技术的概念及其应用 
 
hc360慧聪网广电行业频道 2004-09-27 10:09:52
 
  


    作者：南京邮电学院 徐忠强 朱秀昌 

　　摘 要：本文介绍了超分辨率图像重建的基本概念、应用场合和主要的重建方法，着重分析了压缩域中的超分辨率重建技术，并对未来的研究问题进行了展望。

    关键词：超分辨率 图像重建 运动估计一、什么是超分辨率图像重建

    在数字图像的采集与处理过程中，有许多因素会导致图像分辨率的下降，其主要表现为模糊、噪声和变形。造成模糊的因素有很多，如传感器的形状和尺寸、光学部件的性能（如点扩散函数PSF）引起的光学模糊以及采集对象的运动带来的运动模糊。另外，在成像、传输、存储过程中，会引入不同类型的噪声，如高斯噪声、椒盐噪声等，而且噪声的引入方式也不同，或为加性噪声、或为乘性噪声，这些都会直接影响到图像的分辨率。此外，数字化采集过程也会影响图像的分辨率，欠采样效应会造成图像的频谱交叠，使获取的图像因变形效应而发生降质。图1是一例经典的图像的降质过程，其中输入HR为高分辨率图像，输出LR为低分辨率图像。

    提高图像分辨率最直接的办法就是提高采集设备的传感器密度。然而高密度的图像传感器（如CCD）的价格相对昂贵，在一般应用中难以承受；另一方面，由于成像系统受其传感器阵列密度的限制，目前已接近极限，例如在0.35μm 的CMOS技术水平下，一个像素的面积为40 μm2，难以进一步减小。

    解决这一问题的有效途径是采用基于信号处理的软件方法对图像的空间分辨率进行提高，即超分辨率（SR：Super-Resolution）图像重建，其核心思想是用时间带宽（获取同一场景的多帧图像序列）换取空间分辨率，实现时间分辨率向空间分辨率的转换，使得重建图像的视觉效果超过任何一帧低分辨率图像。这种方法的优点是不涉及硬件、成本低，而且现有的图像系统还可以使用，是一种比较经济的方案。

    超分辨率图像重建中最容易理解的一种方式就是利用一组低分辨率的图像序列重建出高分辨率的图像或视频。对于一段场景变化不大的图像序列来说，这一组图像具有相似但不完全相同的信息，其主要变化在于图像中运动物体产生了空间位移。因此，利用运动估计器估计出运动矢量和位移矢量，就可以利用运动补偿的方法估计内插的像素值，从而较准确地实现超分辨率的重建。图2表示了这种高、低分辨率图像像素之间的关系。图中上面三帧是具有相对位移的低分辨率图像，通过对运动矢量场的估计，可以合成得到如图下部所示的高空间分辨率图像。

二、超分辨率图像重建的应用

    由于超分辨率重建技术在一定条件下，可以克服图像系统内在分辨率的限制，提高被处理图像的分辨率，因而在视频、遥感、医学和安全监控等领域具都有十分重要的应用。例如：

    （1）在数字电视（DTV）向高清晰度电视（HDTV）过度阶段，仅有部分电视节目会以HDTV的形式播出，不少节目采用的是DTV 的形式。因此，可以利用超分辨率重建技术将DTV信号转化为与HDTV接收机相匹配的信号，提高电视节目的兼容性；

    （2）在采集军事与气象遥感图像时，由于受到成像条件与成像系统分辨率的限制，不可能获得清晰度很高的图像, 而通过利用超分辨率重建技术，在不改变卫星图像探测系统的前提下，可实现高于系统分辨率的图像观测；

    （3）在医学成像系统中（如CT、MRI和超声波仪器等），可以用超分辨率重建技术来提高图像质量，对病变目标进行仔细地检测；

    （4）在银行、证劵等部门的安全监控系统中，当有异常情况发生后，可对监控录像进行超分辨率重建，提高图像要害部分的分辨率，从而为事件的处理提供重要的线索；

    （5）可以将超分辨率重建技术用于图像压缩。平时存储或传输低分辨率的图像信息，当有不同需要时，再利用超分辨率重构技术获得不同分辨率的图像和视频。

    值得一提的是，法国SPOT、美国EarthSAT等公司已采用该技术，利用多个卫星同时成像，从而重建高分辨率图像。美国Dayton大学和Wright实验室在美国空军的支持下，对红外CCD相机进行了机载试验，利用20幅低分辨率的红外图像，取得了分辨率提高近5倍的实验结果。此外，国际著名的光学仪器制造公司Leica/ Hellawa 和法国国家航天研究中心已经把该领域的理论研究成果转化到硬件产品——交错CCD 传感器阵列的设计中，并已将其分别应用于他们的遥感设备“ADS40”和“SPOT5”卫星，取得了相当理想的效果。

三、超分辨率图像重建方法

    超分辨率图像重建技术于1960 年代由Harris 和Goodman 最初以单张图像复原的概念和方法提出。1980 年代初，Tsai&Huang 首先提出了基于序列或多帧图像的超分辨率重建问题，并给出了基于频域的逼近的方法。1980 年代后期，随着计算机、电子、信号处理技术以及一些优化理论的发展，人们在超分辨率图像重建方法研究上取得了突破性进展。

    超分辨率重建方法主要可以分为两类：频率域方法和空间域方法。频率域方法起步较早，但目前应用得较多的是空间域方法。

    频域方法实际上是在频域内解决图像内插问题，其观察模型是基于傅里叶变换的移位特性。频域方法理论简单，运算复杂度低，很容易实现并行处理，具有直观的去变形超分辨率机制。但这类方法的缺点是所基于的理论前提过于理想化，不能有效地应用于多数场合，只能局限于全局平移运动和线性空间不变降质模型，包含空域先验知识的能力有限。

    空域方法的适用范围较广，具有很强的包含空域先验约束的能力，主要包括非均匀样本内插法、迭代反投影方法、集合论方法（如凸集投影：POCS）、统计复原方法（最大后验概率估计MAP 和最大似然估计ML）、混合MAP/POCS 方法以及自适应滤波方法等。其中，非均匀样本内插方法、迭代反投影方法等结合先验信息的能力很弱，在改善超分辨率复原效果方面受到了一定的限制。