1.txt

本文介绍了超分辨率图像重建的基本概念、应用场合和主要的重建方法

    因此，研究和应用较多的是凸集投影方法和最大后验概率估计方法。凸集投影方法的优点是可以方便地加入先验信息，可以很好地保持高分辨率图像上的边缘和细节；缺点是解不唯一、解依赖于初始估计、收敛慢、运算量大和收敛稳定性不高等。为了提高凸集投影方法的收敛稳定性，可以采用松弛投影算子，但松弛投影算子不利于保持图像的边缘和细节。最大后验概率估计方法的优点是在解中可以直接加入先验约束、能确保解的存在和唯一、降噪能力强和收敛稳定性高等；缺点是收敛慢和运算量大。另外，最大后验概率估计方法的边缘保持能力不如凸集投影方法，由这类方法获得的高分辨率图像上的细节容易被平滑掉。

    总的来说，对于未压缩图像和视频的超分辨率重建，考虑的主要问题是如何全面去除成像过程所带来的模糊和噪声，并且能在降质的环境中有效地实现运动估计。

四、压缩图像的超分辨率重建

    在实际应用中，所遇到的大多数视频是以压缩的形式存在的，如MPEG、H.26X 等，因此，基于压缩的超分辨率重建技术在最近两三年内成为研究的热点。通常会有一种直观的想法：如果将压缩视频先解压，再利用基于空间的超分辨率重建技术就可以实现压缩视频的超分辨率重建。但是，实验证明，这种思路并不能获得很好的结果，其主要原因是空间域的重建方法只考虑了成像过程而没有考虑压缩过程对于视频的影响。

    压缩视频的超分辨率重建相对于非压缩视频的重建来说出现了一些新的问题：第一、压缩过程引入的量化噪声在空间域是可变的，这使噪声过程变得极为复杂；第二、在压缩域中，研究的对象不再是观测的数据，而是运动矢量和量化后的变换系数。运动矢量提供了时间关系的有噪声观测，这类观测在传统的重建问题中是没有的；变换系数表示了强度的有噪声观测，而压缩技术允许根据感觉重要性的大小来丢弃数据，这样一来，压缩系统就丢弃了帧间的某些差别，并减少了分辨率增强的潜力。

    可以同时考虑成像过程的加性噪声和压缩过程的量化噪声，采用两种思路将这两种噪声统一起来。第一种方法是将加性噪声进行DCT，然后同量化噪声一起在压缩域建立模型；第二种方法是对量化噪声进行IDCT，然后同加性噪声一起在空间域建立模型。这两种思路的最大缺陷是没有利用运动估计进行运动补偿。另一类关于压缩域重建的研究则侧重于运动估计和量化噪声的结合，例如，将量化噪声作为POCS的基础。这种思路的不足之处在于没有考虑成像过程的降质问题。此外，还有一些研究者在进行超分辨率重建的过程中同时考虑了压缩编码所固有的块效应和振铃效应，提出用正则法将这些效应的影响降为最低。

    基于压缩域的超分辨率重建需要完整地考虑成像过程、压缩过程、运动估计以及块效应、振铃效应等多个方面的影响。其中，成像过程与空间域相同，压缩过程主要考虑的因素是量化误差，以及如何充分利用码流中的信息。而运动估计与空间域略有不同，量化误差会引起半像素运动信息的不准确性，它的存在会使运动估计变得更加困难，因此，压缩视频中的运动估计器需要有更强的鲁棒性。此外，块效应和振铃效应虽然与超分辨率重建技术本身没有直接的联系，但是考虑到最终要求的是一组高分辨率的图像，而块效应和振铃效应会直接影响到视频的主观效果，因此，在超分辨率重建的过程中如何消除这两方面的影响也是一个重要问题。

    目前在压缩视频的超分辨率重建方面存在的问题主要集中在三个方面：

    一是压缩视频模型的有效性和普遍适应性还有待进一步的研究；

    二是常规的重建的方法效果不尽人意，远比理论分析应达到的水平低；

    三是几乎所有的重建算法的计算复杂度太高，很难实时实现。

五、超分辨率图像重建技术展望

    目前，超分辨率重建技术的应用十分广泛，但这一领域又存在着许多需要解决的问题。总的说来，未来的研究将主要集中在降质模型、运动估计和重建方法三个方面展开。

    首先，超分辨率重建的成功依赖于准确的、符合实际成像系统特性和成像条件的降质模型。通常采用简单、确定的退化模型进行近似，但这样的近似模型与实际成像过程差距很大。在成像系统中，观察模型精确地对图像退化进行说明有利于对图像解空间进行约束，因而进行这方面的研究是十分有意义的。此外，还应该对CCD传感器的几何属性、空间—时域积分属性、噪声和读出噪声属性等方面给予关注，发展和寻求新的退化成像模型，更好地对传感器观察过程进行建模，使其更加精确和全面，实现对点扩散函数和噪声的精确估计，提高重建的效果。 

    其次，在超分辨率重建中，需要对视频序列进行亚像素精度的运动估计。由于运动估计只能利用低分辨率序列上的信息，很难达到比较精确的运动估计，所以选择合适的运动估计器是实现超分辨率重建的关键。虽然目前已经出现了多种运动估计方法，但在实际应用中仍然无法获得令人满意的运动估计效果，同时这些运动估计方法的适用场合非常有限，从而有必要对现有的运动估计算法进行研究，在回顾与分析现有算法的基础上对其进行扩展。一方面，运动模型及其估计方法应根据场景/相机运动的先验知识来进行选择；另一方面，还应考虑到多种互不相关的运动方式。值得注意的是，由于运动估计是根据退化图像进行的，而运动估计的效果与超分辨率重建的结果息息相关，因而在运动估计过程中还应该重点强调算法的稳健性和结果的可靠性。另外有些方法，把运动估计与重建过程分离开的做法是不合理的，而实际情况是图像的运动变形、模糊与噪声等降质因素之间具有密切的关系。因此，将以上因素同时纳为一体进行考虑应该是一种很有前景的方法。此外，还应增加对运动估计的约束。

    再次，超分辨率重建是一个病态问题，它存在着多个解，因此，能否有效地利用已知的信息和约束条件是实现最佳重建的关键，尽管目前已经提出了很多重建算法，但这些算法仍然存在着较大的缺陷和不足。基于概率论和基于集合论的算法是两种很有前景的研究方法，而混合MAP/POCS 方法能将数学的严格性、解的唯一性与先验约束描述的方便性有机地结合在一起，也是一种大有可为的方法。在算法上，进一步提高对解空间进行约束的机会，提高算法的稳健性和精确性，减小计算量，加快运算的收敛速度，适用于不同图像的要求是未来研究的一个重要的任务。

    总之，对超分辨率重建技术的进一步深入研究必将导致这一技术拓宽到一些新的应用领域，此外，超分辨率技术的理论研究结果还可为未来我国新型传感器的硬件设计与实现提供理论指导与参考。

六、结束语

    超分辨率重建技术，尤其是对于压缩视频的超分辨率重建是一个较新的研究课题，这种技术有很广的应用前景。从上面的讨论中可以看到，在超分辨率重建过程中需要完整地考虑成像过程、压缩过程、运动估计以及块效应、振铃效应等多个方面的影响。具体地说就是如何消除成像过程中的模糊和噪声；如何考虑压缩过程带来的量化噪声以及如何利用压缩码流在压缩域直接进行重建。此外，要想获得较好的重建效果，必须有效地利用视频帧间的运动向量估计。已有的成果只是针对上述因素中的一个或几个方面进行了研究，完整考虑所有因素的重建方法远未成熟，还有大量的工作有待于进一步研究。