目录
1 背景
2 理论基础
2.1 小波变换
2.2 基于小波变换的图像融合
3 Matlab App Designer实现
4 实验图像素材（可共享）
1 背景
图像融合，指通过对同一目标或同一场景用不同的传感器（或用同一传感器采用不同的方式）进行图像采集得到多幅图像，对这些图像进行合成往往能够保持多幅原始图像中的关键信息，进而为对目标或场景精心更精确、更全面的分析和判断提供条件。
根据融合的作用对象，图像融合一般可以分为3个层次：像素级图像融合、特征级图像融合和决策级图像融合。其中，像素级图像融合是作用于像素点最底层的融合，接下来介绍的方法属于像素级图像融合。
为了提高目标检测的分辨率，抑制不同传感器的检测噪声，本案例选择了一种基于小波变换的图像数据融合方法。在融合过程中，为了尽可能保持多源图像的特征，在小波分解的高频域内，选择图像领域平均绝对值较大的系统作为融合小波重要系数；在小波分解的低频域内，选择对多源图像的低频系数进行加权平均作为融合小波近似系数。在反变换过程中，利用重要小波系数和近似小波系数作为输入进行小波反变换。实验结果表明，基于小波变换的图像数据融合方法运行效率高，具有良好的融合效果。
2 理论基础
2.1 小波变换
首先讲傅里叶变换的不足：对非平稳过程，傅里叶变换有局限性。看如下的例子：
最上边的是频率始终不变的平稳信号，而下边两个则是频率随时间改变的非平稳信号，他们同样包含和最上面信号相同的四个频率成分。FFT后，我们发现这三个时域上有巨大差异的信号，频谱（幅值谱）却非常一致。尤其是下边两个非平稳信号，我们从频谱上无法区分他们，因为他们包含的四个频率的信号成分确实是一样的，只是出现的先后顺序不同。可见，傅里叶变换处理非平稳信号有天生的缺陷。它只能获取一段信号总体上包括哪些频率的成分，但是对各成分出现的时刻并无所知。因此，时域相差很大的两个信号，可能频谱图一样。
然而平稳信号大多是人为制造出来的，自然界的大量信号几乎都是非平稳的，所以在比如生物医学信号分析等领域的论文中，基本看不到单纯傅里叶变换这样的方法。对于非平稳信号，只知道信号包含哪些频率成分是不够的，我们还想知道各个成分出现的时间。知道信号频率随时间变化的情况，各个时刻的瞬时频率及其幅值——这就是时频分析。
一个简单可行的方法就是加窗，“把每个时域过程分解成无数个等长的小过程，每各小过程近似平稳，再傅里叶变换，就知道在哪个时间点上出现了什么频率了”，这就是短时傅里叶变换（Short-time Fourier Transform, STFT）。使用STFT有一个问题，用多宽的窗函数？窗太窄，窗内信号太短，会导致频率分析不够精确，频率分辨率差，窗太宽，时域上又不够精细，时间分辨率低。
上图对同一个信号（4个频率成分）采用不同宽度的窗做STFT，用窄窗，时频图在时间轴上的分辨率很高，几个峰基本成矩形，而用宽窗则变成了绵延的矮山，但是频率轴上，窄窗明显不如下边两个宽窗精确。
因此，窄窗时间分辨率高，频率分辨率低，宽窗时间分辨率低，频率分辨率高。对于时变的非稳态信号，高频适合小窗口，低频适合大窗口。而STFT中窗宽度不会变化，所以STFT还是无法满足非稳态信号变化的频率需求。
那么我们自然想到，让窗口大小变起来多做几次STFT不就可以了吗？小波变换确实有这样的思路，但是小波变换并没有采用窗的思想，也没有做傅里叶变换。原因是这样做冗余太严重，STFT做不到正交化。
小波思路是将无限长的三角函数基换成了有限长的会衰减的小波基，这样不仅能够获取频率，还可以定位时间。
傅里叶变换把无限长的三角函数作为基函数：
这个基函数会伸缩，会平移。缩得窄，对应高频；伸得宽，对应低频。然后这个基函数不断和信号相乘，某一个尺度（宽窄）下乘出来的结果就可以理解为信号所包含的当前尺度对应频率成分有多少，于是，基函数会在某些尺度下，与信号相乘得到一个很大的值，因为此时二者有一种重合关系。那么我们就知道信号包含该频率的成分的多少。
小波做的改变就在于，将无限长的三角函数基换成了有限长的会衰减的小波基。从公式可以看出，傅里叶变换变量只有频率ω，小波变换有两个变量：尺度a（scale）和平移量τ（translation）。尺度a控制小波函数的伸缩，平移量τ控制小波函数的平移。尺度对应频率（反比），平移对应时间。当伸缩平移到某一种重合情况时，也会相乘得到一个大的值，这不仅可以知道信号有这样的频率成分，而且知道它在时域上存在的具体位置。当我们在每个尺度下都平移着和信号乘过一遍后，我们就知道信号在每个位置都包含有哪些频率分量。
（以上关于小波入门的通俗解释来自于李豪（复旦大学青年副研究员））
2.2 基于小波变换的图像融合
假设对一维连续小波ψa,b(t)和连续小波变换Wfa,b进行离散化，其中，a表示尺度参数，b表示平移参数，在离散化过程中分别取a=a0j和b=b0a0j，其中，j∈Z，a0>1，则对应的离散小波函数如下：
离散化的小波变换系数如下：
小波重构公式如下：
其中，C为常数且与数据信号无关，根据对连续函数进行离散化逼近的步骤，如果选择的和越小，则生成的网格节点就越密集，所计算的离散小波函数和离散小波系数就越多，今儿数据信号重构的精度也越高。
由于数字图像是二维矩阵，所以需要将一维信号的小波变换推广到二维信号，假设是一个一维的尺度函数x是相应的小波函数，那么可以得到一个二维小波变换的基础函数（标准正交基）：
由于数字图像是二维矩阵，一般假设图像矩阵的大小，且。所以经一层小波变换后，原始图像便分解为4个分辨率为原来尺寸1/4的自带区域，分别包含了相应频带的小波系数，这一过程相当于在水平方向和垂直方向上进行个点采样。
进行下一层小波变换时，变换数据集中在自带上。下面四个式子说明了图像小波变换的数学原型。
频带保持了原始图像的内容信息，图像的能量集中于此频带：
频带保持了图像水平方向上的高频边缘信息：
频带保持了图像垂直方向上的高频边缘信息：
频带保持了图像在对角线方向上的高频信息：
式中，< >表示内积运算。
对图像进行小波变换的原理就是通过低通滤波器和高通滤波器对图像进行卷积滤波，在进行二取一的下抽样。因此，图像通过一层小波变换可以被分解为1个低频子带和3个高频子带。其中，低频子带LL通过对图像水平和垂直方向均进行低通滤波得到；高频子带HL通过对图像水平方向高通滤波和垂直方向低通滤波得到；高频子带LH通过对图像水平方向低通滤波和垂直方向高通滤波得到；高频子带HH通过对图像水平和垂直方向均高通滤波得到。各子带的分辨率为原始图像的1/2。同理，对图像进行二层小波变换时只对低频子带LL进行，可以将LL1分解为LL2，LH2，HL2，HH2，各子带的分辨率为原始图像的1/4。以此类推，可得到三层及更高层的小波变换结果。进行x层分解就得到3x+1个子带。其中包括1个低频带和3x个高频带。
小波分解的层数越多，对应层图像的尺寸越小，因此，小波分解的各个图像也具有金字塔结构，故可称为小波分解金字塔。
设A，B为两幅原始图像，F为融合后的图像。融合的基本步骤为：
（一）对每一幅图像进行小波变换，构建图像的塔型分解；
（二）对各分解层分别进行融合处理，各分解层上的不同频率分量可采用不同的融合算子进行融合处理,最终得到融合后的小波金字塔;
（三）对融合后所得小波金字塔进行小波逆变换(即进行图像重构),所得到的重构图像即为融合图像。
基于小波变换的多传感器图像融合的物理意义在于:
l)通常图像中的物体、特征和边缘是出现在不同大小的尺度上的。也就是说,图像中的某些边缘或细节是在一定尺度范围内存在的。也正是因为如此,任何一幅特定比例尺(可看作“尺度,’)的地图都无法清晰反映所有特征和细节信息,例如在较大尺度上,大陆、山脉、海洋等大的特征是可见的,而像城市街道等小的细节就在地图的分辨率之外了;而在较小尺度上,细节变得可见而较大的特征却不见了。图像的小波分解是多尺度、多分辨率分解,其对图像的多尺度分解过程,可以看作是对图像的多尺度边缘提取过程,同时,小波的多尺度分解还具有方向性。若将小波变换用于多传感器图像的融合处理,就可能在不同尺度上,针对不同大小、方向的边缘和细节进行融合处理。
2)小波变换具有空间和频域局部性,利用小波变换可以将被融合图像分解到一系列频率通道中,这样对图像的融合处理是在不同的频率通道分别进行的。而我们知道,人眼视网膜图像就是在不同的频率通道中进行处理的,因此基于小波变换的图像融合是可能达到更好的视觉效果。
3)小波变换具有方向性,人眼对不同方向的高频分量具有不同的分辨率,若在融合处理时考虑到这一特性,就可以有针对地进行融合处理,以获取良好的视觉效果。
4)对参加融合的各图像进行小波塔形分解后,为了获得更好的融合效果并突出重要的特征细节信息,在进行融合处理时,不同频率分量、不同分解层、不同方向均可以采用不同的融合规则及融合算子进行融合处理;另外,同一分解层上的不同局部区域上采用的融合算子也可以不同,这样就可能充分挖掘被融合图像的互补及冗余信息、有针对地突出/强化您所感兴趣的特征和细节信息。
3 Matlab App Designer实现
页面设计如图所示
输入待融合图像1
输入待融合图像2
融合结果
4 实验图像素材（可共享）
相关阅读
您阅读本篇文章共花了：
发表评论