数字图像处理总复习

第一章 绪论

图像和数字图像

图像为可以看作是对物体或场景的一种表现形式，抽象定义：二维函数f(x, y)

数字图像为离散化了的图像，即对x，y 和 f 进行离散化

数字图像处理概念

1.狭义（输入和输出）：对图像进行各种加工，以改善图像的视觉效果或突出目标，强调图像之间进行的变换，是一个从图像到图像的过程

2.广义：与图像相关的处理（图像分析、理解和机器视觉）

3.广义上分为三种类型：低、中、高级处理

​ 1）低级处理：输入输出都是图像（增强，复原，编码，压缩）

​ 2）中级处理：图像分割及目标的描述，输出是目标的特征数据 （检测，分割）

​ 3）高级处理：目标物体及相互关系的理解，输出是更抽象的数据（分类，识别，解释）

图像处理主要是低级处理及部分中级处理。

第二章 数字图像基础

图像获取

人类视觉系统、光和电磁波理论是数字图像来源的基础

亮度成像模型

2-D亮度函数：f (x, y)=r (x, y) (注：反射成分) * i (x, y) (注：照度成分)

视网膜中央的“视锥细胞视觉”和视网膜边缘的“视杆细胞视觉”，也叫做明视觉和暗视觉。

锥状细胞负责感受颜色信息的。

图像数字化

将代表图像的连续(模拟)信号转换为离散(数字)信号的过程称为图像数字化

步骤：采样和量化

主要技术： 1) 成像：光信息－>电信号 2) 模数转换（A/D Converter ）

图像采样和量化

采样是均匀的，量化可以均匀，可以非均匀。

采样和量化是图像获取中的两大技术。

空间和灰度分辨率是图像的基本属性

1）采样

空间坐标的离散化称为空间采样，简称采样，确定了图像的空间分辨率

即用空间上部分点的灰度值代表图像。这些点称为采 样点

方式为点阵采样：直接对表示图像的二维函数值进行采样， 所得的结果就是一个样点值序列

2）量化

对采样点亮度（灰度）值的离散化过程。确定了图像 的灰（幅）度分辨率

两种量化：均匀量化、非均匀量化

均匀量化: 将样点灰度级值等间隔分档取整，称为均匀量化

非均匀量化: 将样点灰度级值不等间隔分档取整

3）采样和量化的级数

假定图像取M×N个采样点，对样本点灰度值进行G级分档取整 –

M, N, G 一般取2的整数次幂 –M=$2^m$；N=$2^n$；G=$2^k$

像素空间的关系

1）像素的邻域与连接

邻接---像素间的空间关系

① 四邻域 $N_4(p),p(x,y)=(x+1,y),(x-1,y),(x,y+1),(x,y-1)$

② 对角邻域 $N_D(p):p(x,y)=(x-1,y-1),(x+1,y-1),(x-1,y+1),(x+1,y+1)$

③ 8-邻域 $N_8(P):p(x,y)=N_4(p)+N_D(p)$

2）连接

连接：空间上邻接且像素灰度值相似

两个像素是否连接：

(1) 是否接触（邻接）

(2) 灰度值是否满足某个特定的相似准则 灰度值相等 或 同在一个灰度值集合中

三种连接方式，假设V为灰度值集合

① 4-连接 2个像素 p 和 r 在V 中取值 且 r 在N4 (p)中

② 8-连接 2个像素 p 和 r 在V 中取值 且 r 在N8 (p)中

③ m-连接（混合连接） 2个像素 p 和 r 在V 中取值，且满足下列条件之一

(a) r 在$N_4 (p)$中

(b) r 在$N_D (p)$中且集合$N_4 (p) ∩ N_4 (r)$是空集 （这个集合是由 p 和 r 的在V中取值的4-连接像素组成的）

3）连通性

像素的连通 – 反映两个像素间的空间关系

通路和连通，种类分为四连通，八连通，m连通

4）距离度量

距离函数定义：

对于像素p, q和z, 分别具有坐标(x, y), (s, t), (u, v), 如果：

(a) D(p, q)≥0 [D(p, q)= 0, 当且仅当 p=q]

(b) D(p, q)= D(q, p)

© D(p, z) ≤ D(p, q) + D(q, z)

则D是距离函数或度量

① 欧氏距离 $D_e(p,q)=[(x-s)^2+(y-t)^2]^{1/2}$

② D4距离（城市距离） $D_4( p,q) = |x − s| + |y −t|$

③ D8距离（棋盘距离）$D_8(p,q) = max(|x − s|,| y −t|)$

注意：

De距离与像素的点坐标相关，与像素间的连通性无关

D4和D8距离可以看作是通路上连接的数目最小值

对于D4、D8和Dm，如果像素p和q间无连接，则距离是无穷大

以后的距离隐含连通性

图像的运算

加法：C(x, y) = A(x, y) + B(x, y) 减法：C(x, y) = A(x, y) - B(x, y) 乘法：C(x, y) = A(x, y) * B(x, y)

求反：g(x, y) = 255 - f(x, y) 异或：g(x, y) = f(x, y) ⊕ h(x, y) 或运算：g(x, y) = f(x, y) | h(x, y)

与运算： g(x, y) = f(x, y) & h(x, y)

图像内插

图像内插：放大，收缩，旋转，几何矫正

放大过程：

» 原来图像分辨率为m×n

» 将图像放大1.5倍之后，具有1.5m×1.5n= 2.25m×n个像素

» 与原来图像具有相同的像素，像素数量是原来2.25倍

» 将其收缩，与原来图像匹配 » 像素间隔小于原来图像像素间隔

» 从原来图像像素值提取信息赋给新图像相应像素

图像内插的主要方法 最近邻内插法 双线性内插法 双三次内插法。

图像系统

图像处理系统具有图像输入、输出、存储和处理功能。

图像之间的四则运算，只要直接运算就行。--需对超出灰度范围的像素进行处理。

第三章 空域增强技术

空域增强基础

$𝒈(𝒙, 𝒚)= 𝑻[𝒇(𝒙, y)]$ 其中𝒇(𝒙, 𝒚) 是输入图像， 𝒈(𝒙, 𝒚) 是处理后图像 𝑻是在点 (𝒙, 𝒚) 邻域上定义的关于𝒇的增强操作。

空域增强计算过程：-遍历图像所有像素 – 每个像素处，用T跟以(x,y)为中心的邻域进行计算 – 边缘处理：填零

直接灰度映射

将 f (x, y)中的每个像素灰度按𝑻操作直接变换以得到 g(x, y)

典型方法：

1. 对数变换 $s=c*log(r+1)$

2. 指数变换 $s=cr^{\gamma}$

γ>1低灰度压缩，高灰度拉伸

γ<1低灰度拉伸，高灰度压缩

γ=1就是恒等变换

直方图变换

直方图（Histogram ）

1. 数字图像中每一灰度级，它出现的频数的统计
2. 提供了图像像素的灰度值分布情况

1）直方图均衡化

直方图均衡化：指图像经灰度变换后，使得灰度的概率密度分布变为常 数，即均匀分布

注：在该直方图中，共有8钟灰度，即L=8。

2）直方图规定化

通过指定的函数将原图像的灰度直方图变换成另一种分布的灰度直方图，即确定一个T函数，根据这个直方图确定一灰度级变换 T®, 使由 T产生的 新图象的直方符合指定的直方图。

3）局部直方图处理

有时需要对图像小区域细节的局部增强。解决的办法就是在图像中每一个素的邻域就是在图像中，根据灰度级分布 设计变换函数。然后利用前面介绍的技术来进行局部增强。

线性滤波

滤波器可分为线性滤波器和非线性滤波器，锐化和平滑。

非线性滤波器作用：既消除噪声又保持细节（不模糊）

常见滤波器：

1. 邻域平均 --线性平滑滤波器

模版系数都是正的，保持灰度值范围（系数之和为1）

$z=\frac{1}{M} \sum ^{M-1}_{i=0} (k_i*s_i)$M的大小不同，平滑的效果也不同。

模板尺寸增大时，对噪声消除效果增强，但图像变得模糊，即边缘细节减少。

1. 加权平均 --线性平滑滤波器

不同位置的系数采用不同的值，一般认为：离模板中心近的像素对滤波贡献大，所以系数大； 而周围系数小。

1. 中值滤波器 --非线性平滑滤波器

将模板中心与像素位置重合，读取模板下各对应像素的灰度值，将这些灰度值从小到大排成 1列，找出这些值里排在中间的 1个，将这个中间值赋给模板心位置像素。

中值滤波器的消噪声效果与模板的尺寸和参与运算的像素数有关。

图像中尺寸小于模板尺寸一半的过亮或过暗区域将会在滤波后会被消除掉。

1. 百分比滤波器 --非线性平滑滤波器

最大值滤波器：$g_{max}(x,y)=max_{(s,t)∈N(x,y)}[f(s,t)]$

最小值滤波器：$g_{min}(x,y)=min_{(s,t)∈N(x,y)}[f(s,t)]$

中点滤波器：$g_{mid}(x,y)=\frac{1}{2}(g_{max}(x,y)+g_{min}(x,y))$

1. 梯度滤波器 --非线性锐化滤波器

各向异性，在X和Y两个方向不同。

​

梯度替代计算方法

1. 拉普拉斯算子，二阶导数 --非线性锐化滤波器

微分算子，使用后增强了图像中灰度的突变，不级缓慢变化区域 把原图像与 laplace laplace 图像线性组合，可以同时保持 laplace laplace laplace锐化和原图像背景。 如果 laplace 算子中心系数为正，则用原图像加上 laplace 图像； 如果 laplace 算子中心系数为负，则用原图像减去 laplace图像。

局部增强

空间域局部增强-局部选择根据实际问题要求灵活设定。

对图像局部细节的增强处理

图像的统计量：

灰度平均值$m=\sum^{L-1}_{i=0}r_i*p(r_i)$

方差（二阶矩）$\mu_2(r)=\sum^{L-1}_{i=0}(r_i-m)^2p(r_i)$

r的n阶矩：$\mu_n(r)=\sum^{L-1}_{i=0}(r_i-m)^np(r_i)$

局部增强的方法：

$g(x,y)=A(x,y)[f(x,y)-m(x,y)]+m(x,y),其中A(x,y)=\frac{k*M}{\sigma(x,y)}$

$M为f(x,y)的均值,m(x,y)和\sigma(x,y)为以(x,y)为中心邻域内的均值和均方差值$

基于局部统计的增强方法：

令$(x,y)$为一像素坐标，$S_{xy}$表示一确定大小的邻域（子图像），则$S_{xy}$的平均值$m_{xy}$为：

$m_{xy}=\sum_{(s,t)∈(S_{xy}))}(r_{s,t}×p(r_{s,t}))$

$S_{xy}$中像素的方差为：$\sigma^2_{S_{xy}}=\sum^{(L-1)}_{(s,t)∈S_{xy}}\{[r_{s,t}-m_{s_{xy}}]^2×p(s_{s,t})\}$

根据亮暗和对比度来判断是否增强某一点的亮度，然后对其进行增强

$令条件T=m_{s_{xy}}<=k_0*M_G,k_0<=1.0且k_1D_G<=\sigma_{S_{xy}}<=k_2D_G,k_1<=k_2$

$g(x,y)=T?E*f(x,y):f(x,y)$

第四章 频域处理

傅里叶变换

时域图像是一个周期且连续的函数，频域图像和相位图像是一个非周期离散的函数。

欧拉公式：$e^{ix}=cos(x)+i*sin(x)$

傅里叶变换的定义

1）一维傅里叶变换

1. 连续函数

正变换$F\{f(x)\}=F(u)=\int^{+\infty}_{-\infty}f(x)e^{-j2*\pi ux}dx$

逆（反）变换$f(x)=\int^{+\infty}_{-\infty}F(u)e^{j*2\pi ux}du$

1. 离散函数

正变换$F\{f(x)\}=F(u)=\sum^{N-1}_{x=0}f(x)e^{-2j\pi ux/N}$

逆（反）变换$F^{-1}\{f(x)\}=f(x)=\frac{1}{N}\sum^{N-1}_{x=0}F(u)e^{2j\pi ux}$

$u=0,1,2,...,N-1$

2）二维傅里叶变换

1. 连续函数

正变换$F\{f(x,y)\}=F(u,v)=\int ^{+\infty}_{-\infty}\int ^{+\infty}_{-\infty} f(x,y)e^{-j2\pi ux}dxdy$

逆（反）变换$F^{-1}\{f(x,y)\}=f(x,y)=\int ^{+\infty}_{-\infty}\int ^{+\infty}_{-\infty} F(u,v)e^{j2\pi ux}dudv$

1. 离散函数

正变换$F(u,v)=\sum^{M-1}_{x=0} \sum^{N-1}_{y=0} f(x,y) e^{-j2\pi (ux/M+vy/N)}$

$u=0,1,2,...,M-1,v=0,1,2,...,N-1$

逆变换$f(x,y)=\frac{1}{MN}\sum^{M-1}_{x=0} \sum^{N-1}_{y=0} F(u,v) e^{j2\pi (ux/M+vy/N)}$

$x=0,1,2,...,M-1,y=0,1,2,...,N-1$

3）频谱域

定义：由傅立叶变换和频率变量( u, v)定义的空间

性质：

1. 变换最慢的频率成分(u=0,v=0)对应一幅图像的平均灰度，证明为：$F(0,0)=\sum_{x=0}^{M-1}\sum^{N-1}_{y=0}f(x,y)$

即$F(0,0)=mean(f(x,y))*M*N$，所以$|F(0,0)|$是频谱的最大分量。

频域有某一方向的亮线条，说明图像中与之垂直方向上有较多线条。

1. 傅里叶变换是共轭对称的，即$F^*(u,v)=F(-u,-v)$

2. 数字图像的频谱是关于原点偶对称的，即$|F(u,v)|=|F(-u,-v)|$

3. 数字图像的相位角是关于远点奇对称的，即$\varphi(u,v)=-\varphi(-u,-v)$

4. 平移性质

傅立叶变换平移性质，是指当空域图像目标位置变化之后，其频谱不发生改变。

1. 旋转性质

1. 尺度定理

1. 周期性

应用：

$f(x)(-1)^x==F(u-\frac{M}{2})$

证明为：

二维同样：

4）傅里叶变换相位谱

由傅立叶变换的相位构成的矩阵。

相位分量是指各个正弦分量关于原点的位移的度量，决定了图像中可辨别物体定位信息。

5）卷积定理

6）傅里叶变换时间复杂度

1. 计算一维离散傅里叶变换（DFT）公式如下：

​ 其中，N表示数据长度。由上式可知，DFT的时间复杂度是O(N*N)

1. 一维FFT的时间复杂度为O(N*logN)，其中N表示数据长度

2. 对于一个M*N的二维数据，FFT的时间复杂度为O( M*N*log(M*N) )

若M=N，则时间复杂度可以简化为O(N^2*logN)

1. 对于M维的数据（每一维长度为A，B，C，...），则FFT的时间复杂度为O( A*B*C*...* log(A*B*C*...) )

若每一维长度相同，即A=B=C=...=N，则时间复杂度可以简化为O(N^M*logN)

离散余弦变换

1）二维离散余弦变换定义

沃尔什变换

第五章 频率域图像增强

频率域增强原理

1）卷积以及卷积定理

设函数f (x, y)与算子h(x, y)的卷积结果是g(x, y)，即 g(x, y) = h(x, y) * f (x, y)，那么根据卷积定理在频域有： G(u,v) = H(u,v)F(u,v)，其中G(u, v)，H(u, v)，F(u, v)分别是g(x, y)，h(x, y)，f (x, y)的傅立叶(或其它)变换，称H(u, v)为转移函数 G(u,v) = H(u,v)F(u,v)

2）图像增强原理

其中T代表傅里叶变换

3）图像增强具体实现

卷积定理：$G(u,v)=H(u,v)F(u,v)$

增强图像：$g(x,y)=T^{-1}[H(u,v)F(u,v)]$

步 骤： (1) 计算图像的频域变换 (2) 在频域滤波 (3) 反变换回图像空间

频域滤波: 低通，高通，同态

频率域平滑滤波器

1）平滑滤波器

图像中的边缘和噪声都对应图像傅立叶变换中的高频部分 ，所以如要在频域中消弱其影响就要设法减弱这部分频率的分量。

2）理想低通滤波器

$H(u,v)=1:0?D(u,v)<D_0，其中D(u,v)=(u^2+v^2)^{1/2}$

问题：模糊，振铃效应。

3）巴特沃斯低通滤波器

减少振铃效应，高低频率间的过渡比较光滑。

阶数为n的巴特沃斯低通滤波器公式为：

$H(u,v)=\frac{1}{1+D(u,v)^{2n}}$

阶数对振铃现象的影响：阶数越高，越明显。

当阶数趋于无穷时，巴特沃斯低通滤波变成理想低通滤波。

4）应用

图像由于量化不足产生虚假轮廓时常可用低通滤波进行平滑以改进图像质量。

5）高斯低通滤波器

高斯滤波器是完全不会产生振铃效应的。

$H(u,v)=e^{-D^2(u,v)/2D_0)^2}$

6）其他低通滤波器

频率域锐化滤波器

1）理想高通滤波器

形状与低通滤波器的形状正好相反

$H(u,v)=0:1?D(u,v)>D_0$

2）巴特沃斯高通滤波器

形状与巴特沃斯低通滤波器的形状正好相反

$H(u,v)=\frac{1}{1+[D_0/D(u,v)]^{2n}}$

3）高斯高通滤波器

形状与高斯低通滤波器的形状正好相反

$H(u,v)=1-e^{-D^2(u,v)/2D_0)^2}$

高频强调滤波器

高通滤波的结果：边缘加强，光滑区域变暗

高通滤波：$G(u,v)=H(u,v)F(u,v)$

高通强调转移函数：$H_c(u,v)=k×H(u,v)+c$

高频强调输出图的傅立叶变换：$G_c(u,v)=k×G(u,v)+c×F(u,c)$

反变换为：$g(x,y)=k×g(x,y)+c×f(x,y)$

高频提升滤波器

1. 用原始图减去低通图得到高通滤波器的效果。
2. 把原始图乘以一个放大系数A再减去低通图就可构 成高频提升（high-boost）滤波器

$G_{HB}(u,v)=A×F(u,v)-F_L(u,v)=(A-1)F(u,v)+F_H(u,v)$

A = 1 ：高通滤波器

A > 1 ：原始图的一部分与高通图相加，恢复了高通滤波时丢失的低频分量

同态滤波

将明亮均衡化，使亮度和灰度均衡化。

选择性滤波

分为两种：

带阻滤波器&带通滤波器

1）带阻滤波器

带阻滤波器也有三种特性。理想、巴特沃斯和高斯

2）带通滤波器

带阻滤波器也有三种特性。理想、巴特沃斯和高斯

3）陷波滤波器(Notch Filter)

陷波滤波器本质上是多个高通滤波器进行平移后再相乘。

多个带阻滤波器经过平移获得。

频域技术与空域技术

1）空间平滑滤波器

消除或减弱图像中灰度值具有较大较快变化部分的影响， 这些部分对应频域中的高频分量，所以可用频域低通滤波来实现

频域越宽，空域越窄，平滑作用越弱

频域越窄，空域越宽，模糊作用越强

平滑模板系数为正，且中部系数值较大

2）空间锐化滤波器

消除或减弱图像中灰度值缓慢变化的部分，这些部分对应 频域中的低频分量，所以可用频域高通滤波来实现

空域有正负值，模板中心系数值较大

第六章 图像恢复

图像恢复vs.图像增强

相同之处： 改进输入图像的视觉质量

不同之处： 不考虑图像降质的原因，只将图像中感兴趣的特征有选择地 突出（增强），而衰减其不需要的特征，改善后的图像不一定要去 逼近原图像。图像增强借助人的视觉系统特性，以取得较好的视 觉结果（不考虑退化原因） 图像恢复根据相应的退化模型和知识重建或恢复原始的图像 （考虑退化原因）

图像退化示例

图像退化指由场景得到的图像没能完全地反映场景的真 实内容，产生了失真等问题

原因：透镜像差/色差、聚焦不准（失焦，限制了图像锐度）、模糊（限制频谱宽度）、噪声（是一个统计过程）、抖动（机械、电子）

图像退化复原过程模型

退化过程是一个退化函数𝑯(∙) 和一个加性噪声 𝜼 (𝒙, 𝒚) ，作用到一幅图像𝒇(𝒙, 𝒚)上，产生退化后的 图像𝒈(𝒙, 𝒚)。

复原过程是给定退化图𝒈(𝒙, 𝒚)和关于退化函数𝑯(∙)的一些知识及关于加性噪声项𝜼(𝒙, 𝒚)的知识，获得 原始图像的一个估计𝒇(x,y)。

退化模型：

$g(x,y)=H[f(x,y)]+\eta(x,y)=h(x,y)*f(x,y)+\eta(x,y),*为卷积$

$G(x,y)=H(x,y)F(x,y+N(x,y))$

噪声模型

1）常见噪声

1. 热噪声：与物体的绝对温度有关。

也称： 白噪声 （频率覆盖整个频谱）

高斯噪声（幅度符合高斯分布）

1. 闪烁噪声：电流运动产生。

具有反比于频率（1/f）的频谱

也称粉色噪声（在对数频率间隔内有相同的能量）

1. 发射噪声：高斯分布（电子运动的随机性）

**加性噪声**一般指热噪声、散弹噪声等，它们与信号的关系是相加，不管有没有信号，该类噪声是一直存在的。一般通信中把加性随机性看成是系统的背景噪声。

**乘性噪声**一般由信道不理想引起，它们与信号的关系是相乘，信号在它在，信号不在他也就不在。乘性随机性看成系统的时变性（如衰落或者多普勒）或者非线性所造成的。

2）噪声概率密度函数

3）周期噪声

一幅图像的周期噪声是在图像获取期间由电力或机电干扰产生的。

是一种空间相关噪声。

周期噪声（正弦）在傅里叶变换后，是位于正弦波共轭频率处的一对共轭脉冲。

周期噪声参数估计：

通过检验傅里叶谱来估计周期。

周期噪声通常会产生频率尖峰，可以进行检测。

噪声参数估计

噪声的PDF参数

1. 成像系统可使用

使用成像系统获取一组“平坦”环境图像，作为样本；即：拍摄光照均匀的纯色灰度图像

1. 成像系统不可使用，只有其生成图像

从图像中，找一块合理的恒定灰度值区域，作为样本

图像噪声的概率密度函数表示，其自变量是图像灰度值。

只有噪声的复原-空间滤波

对于周期噪声，在频域估计𝑵(𝒖, 𝒗) ，直接去掉，变换到空间域。 加性噪声，空间滤波。

对于图像中的加性噪声，采用算术均值滤波、几何均值滤波、逆谐波均值滤波和谐波均值滤波去除。

1）均值滤波器

2）谐波均值滤波器

3）修正alpha均值滤波器

4）自适应滤波器

滤波器特征变化是以𝒎 × 𝒏的矩形窗口𝑺𝒙𝒚定义的滤波器区域内图像的统计特征为基础

自适应滤波器性能优于全局滤波器

计算复杂度高

5）自适应中值滤波器

自适应中值滤波器

全局中值滤波，在脉冲噪声空间密度不大是，性能很好（经验：𝑷𝒂 < 𝟎. 𝟐，𝑷𝒃 < 𝟎. 𝟐）

– 密度大，不好用

– 不能处理非脉冲噪声，同时保留细节

自适应中值滤波

– 自适应中值滤波可以处理更大的密度

– 自适应中值滤波能够在平滑非脉冲噪声时，保留细节

自适应中值滤波器

相同： – 滤波器作用于局部区域𝑺𝒙𝒚

区别： – 自适应中值滤波根据某些条件改变𝑺𝒙𝒚的尺寸

使用： – 滤波器输出一个单值，用于代替滤波器窗口𝑺𝒙𝒚中心处像素

自适应中值滤波器

符号：

𝒛𝒎𝒊𝒏 = 𝑺𝒙𝒚中的最小灰度值

𝒛𝒎𝒂𝒙 = 𝑺𝒙𝒚中的最大灰度值

𝒛𝒎𝒆𝒅 = 𝑺𝒙𝒚中的灰度值中值

𝒛𝒙𝒚 =坐标 𝒙, 𝒚 处的灰度值

𝑺𝒎𝒂𝒙 = 𝑺𝒙𝒚允许的最大尺寸

周期噪声消除

带阻滤波器

带通滤波器 （提取噪声模式）

陷波滤波器

线性、位置不变的退化

1）退化模型

退化模型公式：

𝒈(𝒙, 𝒚) = 𝑯[𝒇(𝒙, 𝒚)] + 𝜼(𝒙, 𝒚)

简化模型：

𝜼(𝒙, 𝒚)=0

2）退化系统H的性质

估计退化函数

1. 图像观察估计

– 条件：只有退化图像，没有关于退化函数H的任何知识。 从图像本身来收集信息，即通过观察图像，进行处理 来获得退化函数信息。

方法：

– 从图像中选择一小块区域，作为子图像

– 图像中物体或图像背景一部分

– 为降低噪声影响，找有很强信号的区域（高对比区域）

– 手工处理子图像，去除模糊。

– 计算出H(u,v)

1. 试验估计

– 条件：可以获得与退化图像设备相似的系统

– 理论上：可以得到一个准确的退化估计 方法：

– 通过设置系统，获得与退化图像接近的图像；

– 用该系统一幅冲激成像，得到退化的冲激响应；

– 冲激用一个小亮点来模拟，尽可能亮；

– 𝑯(𝒖, 𝒗)= 𝑮(𝒖,𝒗)/𝑨

​ 𝑮(𝒖, 𝒗)是冲激成像图像的傅里叶变换，𝑨是冲激的傅里叶变换

1. 建模估计

从引起退化的环境条件考虑，进行估计 湍流退化模型是大气湍流物理特性的 通用形式：

$𝑯(𝒖, 𝒗)= 𝒆^{−𝒌(𝒖^𝟐+𝒗^𝟐)^{𝟓/6}}$

其中， 𝒌是与湍流性质有关的常数 𝒌 = 𝟎. 𝟎𝟎𝟐𝟓剧烈湍流 𝒌 = 𝟎. 𝟎𝟎𝟏中等湍流 𝒌 = 𝟎. 𝟎𝟎𝟎𝟐𝟓轻微湍流

逆滤波 --无约束恢复

逆滤波中，逆滤波中，按照离频谱中心的远近定义了恢复转移函数是振铃效应出现的原因。

最小均方误差滤波（维纳滤波） --有约束恢复

了解

有约束最小二乘方恢复 --有约束恢复

了解

第七章 彩色图像处理

彩色基础

1）颜色的本质

不同颜色的光实质是 不同频率的电磁波 – 可见光谱的波长范围：400～700nm

2）三基色

大多数的颜色可以通 过红、绿、蓝三色按照 不同的比例合成产生

3）色度

色度

1. 彩色的三种基本特性量

亮度： 与物体的反射率成正比

色调： 与光谱中光的波长相联系

饱和度：与一定色调光的纯度有关

1. 色度：色调和饱和度合称

彩色可用亮度和色度共同表示

4）色度图

彩色打印机是相 加色彩和相减色彩的混合的 组合，所以彩色域边界不规则。

彩色转化为灰度，适合显示器和摄像机：

$Y_{709} = 0.2125R + 0.7154G + 0.0721B$

彩色模型

为了正确有效地表达彩色信息，需要建立合适的彩色表达模型。

1）彩色表达模型

彩色表达模型分为两种：

面向硬设备的彩色模型，诸如彩色显示器或打印机之类的硬设备，例如RGB，CMY模型等。

面向视觉感知的彩色模型，以彩色处理为目的的应用，例如HSI、HSV模型等。

2）RGB模型

建立在笛卡儿坐标系统里，其中三 个轴分别为R，G，B，

– 模型的空间是正方体，原点对应黑 色，离原点最远的顶点对应白色

– 从黑到白的灰度值分布在从原点到 离原点最远顶点间的连线上，而立方体内其余各点对应不同的颜色， 可用从原点到该点的矢量表示

3）CMY模型

三补色： 蓝绿(C, cyan)，品红(M, magenta)，黄(Y, yellow)

– 主要用于彩色打印，这三种补色可分别由从白光中减去三种基色而得到

– 从CMY到RGB的转换为R =1−C，G =1− M，B =1−Y

4）HSI模型

H：点s的H为三角形 中心点到s的矢量与R轴的夹角

S：点s的S为三角 形中心点到s的矢量长度

I：离开中间截面 向上变白；向下变黑

色调和饱和度二者合并称为色度，亮度中不含有颜色信息。

H 表示色调（hue）

S 表示饱和度（saturation）

I 表示密度（intensity，对应成像亮度和图像灰度）

H和S合称色度

I 分量与图像的彩色信息无关

H 和 S 分量与人感受颜色的方式紧密相连

伪彩色处理

人眼对彩色色比对灰度有较大的分辨能力。

伪彩色(pseudocolor)处理是指对原来灰度图像中不同灰度值的区域赋予不同的颜色。

典型方法 (1) 亮度切割 (2) 利用变换函数 (3) 频域滤波

1）亮度切割

用1个平行于图像坐标平面的平面去切割图像亮度函数，从而把亮 度函数分成2个灰度值区间。

2）从灰度到彩色的变换（映射）

3）频域滤波

对原来灰度图像中的不同频率分量（可分别借助低通，带通/带阻，高通滤波器获得）赋予不同的颜色

真彩色处理

1）处理方法

1. 将一幅彩色图像看作三幅分量图像的组合体，先分别单独处理每一幅分量图像，再将结果合成一幅处理过的合成彩色图像
2. 将一幅彩色图像中的每个像素看作具有三个属性值，即属性现在为一个矢量，利用对矢量的表达方法进行处理

2）彩色变换

$g(x,y)=T(f(x,y))$

其中，𝒇(𝒙, 𝒚) 是彩色输入图像， 𝒈(𝒙, 𝒚) 是变换后的彩色图像， 𝑻是在 (𝒙, 𝒚) 的空间邻域上对𝒇的一个算子。

分量形式：𝒔𝒊 = 𝑻𝒊(𝒓𝟏, 𝒓𝟐, ⋯ , 𝒓𝒏)，𝒊 = 𝟏, 𝟐, ⋯ , 𝒏

𝒓𝒊和𝒔𝒊是𝒇 𝒙, 𝒚 和𝒈 𝒙, 𝒚 在任何点处彩色分量变量，𝒏是彩色分量数；

𝑻𝒊是对𝒓𝒊处理产生𝒔𝒊的映射函数；

𝒏 = 𝟑时候，是RGB空间，𝒏 = 𝟒时候，是CMYK空间，

3）彩色强度增强变换

1. 变换增强

对于彩色图像增强其强度值，即intensity 要判断颜色模型，然后处理

1. HSI模型，I单分量进行增强的步骤

   (1) 将R，G，B分量图转化为H，S，I分量图

   (2) 利用对灰度图增强的方法增强其中的I分量 𝒔𝟑 = 𝒌𝒓𝟑

   (3) 再将结果转换为R，G，B分量图

2. RGB模型，强度增强 三个分量都变换 𝒔𝒊 = 𝒌𝒓𝒊，𝒊 = 𝟏, 𝟐, 3

4）补色

在色环上，与色调直接相对 的另一端称为补色

1. 在RGB空间， 直接求补；

2. 在HSI空间， 没有直接方法， 只能近似。

5）直方图均衡化

1. 单独对RGB彩色图像分量进行直方图均衡

– 产生不正确颜色

1. 均匀地展开这种彩色灰度，保持彩色本色（色调） 不变

– 在HSI中，均衡化彩色分量I，彩色本身（色调）不变

6）彩色平滑

将灰度图像邻域平均扩展到彩色图像，使用向量平滑算子 对HSI模型中的I通道进行平滑，H和S通道不处理， 颜色没有变化。

7）彩色锐化

8）饱和度增强

– 方法：转到HSI颜色空间，对S通道进行增强

– 效果：

– 增大像素饱和度会使图像色彩更鲜明

– 减小像素饱和度会使图像色彩感减少，显得平淡

9）色调增强

– 方法：转换到HSI颜色空间，然后对H进行增强

效果：因为色调对应一个角度 – 微增一个常数，会使颜色在色谱上移动。

– 常数较小时，会使色调变“暖”或变“冷”

– 常数较大时，会使彩色图像发生剧烈变换

第八章 形态学图像处理

结构元

对每个结构元素，先要指定一个原点，它是结构元素参与 形态学运算的参考点。

注意：原点可以包含在结构元素中，也可以不包含在结 构元素中（即原点并不一定要属于结构元素）

对图像操作时要求结构元素是矩形阵列，通过添加最少可能的背景元素实现。

基本形态学操作

映像和位移是形态学处理中扩展的集合运算。

1）膨胀

$A⊕B = \{x|(Bˆ) x ∩ A ≠ \phi \},ˆ为翻转运算$

先对B做==关于原点的映象==，再将其映象平移x，结果是平移后与A交集不为空的x集合。

即为用B来膨胀A得到的集合是 的位移与A至少有一 个非零元素即相交时B的原点位置的集合。

2）腐蚀

$A㊀B = \{x |(B)x ⊆ A \}$

B移动后完全包含在A中时，B的原点位置的集合

作用：

原点在结构元素（B中，收缩图像。

结构元素不包含原点时，可以用作填充内部空洞

3）腐蚀和膨胀对偶性

$(A㊀B)^c=A^c⊕Bˆ$，其中c为取补运算

3）开操作

定义：B对A进行的开操作就是先用B对A腐蚀，然后用B 对结果进行膨胀

作用：开操作断开狭窄的间断和消除细的突出物

$A⊙B=(A㊀B)⊕B$

4）闭操作

定义：B对A进行的闭操作就是先用B对A膨胀，然后用B 对结果进行腐蚀

作用：闭操作消弥狭窄的间断和长细的鸿沟，消除小的孔洞，并 填补轮廓线中小的断裂

$A•B=(A⊕B)㊀B$

5）开和闭操作性质

$(A•B)^c=(A^c⊙Bˆ)$

$(A⊙B)⊆A$

$A⊆A•B$

6）击中或击不中变换

基本的形态学算法

1）边界提取

设集合A的边界表示为 β(A)，选取结构元素B，先进行B对 A腐蚀，而后用A减去腐蚀的结果。

2）区域填充

3）细化操作

提取图像的主要框架

4）联通区域提取

方法：

$X_k = (X_{k−1} ⊕ B)∩A$

直至$X_k$和$X_{k-1}$相同

5）凸壳

基本灰度级图像扩展操作

1）膨胀

$f⊕b(s,t)=max\{f(s-x,t-y)+b(x,y)|(s-x,t-y) ∈D_f;(x,y)∈ D_b \}$

Df和Db分别为 f 和 b 的定义域。

像素都必须在定义域内，与集合交集一致

膨胀操作的结果：

（a）如果结构元 素的值都为正，那么输出图像会更亮

（b）暗的细节部 分的变化取决于结构元素的值和形状

2）腐蚀

$f㊀b(s,t)=min\{f(s-x,t-y)-b(x,y)|(s-x,t-y) ∈D_f;(x,y)∈ D_b \}$

Df和Db分别为 f 和 b 的定义域。

像素都必须在定义域内，与结构元素必须完全包含在被腐蚀的 集合内一致

腐蚀操作的结果：

（a）如果结构元素的 值都为正，那么输出图像会更暗

（b）亮的细节部分的变化取决于结构元素的值和形状

3）开操作

开操作：小的明亮细节尺寸变小，暗的效果受影响较小

闭操作：小的暗细节的尺寸缩小，明亮部分受影响较小

基本的灰度级形态学算法

1）形态学平滑

先进行开操作，后进行闭操作

计算公式为：$g=(f⊙b)•b$

2）形态学梯度

开操作减闭操作

计算公式为：$g=(f⊕b)-(f㊀b)$

3）帽变换

用一个结构元通过开操作或闭操作从图像中删除物体。 然后差操作得到一幅仅保留已删除分量的图像。

1. 顶帽变换

$T_{hat}(f)=f-(f⊙b)$

灰度级图像f的顶帽变换是f减去其开操作

顶帽变换用于得到暗背景上的亮物体（白顶帽）

1. 低帽变换

$T_{hat}(f)=(f•b)-f$

灰度级图像f的底帽变换是f的闭操作减去f

底帽变换用于得到亮背景上的暗物体（黑底帽）

帽变换的应用有校正不均匀光照影响、纹理分割和粒度测定，具体使用的是开操作，减少亮度较高的部分。

第九章 图像编码

图片压缩

1）数据和信息

数据是信息的载体

同量的数据可表达不信息，同量的信息可用不数据表达

2）图片压缩种类

信息保存型和信息损失型

数据冗余

1）冗余种类

冗余有两种，分别为数据表达了无用的信息和数据表达了已表达的信息。

2）相对压缩冗余

相对冗余公式为$R_D=1-\frac{1}{C_R}$，压缩率为$C_R=\frac{n_1}{n2}$，$C_R$在区间$(0,+\infty)$中取值。n1和n2代表两个数据集合中的信息载体单位的数量。

3）冗余的类别

编码冗余、像素相关冗余和心里视觉冗余。

编码冗余和与灰度分布的概率特性有关。

像素相关冗余和空间冗余，时间冗余有关。

心理视觉冗余和主观感觉有关。

4）编码冗余

图像中灰度出现的概率：$p_s(s_k)=n_k/n,k=0,1,..,L-1$

平均比特数：$L_{avg}=\sum^{L-1}_{k=0}l(s_k)p_k(s_k)$

预期结果为用较少的比特数表示出现概率较大的灰度级，用较多的比特数表示出现概率较小的灰度级

5）像素间冗余

主要体现像素间相关性，自相关系数为：

$A(\Delta n)=\frac{1}{N-\Delta n} \sum^{N-\Delta n-1}_{X=0}f(x,y)f(x+\Delta n,y)$

3）心里视觉冗余

主要与人观察图像的方式有关，心理视觉冗余与实在的视觉信息有联系

图像保真度

描述解码图像相对于原始图像的偏离程度。

1）主管保真度准则

主管观测图像的质量，并对图像做出评价，例如优秀、良好、可用、刚可看、差和不能用。

2）客观保真度准则

用编码输入图与解码输出图的某个确定函数表示损失的信 息量， 便于计算或测量

图像编码模型

编码模型分为两种：信息保存型和信息损失型

无失真信源编码器不需要量化器

图像编码

1）信息量

概率为P(E)的随机事件E的信息量为

$l(E)=log\frac{1}{P(E)}=-logP(E)$，其中log以2为底。

2）编码效率

信息熵公式：

$H(u)=-\sum^J_{j=1}p(a_i)log(P(a_i))$

定义了观察到单个信源符号输出时所获得的平均信息量

平均码长：

$L^*_{avg}=\sum^{J^n}_{j=1}p(a_i)*l(a_i)$

编码效率：

$\eta=\frac{H(u)}{L^*_{avg}}*100\%$

3）无损编码--变长编码

1. 哈夫曼编码

略

1. 香农-法诺比那吗

主要步骤为：

(1) 将信源符号依其概率从大到小排列

(2) 将信源符号分成概率和接近的两部分

(3) 分别给两部分的信源符号组合赋值

(4) 如果两部分均只有一个信源符号，编码结束，否则返回(2) 继续进行

1. 特征

二者均具有即时性，指对任意一个有限的码符号串，可以对每个码字 分别解码，解码时不需接收后面的所有码字。

二者均具有唯一性，指对任意一个有限长的码符号串 ，只有一种分解成其各个码符号的方法。

4）无损编码--位平面编码

1. 位平面分解

将多灰度值图像分解成一系列二值图 对每一幅二值图再用二值压缩方法，主要包括位平面的分解和编码。

位平面分解是指对每一个灰度进行量化，然后对图片进行分层，得到每一层的灰度。

1. 常数块编码

常数块编码是指用专门的码字表达全是0或1的连通区域

将图像分成全黑，全白或混合的m*n尺寸块。

出现频率最高的类赋予 1 bit 码字0；其它两类分别赋予2 bit码字10和11＋ mn比特表示的模式。

压缩：原需用mn比特表示的常数块中的像素现在只 用1 bit 来表示、

1. 1-D游程编码

5）无损编码--无损预测编码

预测编码：

空域方法，消除像素间的冗余，基本思想为提取每个像素中的新信息（实际值与预测值的差）并对它 们编码。

主要分为两种，有损预测编码和无损预测编码。

预测编码主要消除了像素间冗余。

6）有损编码--有损预测编码

7）有损编码--变换编码

​ 变换编码的作用是将空间域描述的图像信号变换到频率域，然后对变换后的系数进行编码处理。一般来说，图像在空间上具有较强的相关性，变换到频率域可以实现去相关和能量集中。

变换选择 ：

1. 一个能把最多的信息集中到最少的系数上去的变换所产生的 重建均方误差最小
2. 不同变换的信息集中能力不同 – 正弦类变换（如DFT和DCT）较优 – 非正弦类变换（如WHT: Walsh-Hadamard）
3. 实现简单 – 小波变换计算快且有局部性质（不需分解）

DCT是较好的（综合）选择，集中能力强，并且所需计算量小。