1 绪论·

数字图像的表达方式 链码（方向*）

2 图像信息的基本知识·

S=klogB+k0S=klogB+k_0 S:主观感觉亮度 B：光强度

2.3噪声·

2.4图像质量评价·

知道客观咋算

图像主观评价方法·

DMOS计算

客观评价方法·

  1. 归一化的均方误差：

NMSE=∑j=1J∑k=1K(g(j,k)−g^(j,k)]2∑j=1k∑j=1k[g(j,k)]2NMSE=\frac{\sum_{j=1}^J\sum_{k=1}^K(g(j,k)-\hat{g}(j,k)]^2 }{\sum_{j=1}^{k}\sum_{j=1}^{k}\left[g(j,k)\right]^{2}}

  1. 峰值均方误差:

PMSE=(1JK)∑j=1J∑k=1K[g(j,k)−g^(j,k)]2A2A一般取255PMSE= \frac{(\frac1{JK})\sum_{j=1}^J\sum_{k=1}^K[g(j,k)-\hat{g}(j,k)]^2}{A^2}\\ A一般取255

  1. 均方误差通常被表示成等效的峰值信噪比(PSNR) PSNR值越大，表示图像的质量越好

PSNR=−10log10(PMSE)PSNR= -10log_{10}(PMSE)

2.5彩色图像基本知识·

三原色 rgb与cmyk区别

3 图像变换·

二维连续线性系统 二维连续傅里叶变换 例题会算 离散傅里叶变换 几个性质 沃尔什 哈达玛 核不给 得背下来 dct没计算 哈尔，kl小波变换不考

3.2 图像的线性运算·

3.2.1 二维连续线性系统·

几个重要的概念：

1）二维狄拉克(Dirac)冲激函数

δ(x,y)={∞if x=0 , y=0,0其他.\delta(x,y) = \begin{cases} \infty & \text{if } x = 0 \text{ , } y = 0, \\ 0 & \text{其他}. \end{cases}

性质：

δ(x−α,y−β)={∞x=α,y=β0其他∫−∞∞∫−∞∞δ(x,y)dxdy=1\delta\left(x-\alpha,y-\beta\right)=\begin{cases}\infty&x=\alpha,y=\beta\\0&\text{其他}&\end{cases} \begin{aligned}\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}\delta(x,y)dxdy&=1\end{aligned}

​ 筛选性：

\begin{equation}\int_{-\infty}^\infty\int_{-\infty}^\infty g(x,y)\delta(x-\alpha,y-\beta)dxdy=g(\alpha,\beta) \nonumber\end{equation}

​ 可分离性：

δt(x,y)=δ(x)δ(y)\delta{t(x,y)} = \delta{(x)}\delta{(y)}

2）二维冲激响应函数

以二维狄拉克冲激函数作为输入时系统的输出响应函数

h(x,y;α,β)=ψ[δ(x−α,y−β)]h{\left(x,y;\alpha,\beta\right)}=\psi{\left[\delta{\left(x-\alpha,y-\beta\right)}\right]}

3）空间不变系统（或位移不变系统)

3.2.2 二维连续傅立叶变换·

一维连续傅立叶变换

\begin{align} \mathscr{F}[f(t)]&=\int_{-\infty}^{+\infty}f(t)e^{-i2\pi f t}dt=F(f)\\ \mathscr{F}^{-1}[F(f)]&=\int_{-\infty}^{+\infty}F(f)e^{i2\pi ft}df=f(t) \end{align}\\

二维连续傅立叶变换

F{f(x,y)}=F(u,v)=∫−∞∞∫−∞∞f(x,y)exp⁡[−j2π(ux+vy)]dxdyF−1{F(u,v)}=f(x,y)=∫−∞∞∫−∞∞F(u,v)exp⁡[j2π(ux+vy)]dudv\begin{gathered} \begin{aligned}\mathbb{F}\left\{\mathrm{f}\left(\mathrm{x},\mathrm{y}\right)\right\}&=F\left(u,v\right)=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}f(x,y)\exp\left[-j2\pi\left(ux+vy\right)\right]dxdy\end{aligned} \\ \mathbb{F}^{-1}\Big\{F\Big(u,v\Big)\Big\}=f\Big(x,y\Big)=\int\limits_{-\infty}^{\infty}\int\limits_{-\infty}^{\infty}F(u,v)\exp[j2\pi\Big(ux+vy\Big)]dudv \end{gathered}

3.3 二维离散傅立叶变换及其性质·

一维离散傅立叶变换

F(u)=∑x=0N−1f(x)exp⁡[−j2πux/N]f(x)=1N∑u=0N−1F(u)exp⁡[j2πux/N]\begin{aligned}F\Big(u\Big)&=\sum_{x=0}^{N-1}f\Big(x\Big)\exp\Big[-j2\pi ux/N\Big]\\f\Big(x\Big)&=\frac1N\sum_{u=0}^{N-1}F\Big(u\Big)\exp\Big[j2\pi ux/N\Big]\end{aligned}

二维离散傅立叶

F(u,v)=∑x=0M−1∑y=0N−1f(x,y)e−j2π(uxM+vyN)f(x,y)=1MN∑u=0M−1∑v=0N−1F(u,v)ej2π(uxM+vyN)\begin{gathered}F(u,v)=\sum_{x=0}^{M-1}\sum_{y=0}^{N-1}f(x,y)e^{-j2\pi(\frac{ux}M+\frac{vy}N)}\\f(x,y)=\frac1{MN}\sum_{u=0}^{M-1}\sum_{v=0}^{N-1}F(u,v)e^{j2\pi(\frac{ux}M+\frac{vy}N)}\end{gathered}

性质

1）线性：设a,b为常量

F{af1(x,y)+bf2(x,y)}=aF1(u,v)+bF2(u,v)\mathrm{F}\{\mathrm{a}f_1(x,y)+bf_2(x,y)\}=aF_1(u,v)+bF_2(u,v)

2）可分离性:一个二维正（反）傅立叶变换可分解为二个一维正（反）傅立叶变换

F(u,v)=∑x=0N−1exp⁡[−j2πux/N]×∑y=0N−1f(x,y)exp⁡[−j2πvy/N]f(x,y)=1N2∑u=0N−1exp⁡[j2πux/N]×∑v=0N−1F(u,v)exp⁡[j2πvy/N]\begin{aligned}F(u,v)&=\sum_{x=0}^{N-1}\exp[-j2\pi ux/N]\times\sum_{y=0}^{N-1}f(x,y)\exp[-j2\pi vy/N]\\f(x,y)&=\frac1{N^2}\sum_{u=0}^{N-1}\exp[j2\pi ux/N]\times\sum_{v=0}^{N-1}F(u,v)\exp[j2\pi vy/N]\end{aligned}

3)傅立叶变换对的平移性

  • 重要知识点：空域中𝑓(𝑥, 𝑦)发生移动时，在频域只发生相移，傅立叶变换的幅值不变

    常将F(u,v)平移到中心(N/2,N/2)，以更清楚地做谱分析

4)周期性和共轭对称性

5)旋转不变性：在空间旋转某一角度，在频域也旋转相同的角度引入极坐标：

6)分配性和比例性：

  • 加法可分配；乘法不可分配

  • 时域紧缩⇔频域展开

8)卷积定理

时域卷积频域乘积，时域乘积频域卷积

3.4 离散图像变换的一般表达式·

代数表达式

矩阵表达式

图像的矩阵表示式与代数表达式本质一样

3.5 离散沃尔什—哈达玛变换·

3.5.1 一维离散沃尔什变换·

设N＝2nN＝2^n ，一维沃尔什变换表示为

W(u)=1N∑x=0N−1f(x)∏i=0n−1(−1)bi(x)b(n−1−i)(u)W\left(u)\right.=\frac1N\sum_{x=0}^{N-1}f\left(x\right)\prod_{i=0}^{n-1}\left(-1\right)^{b_i\left(x\right)b_{(n-1-i)}\left(u\right)}

bk(z)b_k(z)是z的二进制表达式列中的第k位。例如n=3,则对z=6,其二进制数为110，有b0(z)=0，b1(z)=1，b2(z)=1。

沃尔什变换核:

g(x,u)=1N∏i=0n−1(−1)bi(x)b(n−1−i)(u)g(x,u)=\frac1N\prod_{i=0}^{n-1}\left(-1\right)^{b_i\left(x\right)b_{(n-1-i)}\left(u\right)}

变换核是对称阵，其行和列是正交的；正反变换核只差一个常数项1/N

沃尔什变换核是可分离的和对称的，因而二维离散沃尔什变换也可分成二步一维沃尔什变换来进行

3.5.2 二维离散沃尔什变换·

W=1N2GfGf=GWGW=\frac1{N^2}GfG\\ f = GWG

其中，G为N阶沃尔什变换核矩阵。

3.5.4 离散哈达玛变换(DHT)·

哈达玛变换本质上是一种特殊排序的沃尔什变换，不同之处仅是行的次序不一样。其最大的优点的变换核矩阵具有简单的递推关系。

离散余弦变换的变换核为实数的余弦函数；

计算速度快，没有DFT的复数运算；

4. 图像压缩编码·

原始数据量必须会算 熵 平均码字长度编码效率 哈夫曼编码得会 香农看看吧 算数编码得会 游程长度编码不考 dpcm看一下 存在降质的原因 jpeg压缩流程要知道 分型编码不考 图像编码与视频压缩编码的标准得知道

4.2 熵编码方法·

1.自信息量

设数字图像灰度级集合为(W1,W2,...,Wk,...,Wm)(W_1,W_2,...,W_k,...,W_m) ，其对应的概率分别为P1,P2,...,Pk,...,PmP_1,P_2,...,P_k,...,P_m其自信息量为

I(Wk)=−log⁡2Pk(bit)I(W_k)=-\log_2P_k(\mathrm{bit})

2.熵的定义：

H=−∑k=1MPklog2PkH=-\sum_{k=1}^MP_klog_2P_k

肯定发生的事件或肯定不发生的事件H=0H=0；

3.平均码字长度

给(W1,W2,...,WM)(W_1, W_2, ..., W_M) 每个灰度级赋予一个二进制编码Ck,k=1,2,...,MC_k, k=1,2,...,M , 称为码字。

设βk\beta_k为数字图像第kk个码字CkC_k的长度 (二进制代码的位数)。其相应出现的概率为PkP_k , 则该数字图像所赋予的码字平均长度RR为

R=∑k=1MβkPk(bit)R=\sum_{k=1}^M\beta_kP_k(bit)

4.编码效率

η=HR(%)\begin{aligned}\eta=\frac{H}{R} (\%)\end{aligned}

式中H为信源熵，R为平均码字长度

5.唯一可编译码

​ 为减少表示图像的平均码字长度，对码字之间往往不加同步码，这就要求所编码字序列（例如：01011）能被唯一译出来。满足这个条件的编码称为唯一可译编码，或单义可译码。

（a）单义代码

任意有限长的码字序列，只能被唯一分割成一个个码字。单义代码的充要条件是满足克劳夫特不等式：

（b）续长代码和非续长代码

**非续长代码：**不能在某一代码后面添加一些码元而构成另一个码字。单义码往往采用非续长编码。

例如：[0，10，11]是非续长代码；[0，01，11]是续长代码。

4.2.2 哈夫曼编码方法·

编码方法（得会算！）：

4.2.3 香农编码法·

香农编码效率低于哈夫曼编码

4.2.4 算术编码方法·

在信源均匀的情况下，算术码效率高于哈夫曼编码；

思想：

用0-1的线段上的一个区间来定义一段消息序列。

(a)算术编码是一种从整个符号序列出发，采用递推形式连续码的方法；

(b)算术编码中，源符号和码字间的一一对应关系并不存在。

4.3 预测法编码·

4.3.1 DPCM的基本原理·

DPCM基本原理：

预测编码是利用相邻像素的相关性进行预测。预测编码通常不是直接对信号编码,而是对预测误差编码。当预测比较准确,误差较小时, 可达到编码压缩的目的。这种编码被称为差分脉冲编码(DPCM)。

预测器和量化器的设计以及数字信道传输码的影响，在DPCM系统中会出现一些图像降质现象。有下列几种：

(1) 斜率过载引起图像中黑白边沿模湖，分辨力降低； 预测误差信号比量化器最大输出电平要大得多

(2) 颗粒噪声；最小的量化输出电平太大

(3) 假轮廓图像；量化间隔过大

(4) 边沿忙乱；不同帧在同一像素位置上量化噪声各不相同

(5) 误码扩散。

4.6 图像压缩编码主要国际标准·

JPEG

利用小波变换取代JPEG模式中的分块离散余弦变换，由于变换本身提供了对图像的多分辨率表示，可在单一码流中实现从有损到无损的压缩；利用基于上下文的自适应算术编码取代JPEG系统中的哈夫曼编码，增强系统的容错能力和随机访问能力；

动态图像（视频）压缩标准 MPEG

5 图像增强和复原·

什么是增强什么是复原 直方图修正均匀化 同态增息原理 平滑的几种方式 锐化里边的梯度拉普拉斯看一下 几何校正不用看的太复杂，简单的差值会就行，5.7、8、9不考

5.2 灰度修正·

5.2.1 灰度变换

5.2.2 直方图修正·

5.3 图像的同态增晰·

同态增晰：突出某小范围的灰度级区域

照明函数：描述了景物的照明，是与景物无关的量，其取值范围为0到无穷间的有限值。照明函数频谱集中在低频段；

反射函数：包含景物的细节，是与照明无关的量，其取值范围为0到1之间。反射函数的频谱主要集中在高频段

**具体方法：**进行同态滤波处理。

5.4 平滑·

5.4.2 平均·

图像平均分为空间域和频率域平均两种方法。

（1）空域平均：对空间的每一个象素取一个邻域S，做如下计算：（其中S可取四邻域或八邻域）。

图像平均是以图像模糊为代价来换取对噪声的减小，而且S含有的象素越多，噪声减少越显著，但图像亦越模糊。

（2）由于噪声能量通常大多集中在高频段，采用低通滤波可以降低噪声的影响，但由于图像细节也是高频分量，低通滤波也会使边缘变模糊。

  • 巴特沃斯滤波器的结果图效果较好，无明显的振铃现象；
  • 理想低通滤波是一个以牺牲图像清晰度为代价来减少干扰效果的平滑过程；
  • 滤除的高频能量越多，图像越模糊。

5.4.3 中值滤波·

中值滤波是一种非线性信号处理方法；

在一定的条件下，可以克服线性滤波器如最小均方滤波、平均值滤波(平滑滤波)等所带来的图像细节模糊；

对于处理脉冲噪声（也被称为椒盐噪声）非常有效。

中值滤波原理：用一个奇数点的滑动窗口，将窗口中心点的值用窗口内各点的中值代替。

中值滤波的效果要比邻域平均处理的滤波效果好，主要特点是滤波后图像中的轮廓比较清晰

5.4.3 顺序统计滤波器·

最大值滤波器：保留最亮点、消除椒盐噪声中的“胡椒噪声”；

最小值滤波器：保留最暗点、消除椒盐噪声中的“盐噪声”

5.5 锐化·

高通滤波锐化，低通滤波去噪

常用的方法有梯度法和拉普拉斯运算。

（1）梯度运算

给定一个二维函数f(x,y) ，它在点(x,y)的梯度是一个矢量

梯度方向指f(x,y)的最大变化率的方向；

梯度的幅度表示为最大变化方向上的变化量

数字图像梯度

G[f(i,j)]≈∣f(i,j)−f(i+1,j)∣+∣f(i,j)−f(i,j+1)∣G{\left[f\left(i,j\right)\right]}\approx\left|f\left(i,j\right)-f\left(i+1,j\right)\right|+\left|f\left(i,j\right)-f\left(i,j+1\right)\right|

罗伯特梯度

G[f(x,y)]≈∣f(x,y)−f(x+1,y+1)∣+∣f(x+1,y)−f(x,y+1)∣G[f(x,y)]\approx\left|f(x,y)-f(x+1,y+1)\right|+\left|f(x+1,y)-f(x,y+1)\right|

（2） 拉普拉斯运算

锐化处理后图像表示为：

g(x,y)=f−kτ∇2fg(x,y)=f-k\tau\nabla^2f

针对图像，将其离散化，拉普拉斯运算可表示为（上下左右四个点加起来-4*自身）：

∇2f(i,j)=f(i+1,j)+f(i−1,j)+f(i,j+1)+f(i,j−1)−4f(i,j)=−5{f(i,j)−15[f(i+1,j)+f(i−1,j)+f(i,j+1)+f(i,j−1)+f(i,j)]}\begin{aligned}\nabla^2f\big(i,j\big)&=f\big(i+1,j\big)+f\big(i-1,j\big)+f\big(i,j+1\big)+f\big(i,j-1\big)-4f\big(i,j\big)\\&=-5\bigg\{f\big(i,j\big)-\frac15\big[f\big(i+1,j\big)+f\big(i-1,j\big)+f\big(i,j+1\big)+f\big(i,j-1\big)+f\big(i,j\big)\bigg]\bigg\}\end{aligned}

5.6 几何校正·

决定 (x0 ，y0）处的灰度值。通常有两种方法：

（a）临近点插值：找出最接近于(α,β)(\alpha,\beta)的数字化格点，设为(x1 ’,y1 ’) ，用该点的灰度值来表示g中 (x0，y0 ) 的值。

（b）双线性插值：用(α,β)(\alpha,\beta)点周围四邻的网格点的灰度值内插作为(x0,y0)(x_0,y_0)点的灰度值。

6. 图像分割·

几个算子 marr先干啥在干啥 log，dog滤波器 沈俊边缘不考 facet、模板匹配不考 哈弗变换要知道 所有小波都不考 图像阈值分割方法原则 灰度共生矩阵 区域增长法 分开合并

6.2 边缘检测算子·

6.2.1 几个算子·

（1）梯度算子

对于数字图像，可用一阶差分替代一阶微分

是矢量

（2）Robert梯度

采用的是对角方向相邻两像素之差

（3）Sobel梯度算子

是先做加权平均，然后再微分

矢量

Δyf(x,y)=[f(x−1,y+1)+2f(x,y+1)+f(x+1,y+1)]−[f(x−1,y−1)+2f(x,y−1)+f(x+1,y−1)]Δxf(x,y)=[f(x−1,y−1)+2f(x−1,y)+f(x−1,y+1)]−[f(x+1,y−1)+2f(x+1,y)+f(x+1,y+1)]\begin{aligned} &\Delta_yf(x,y) =\begin{bmatrix}f\big(x-1,y+1\big)+2f\big(x,y+1\big)+f\big(x+1,y+1\big)\end{bmatrix} \\ &-\left[f\left(x-1,y-1\right)+2f\left(x,y-1\right)+f\left(x+1,y-1\right)]\right. \\ &\Delta_xf(x,y) =\begin{bmatrix}f\big(x-1,y-1\big)+2f\big(x-1,y\big)+f\big(x-1,y+1\big)\end{bmatrix} \\ &-\left[f\left(x+1,y-1\right)+2f\left(x+1,y\right)+f\left(x+1,y+1\right)\right] \end{aligned}

（4）拉普拉斯算子

它是一个标量而不是向量，具有旋转不变即各向同性的性质

6.2.2 Marr边缘检测方法·

问题：梯度算子和拉普拉斯算子对噪声比较敏感。

解决方案：

（1）对图像先进行适当的平滑、以抑制噪声，然后再进行求微分

（2）先对图像进行局部线性拟合，然后再用拟合所得的光滑函数的导数来替代直接的数值导数，如后面将介绍的Facet检测方法。

Marr基本原理

Marr提出先用高斯函数进行平滑，再用拉普拉斯算子求导

LOG边缘检测算子两个显著特点：

该滤波器中的高斯函数部分能把图像平滑、有效地消除一切尺度远小于高斯分布因子的图像强度变化。

该滤波器采用拉普拉斯算子可以减少计算量。

为减少运算量，经常用DOG来近似LOG

6.2.4 Hough变换·

将原始图像中给定形状的曲线或直线变换成变换空间中的一个点，即原始图像中给定形状曲线或直线的检测问题，变成寻找变换空间中的峰点问题。

可以高效检测圆、椭圆、抛物线等形状的线条。

6.3 图像阈值分割·

直方图分割：两峰之间的谷底

6.3.2类间方差阈值分割·

准则是令类间方差最大，类内方差最小

灰度的一维熵最大分割：选择一个阈值，使图像分割出的两部分的一维灰度统计的信息量最大。分散越均匀，熵越大，在背景和目标区域，灰度值分布是比较均匀的，熵是大的。如果将背景和目标融合在一起的话，灰度值分布差异较大，不均匀，熵是小的。

6.3.3二维最大熵阈值分割·

二维直方图的XOY平面图，沿对角线分布的A区和B区分别代表目标和背景，远离对角线的C区和D区代表边界和噪声。（背景和目标在对角线上，因为类内均匀）

6.4 区域增长法和分开–合并区域方法·

写步骤 按步骤算分

6.5 形态学·

开运算：用结构元B对A腐蚀，再对腐蚀结果用同样的结构元进行膨胀操作

闭运算：用结构元B对A进行膨胀，再对膨胀结果用同样的结构元进行腐蚀操作，过程与开运算正好相反

7. 图像描述·

二值图像的几何特征 二值性 矩不变量知道概念就行 链码 二维纹理描述大概知道

7.2 二值图像的几何特征·

邻接（4,8）与连通、背景与孔

  1. 面积

​ 目标物的面积A就是目标物所占的像素点的数目。

  1. 周长有三种不同的定义：

（1）若将图像中每个像素看成是单位面积的小方格，则区域S的周长可以定义为区域和背景交界线的长度。

（2）将像素看作是一个点，则周长可以定义为区域边界8链码的长度。

（3）周长用边界所占的面积表示，即边界点数之和。

  1. 位置

设MxN的数字图像f(x,y)f(x,y)，其位置用质心表示

  1. 方向

假设物体是细长的，则可把较长方向的轴定义为物体的方向。通常的方法是选择最小惯量轴在二维平面上的等效轴。最小惯量轴定义为在目标上找一条直线，使得目标上的所有点到这条直线的垂直距离的平方和最小。

  1. 投影
  2. 距离

满足距离公理（非负、对称和三角不等式）的函数都可以作为距

离。数字图像里常用的距离有三种：

（1）欧几里德距离：de(p,q)=(i−h)2+(j−k)2\begin{aligned} &de(p,q)=\sqrt{\left(i-h\right)^2+\left(j-k\right)^2} \\ \end{aligned}

（2）4邻域距离：&d_4=\begin{vmatrix}i-h\end{vmatrix}+\begin{vmatrix}j-k\end{vmatrix} \\

（3）8邻域距离：d8=max⁡(∣i−h∣,∣j−k∣)d_8=\max\left(|i-h|,|j-k|\right)

一个点p到一个子集S之间的距离，定义为这个点p到S中所有点距离的最小者

7.3 二维形状描述·

  1. 分散度P2A\frac{P^2}{A}
  2. 也叫圆度，即与圆的接近程度。

A为图像子集S的面积， P为S的周长。圆形的分散度为4π；正方形的分散度为16。一般几何形状越复杂，分散度越大。

**分散度有二义性：**即同样的面积和周长的图形分散度相同，形状并不一定相同。

  1. 伸长度AW2\frac A {W^2}

A为图像子集S的面积，W为S的宽度。W：使S完全消失所需的最小收缩步数

  1. 欧拉数： E＝C－HE＝C－H

C为图像中连通分量个数，H为孔的数目

  1. 复杂性
  2. 偏心度

矩不变量

矩不变量基本原理：矩特征对于图像的旋转、比例和平移具有不变性，因此可以用来描述图像中的区域特性。

边界描述法：链码和傅立叶形状描述子

链码（方向得背下来）

对任一像素P，依它与邻近像素的关系，定义它的八个方向，分别用0,1,2,3,4,5,6,7表示，这些数字称为指向符。链码表示就是从某一点开始沿曲线观察每一线段的走向并用相应的指向符来表示，结果是一个数列。

**链码规格化：**闭合曲线起点与终点重合，通过改变起点位置，使链码表示的整数最小。

傅立叶算子

是描述闭合边界的一种方法，且仅适用于单闭合曲线

7.4 纹理描述·

1.灰度共生矩阵法（灰度共现矩阵）

是图像灰度的二阶统计量，是一种对纹理的统计分析方法。

（1）（2）（4）得会

8. 图像识别·

模式识别流程环节包括什么 几种分类决策的依据8.1例题