灰度量化、图像分辨率、人工神经网络、BP网络——神经网络和计算机视觉基础总结
有幸拜读大佬言有三的书《深度学习之模型设计》,以下是我的读数笔记，仅供参考，详细的内容还得拜读原著，错误之处还望指正。第一章——神经网络和计算机视觉基础1.1计算机视觉定义：指用计算机来模拟人的视觉以获取和处理一系列图像信息。内容：包含从底层特征提取到各种任务的高层次感知的整个过程。1.1.1研究视觉的重要性人获取信息主要依靠视觉计算机视觉是深度学习技术应用最广的领域计算机视觉也是人工智能行业中从
有幸拜读大佬言有三的书《深度学习之模型设计》,以下是我的读书笔记，仅供参考，详细的内容还得拜读原著，错误之处还望指正。
《深度学习之模型设计》读书笔记——第一章：神经网络和计算机视觉基础
文章目录
1.1计算机视觉
- 定义：指用计算机来模拟人的视觉以获取和处理一系列图像信息。
- 内容：包含从底层特征提取到各种任务的高层次感知的整个过程。
1.1.1研究视觉的重要性
- 人获取信息主要依靠视觉
- 计算机视觉是深度学习技术应用最广的领域
- 计算机视觉也是人工智能行业中从业者人数最多的方向
1.1.2 生物学视觉原理与视觉分层理论
1.感受野
On型感受野：作用强的中心兴奋区域和作用较弱但面积更大的周边抑制区域构成的同心圆结构。
Off型感受野：中心抑制区域和周边兴奋区域构成的同心圆结构。
作用：当用面积正好可覆盖On型感受野中心的光斑刺激感受野时，细胞得到最大兴奋型反映；当用大面积的弥散光照射On型感受野时，细胞被抑制。Off型感受野反之。
2.视觉机制
- 视觉细胞类型：
(1)简单细胞：可被其感知区域内具有特定方向的线条最大化激活。
(2)复杂细胞：具有较大感受野，其输出对边缘的确切位置不敏感。 - 重要结论：
(1)方向选择性：神经元细胞的激活来自某个特定方向的边缘对比度的变化，与绝对的亮度值无关。
(2)并行处理：视觉信息通过颜色、深度、运动和形状等独立的通道进行加工。并且，在视觉处理过程中，信息被先分解后整合。 - 视觉分层理论：
初级视觉 (提取底层特征，如简单的边缘信息) ⇒ \Rightarrow ⇒ (完成目标识别，描述方向、轮廓、深度等高级抽象的信息) ⇒ \Rightarrow ⇒高级视觉 (重建三维表达)
1.2数字图像基础概述
1.2.1数字图像基础概述
1.数字图像起源
图像的含义：
图：一直客观存在的光的分布。
像：图在人脑中的印象。
2.灰度量化与对比度
(1)灰度量化：0~255灰度，0最暗，255最亮。
(2)对比度：马赫带现象与伪边缘效应：人眼在亮的一侧感受到的亮度比实际的灰度更亮，暗侧反之，即主观地增强了边缘对比度。——表明人眼对不连续的东西最敏感。
3.分辨率
(1)图像分辨率(PPI)：
定义：指每英寸的像素数
(2)输出分辨率(DPI)：
定义：指设备输出图像时每英寸可产生的点数
4.彩色空间
分类：RGB、Lab、HSV/HSB、CMYK、YUV 等
1.2.2数字图像处理基础
1.直方图：前景：图中灰度高峰；背景：其他。
2.边缘：
边缘检测方法：
分类：
(1)基于一阶导数
(2)基于二阶导数
代表性方法：Roberts算子、Prewitt算子、Sobel算子、Laplacian算子、Canny算子。
3.对比度：
对比度调整方法：线性拉伸变换、伽马变换、直方图均衡化。
4.清晰度：
定义：指边缘附近的灰度对比。
增加清晰度的方法：锐化等。
降低清晰度的方法：降低图像分辨率、增加模糊等。
5.数字图像处理与计算机视觉的联系：
- 两者的学科基础理论相似，在技术和应用领域很多重叠。
- 前者更注重底层图像变换，后者更注重高层感知。
1.3神经网络基础
1.3.1生物神经元与人工神经网络
人工神经网络的设计在很多地方并不遵循生物神经元的原理，但它确实是受生物神经网络的启发产生的。
1.3.2感知机是神经网络吗
感知机是指单层的人工神经网络。
感知机的计算公式： y = f ( ∑ i = 1 n w i ⋅ x i − θ ) y = f(\sum_{i=1}^n wi\cdot xi -\theta\text{}) y=f(∑i=1nwi⋅xi−θ) , y y y为输出， f ( ) f() f()为激活函数， X X X为输入向量， W W W为权值向量， θ \theta θ为常数, l r lr lr为学习率。
权重 W W W更新方式：new_ w i wi wi = w i wi wi + l r lr lr( y y y - y ^ \hat{y} y^) x i xi xi
学习的参数： W W W、 θ \theta θ、偏差 B B B 。
缺点：只能处理线性分类问题。
1.3.3BP算法
模型图形不再赘述
算法推导：
| 符号定义 | |
|---|---|
| w j i l w^l_{ji} wjil | 第 i i i个神经元到第 j j j个神经元的连接权值 |
| x j l x^l_j xjl | 第 l l l层第 j j j个神经元的输入 |
| y j l y^l_j yjl | 第 l l l层第 j j j个神经元的输出 |
| X X X | 表示一个单独的训练样本 |
| Y Y Y | 表示 X X X对应的标签 |
| y L y^L yL | 表示预测结果 |
| θ j l \theta^l_j θjl | 第 l l l层第 j j j个神经元的偏置 |
| C C C | 代价函数 |
| δ j l \delta^l_j δjl | 第 l l l层第 j j j个神经元的误差 |
| f ( ) f() f() | 表示激活函数，如Sigmoid |
| α \alpha α | 学习率 |
数学知识补充：P范数： ∣ ∣ X ∣ ∣ ||X|| ∣∣X∣∣ p _p p = ( ∑ i = 1 n x i P ) 1 / P (\sum_{i=1}^n xi^P\text{})^{1/P} (∑i=1nxiP)1/P ，其中， P = 2 P = 2 P=2 时为2范数，也称欧几里得范数。
两个起始的重要公式镇楼：
x
j
l
=
∑
i
=
1
k
w
i
j
l
y
i
l
−
1
+
θ
j
l
x^l_j = \sum_{i=1}^k w^l_{ij}y^{l-1}_i+\theta^l_j
xjl=∑i=1kwijlyil−1+θjl ——(1)
y
j
l
=
f
(
x
j
l
)
y^l_j=f(x^l_j)
yjl=f(xjl) ——(2)
代价函数：
C
=
1
2
∣
∣
Y
−
y
L
∣
∣
2
C=\frac{1}{2}||Y-y^L||^2
C=21∣∣Y−yL∣∣2
下面推导误差：
误差定义：
δ
j
l
=
∂
C
∂
x
j
l
\delta^l_j=\frac{\partial C}{\partial x^l_j}
δjl=∂xjl∂C
由链式法，结合公式(2)推导：
δ
j
l
=
∂
C
∂
x
i
l
=
∑
i
∂
C
∂
x
i
l
+
1
∂
x
l
+
1
∂
x
i
l
=
∑
i
∂
x
l
+
1
∂
x
j
l
δ
i
l
+
1
\delta^l_j=\frac{\partial C}{\partial x^{l}_i}=\sum^i\frac{\partial C}{\partial x^{l+1}_i} \frac{\partial x^{l+1}}{\partial x^l_i}=\sum^i\frac{\partial x^{l+1}}{\partial x^l_j}\delta^{l+1}_i
δjl=∂xil∂C=∑i∂xil+1∂C∂xil∂xl+1=∑i∂xjl∂xl+1δil+1——(3)，下面推导
∂
x
i
l
+
1
∂
x
j
l
\frac{\partial x_i^{l+1}}{\partial x_j^l}
∂xjl∂xil+1：
由
x
i
l
+
1
x_i^{l+1}
xil+1是
x
j
l
x_j^l
xjl的函数，结合公式(1)继续推导：
x
i
l
+
1
=
∑
j
w
i
j
l
+
1
y
j
l
+
θ
i
l
+
1
=
∑
j
w
i
j
l
+
1
f
(
x
j
l
)
+
θ
i
l
+
1
x_i^{l+1}=\sum^jw_{ij}^{l+1}y_j^l+\theta_i^{l+1}=\sum^jw_{ij}^{l+1}f(x_j^{l})+\theta_i^{l+1}
xil+1=∑jwijl+1yjl+θil+1=∑jwijl+1f(xjl)+θil+1
对
x
j
l
x_j^l
xjl求偏导得：
∂
x
i
l
+
1
∂
x
j
l
=
w
i
j
l
+
1
f
′
(
x
j
l
)
\frac{\partial x_i^{l+1}}{\partial x_j^l}=w_{ij}^{l+1}f^{'}(x_j^l)
∂xjl∂xil+1=wijl+1f′(xjl)——(4)
将公式(4)带入公式(3)得：
δ
j
l
=
∑
i
w
i
j
l
+
1
f
′
(
x
j
l
)
δ
j
l
+
1
\delta^l_j=\sum^iw_{ij}^{l+1}f^{'}(x_j^l)\delta^{l+1}_j
δjl=∑iwijl+1f′(xjl)δjl+1
下面推导权值更新：
权值更新规则：
w
j
i
l
=
w
j
i
l
−
α
∂
C
∂
w
j
i
l
w_{ji}^l=w_{ji}^l-\alpha\frac{\partial C}{\partial w_{ji}^l}
wjil=wjil−α∂wjil∂C——(5);
θ
j
l
=
θ
j
l
−
α
∂
C
∂
θ
j
l
\theta_j^l=\theta_j^l-\alpha \frac{\partial C}{\partial \theta^l_j}
θjl=θjl−α∂θjl∂C——(6)
下面推导
∂
C
∂
w
j
i
l
\frac{\partial C}{\partial w_{ji}^l}
∂wjil∂C和
∂
C
∂
θ
j
l
\frac{\partial C}{\partial \theta^l_j}
∂θjl∂C:
对于
∂
C
∂
w
j
i
l
\frac{\partial C}{\partial w_{ji}^l}
∂wjil∂C：由公式(1)得：
∂
C
∂
w
j
i
l
=
∂
C
∂
x
j
l
∂
x
j
i
∂
w
j
i
l
=
δ
j
l
y
i
l
−
1
\frac{\partial C}{\partial w_{ji}^l}=\frac{\partial C}{\partial x_j^l} \frac{\partial x_j^i}{\partial w_{ji}^l}=\delta_j^ly_i^{l-1}
∂wjil∂C=∂xjl∂C∂wjil∂xji=δjlyil−1———(7)
对于
∂
C
∂
θ
j
l
\frac{\partial C}{\partial \theta^l_j}
∂θjl∂C：
∂
C
∂
θ
j
l
=
∂
C
∂
x
j
l
∂
x
j
l
∂
θ
j
l
=
δ
j
l
\frac{\partial C}{\partial \theta^l_j}=\frac{\partial C}{\partial x^l_j}\frac{\partial x_j^l}{\partial \theta_j^l}=\delta_j^l
∂θjl∂C=∂xjl∂C∂θjl∂xjl=δjl——(8)
将公式(7),(8)分别带入公式(5)(6)得：
w
j
i
l
=
w
j
i
l
−
α
∂
C
∂
w
j
i
l
=
w
j
i
l
−
α
δ
j
l
y
i
l
−
1
w_{ji}^l=w_{ji}^l-\alpha\frac{\partial C}{\partial w_{ji}^l}=w_{ji}^l-\alpha \delta_j^ly_i^{l-1}
wjil=wjil−α∂wjil∂C=wjil−αδjlyil−1
θ
j
l
=
θ
j
l
−
α
∂
C
∂
θ
j
l
=
θ
j
l
−
α
δ
j
l
\theta_j^l=\theta_j^l-\alpha \frac{\partial C}{\partial \theta^l_j}=\theta_j^l-\alpha \delta_j^l
θjl=θjl−α∂θjl∂C=θjl−αδjl
内容未完待续，后续内容请关注CSDN本专栏
更多内容请关注公众号
CSDN联合极客时间，共同打造面向开发者的精品内容学习社区，助力成长！
更多推荐
0
0- 0
已为社区贡献1条内容
所有评论(0)