2.1人眼视觉成像原理

人眼视觉与机器视觉：

2.1.1人眼视觉系统的简介

人类视觉系统：

人的眼睛有着接收及分析视觉影像的能力，从而组成视知觉，以辨认客观物象信息（如外貌）和所处的空间(如距离)，及该目标在外形和空间上的改变。

脑部将眼睛接收到的物象信息，分析出四类:有关物象的空间、色彩、形状及动态。

有了上述数据，人类可辨认外物和对外物作出及时和适当的反应。

就是利用物理传感器代替人眼来测量目标空间、色彩、形状及动态。

综合了光学、机械、电子、计算机软硬件、传感器等跨领域的技术;

涉及到计算机图像处理、模式识别、人工智能、信号处理、光机电一体化等多个学科门类。

2.1.2人眼视觉系统的结构与功能

 人类视觉生理结构图：

 人眼视觉细胞构成及功能：

视锥(cone)细胞：称为白昼视觉或亮视觉，对白天可见光敏感，视锥细胞数量在600~700万之间，包含感红、感蓝、感绿三种细胞，为人类提供色觉。人眼彩色视觉的主要来源，可识别颜色约1千万种。

如果缺失了其中的一种或者全部，就会造成常见的“色弱”、“色盲”的现象。

视杆(rod)细胞：成为暗视觉，对夜间或低照度敏感。

视杆细胞数量约有1.2亿个，只能感知目标的形状和黑、白、灰视觉。人眼可以辨别超过800万种深浅不同的色调。

2.1.3视觉系统的成像原理

成像原理及成像过程：

视觉的产生过程是小孔成像的原理。(提问：那为什么人眼看到的不是“倒像”呢?)

外界的可见光进入眼球瞳孔后，经过晶状体、玻璃体调节，会聚焦到视网膜中央凹，转化为神经元电脉冲，传输送到大脑灰质层的视觉区域。接收到电脉冲之后，会引起连串的光化反应，即思维活动，产生主观图像。

人类视觉生理结构图：

 

人脑具有非常强的可塑性。大脑皮层经过不断的适应环境,把客观的倒像信息转化为人类可理解的正像信息。

美国心理学家乔治·斯特拉顿(George Stratton)进行了最早的反转视觉实验，验证了人眼的适应环境特性。

2.1.4机器视觉成像原理

从光学角度，人眼中最重要的三样东西：瞳孔、水晶体、视网膜（中央凹)

• 人眼器官——成像器件
• 瞳孔——光圈
• 水晶体——镜头(调焦)
• 视网膜（中央凹)——感光底片（清晰聚焦)

机器视觉成像原理：

与人眼成像系统类似过程：首先通过光学镜头系统把物理世界的光线收集到成像系统种，在经过快门光栅调节、颜色滤波器过滤，把光线照射到光电传感器上产生电信号;经过控制电路对电信号进行采样、量化、去噪、平滑、锐化、白均衡、压缩编码等操作，即产生了数字图像;最后把处理后的数字图像压缩文件送至到计算机存储单位或者显示器。

机器视觉与人类视觉的差异：

• 人类视觉系统的采集精度是无限精度的，而机器视觉系统的精度取决于传感器的分辨率;
• 人类视觉系统成像是复杂的物理化学过程，而且是主观的成像;而机器视觉系统成像是光电/模数过程，是客观成像。因此与人眼成像感知是不同的。
• 人类视觉系统由于先天缺陷可能导致色盲，而机器视觉系统传感器是人工制造的，可以很可靠的工作。
• 人类视觉感受到外界2.5维甚至更高维的空间，但是目前机器视觉只能感知到二维空间。
• 人类视觉容易受到人的情绪和健康状态影响，而机器视觉可以可靠的长时间工作。
• 人类视觉系统对色彩和色调的分辨感知远远超过机器视觉的分辨能力。

课堂讨论：

• 动物是否也能产生图象?
• 动物是如何理解图象含义?
• 机器视觉的成像原理。
• 机器视觉与人类视觉系统的区别?

课件：

2.2计算机视觉仿生原理

2.2.1机器视觉的起源

生物视觉：

人眼以及普通相机只能感受到光的强度信息而不能探测到光的偏振信息。但研究表明螳螂虾的复眼能探测到偏振光，有趣的是生物组织特性与偏振信息有关，也就是说螳螂虾的眼睛是能够“诊断”出生物组织的病变的。好神奇的眼睛!
还有蜻蜓等昆虫具有“复眼”结构，视野宽阔，定位准确等;青蛙的眼睛只能看到动态场景，准确分辨可吃的昆虫。

机器视觉的起源：

机器视觉起源于1951年用计算机分析二维图像的任务。

20世纪60年代的研究前沿是以理解三维场景为目的的三维机器视觉。

20世纪70年代出现了一些视觉运动系统。1975年第一次出现了”计算机视觉”的概念。

机器视觉的定义：

机器视觉是机器（通常指计算机）图像进行自动处理并识别“图像是什么”的过程，或者自动标注图像中目标身份及相互关系的过程。通常是生成一个抽象的符号描述的过程。
其包含是对图像理解、分析、处理、控制等。

2.2.2机器视觉的意义

机器视觉是一种非接触的测量方式，在一些不适于人工作业的危险工作环境或者人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉。

在大批量重复性工业生产过程中，用机器视觉检测方法可以大大提高生产的效率和自动化程度。

比如工业探伤、自动焊接、医学诊断、跟踪报警、移动机器人、指纹识别、模拟战场、智能交通、医疗、无人机与无人驾驶、智能家居等等。现在，机器视觉仍然是一个非常活跃的研究领域。

与之相关的学科涉及:图像处理、计算机图形学、模式识别、人工智能、神经网络等。

目前机器视觉在工业上的应用主要需求有：测量、外观检测.条码、字符识别、定位等等。

2.2.3机器视觉的工作原理

通过机器视觉装置将被采集目标转换成数电信号，传送给计算机图象处理系统;系统对这些信号进行各种运算来抽取目标的特征模型，利用机器学习方法分析识别图象内容，并控制现场的设备动作或输出供决策的符号信息。
计算机视觉的目标在于充分理解电磁波，主要是可见光与红外线部分，遇到物体表面被反射或折射所形成的二维光分布图,而这一过程便是解析图像或视频所表示的真实世界。

统计机器学习的工作步骤：

1. 特征感知，即人工预先建立特征模型;
2. 图像预处理，如去噪、平滑、锐化处理;
3. 特征提取，即按照人工模型提取数据;
4. 特征筛选，即提取特征与已知特征匹配;
5. 推理预测与识别。

机器学习方法的分类：

统计机器学习方法把这些数值给综合起来用统计或非统计的形式，把想识别或检测的部件或者整体对象表现出来，再进行学习和分类。不足是:需要大量的经验和合适的分类器。

深度学习方法训练一个模型的时候，输入只是图片，输出就是它自己的标签。不需手动设计特征、不挑选分类器的机器视觉系统。深度学习获得的特征(feature)有很强的迁移能力。所谓特征迁移能力，指的是在A任务上学习到一些特征，在B任务上使用也可以获得非常好的效果。

2.2.4机器视觉与其他技术的关系

图像处理主要是基于已有图像生成一张新的图像，如噪声抑制、去模糊、边缘增强等处理来实现。

模式识别的主要任务是对模式进行分类。

机器视觉的核心问题是从一张或多张图像生成一个符号描述。

计算机图形学的目的是真实或非真实地呈现一些场景，即通过虚拟建模等方式对得到的场景进行处理，然后使用计算机进行呈现;

计算机视觉是为了得到真实场景的信息通过采集图像进行处理。

课堂讨论：

• 动物的眼睛有多神奇，举例说明?
• 机器视觉与人类视觉有什么区别?
• 机器视觉的工作原理。
• 机器学习方法的分类?

课件：

2.3人类视觉系统的特性

2.3.1人眼视觉几何特性

• 人眼亮度的适应和鉴别
• 马赫带效应
• 同时对比度
• 视觉幻觉图

人眼亮度的适应和鉴别：

在呈现图像处理结果时，人眼区分不同亮度/强度水平的能力是一个要考虑的重要方面。人视觉系统所能适应的的光强度范围是非常宽的，达数量级，主观亮度是光强的对数函数。但人的视觉不可能同时在整个范围内工作，其能同时辨别的光强度级范围是很小的。在所观察对象的亮度适应级发生改变时，人眼有一个逐渐适应的过程。

马赫带效应：

当亮度为阶跃变化时，图像中显示出竖条灰度梯级图像，如图所示。已知从每一竖条宽度内反射出来的光强是均匀的，相邻竖条之间的强度差是常数，然而，我们看起来每一竖条要比左边稍亮一些，这种现象称为马赫带效应。

马赫带效应的原因：

• 从一物体表面感受到的主观亮度受到该表面与周围环境亮度之间相对关系的影响，所以说是与背景相关的函数。两个亮度本身不同的物体如果他们的背景有相对关系的话，看起来可以有相同的亮度;反之，两个亮度本身相同的物体在适当的背景下看起来可以有不同的亮度。
• 人们感知的亮度与物体亮度的绝对值无关。

同时对比度效应：

• 人眼对于某个区域感觉到的亮度并不仅仅依赖于它的强度。如图中例子所示，图中所有位于中心的正方形都有完全一样的亮度。但是当背景暗时它们看起来要亮些，而当背景亮时，它们看起来要暗些。
• 人眼特有的主观属性。

视觉幻觉特性应：

• 人们在实际生活中，是经常处于在不断地纠正错误中来感知和适应客观世界的。对外界刺激（信息)的特征的辨别能力，是我们认识世界和习得知识的重要手段。同时，对于错误的反映要不断进行校正。这一点在生活、工作和学习中很重要。例如，水杯中筷子。
• 人的视觉准确的说是视知觉，视觉是一种人特有主观的、长期训练出来的心理层面感受，知觉是一种人眼对客观物体的直接感受。当知觉与视觉感受不一致时，就会产生错觉。
• 既有益也有害!

2.3.2人眼视觉颜色特性

3个基本颜色：红(R)、绿(G)和蓝(B);

国际照明委员会(CIE),1931年规定3种基本色的波长为：

• R：700nm
• G：546.1nm
• B：435.8nm

3补色：

• 品红(M、magenta，即红加蓝)
• 蓝绿（C、cyan，即绿加蓝)
• 黄(Y、yellow，即红加绿)

人眼的颜色系统与国标中的颜色系统没有直接关系。

国标中的颜色系统只能仿真人眼中的部分颜色体系。

当有色光照射到消色物体上时，物体反射光颜色与入射光颜色相同。两种以上有色光同时照射到消色物体上时，物体颜色呈加法效应。当有色光照射到有色物体上时，物体的颜色呈减法效应，如图所示。

人眼视觉颜色特性：

加法混合：由两种或两种以上的色光相混合时，会同时或者在极短的时间内连续刺激人的视觉器官，使人产生一种新的色彩感觉。混合色的光的总亮度等于相混各色光亮度之和。

减法混合：白色光线透过有色滤光片之后，一部分光线被透射而吸收其余的光线，最后透过的光是两次减光的结果，这样的色彩混合称为减法混合。减色法是指从白光或其它复色光中减某些色光而得到另一种色光刺激的色效应。

中性混合：基于人的视觉生理特征所产生的视觉色彩混合，而并不变化色光或发光材料本身，混色效果的亮度既不增加也不减低，所以称为中性混合。
颜色旋转混合:把两种或多种色并置于一个圆盘上，通过动力令其快速旋转，而看到的新的色彩。颜色旋转混合效果在色相方面与加法混合的规律似，在明度上却是相混各色的平均值。

空间混合：将不同的颜色并置在一起，当它们在视网膜上的投影小到一定程度时，这些不同的颜色刺激就会同时作用到视网膜上非常邻近的部位的感光细胞，以致眼睛很难将它们独立地分辨出来，就会在视觉中产生色彩的混合，这种混合称空间混合。

加法混色常用的相加混色方法有以下三种:

时间混色法：将三基色按一定比例轮流投射到同一屏幕上，由于人眼的视觉惰性，只要交替速度足够快，产生的彩色视觉与三基色直接相混时一样。这是顺序制彩色电视图像显示的基础。

空间混色法：将三基色同时投射到彼此距离很近的点上，利用人眼分辨力有限的特性而产生混色，或者使用空间坐标相同的三基色光的同时投射产生合成光，这是同时制彩色电视图像和计算机图像的显示基础。

生理混色法：利用两只眼睛分别观看两个不同颜色的同一景象，也获得混色效果。

区分颜色通常用3种基本特性：

• 亮度
• 色调(色相)
• 饱和度（纯度)。

色调和饱和度合起来称为色度。颜色可以用辉度和色度共同表示。

2.3.3人眼深度视觉特性

当观察外界物体时，除了能够知道物体的大小、形状.亮暗以及表面颜色以外，还能够产生远近的感觉。这种远近的感觉称为空间深度感觉，它无论是用单眼或者双眼观察时都能产生。但是双眼的深度感觉比单眼观察时强得多，也正确得多。

深度感觉的来源：

1. 当物体的高度已知时，根据它所对应的视角大小来判断它的远近。视角大则近，视角小则远;
2. 根据物体之间的遮蔽关系和日光的阴影也能判断物体之间的相对位置;
3. 根据对物体细节的鉴别程度和空气的透明度也能产生一定的深度感觉;
4. 根据眼睛调节的程度(即眼肌肉收缩的紧张程度)也能判定物体的远近。但是，只是对在2-3m以内的物体才能感觉出远近的差别。

2.3.4光源色对物体颜色的影响

光源所呈现的颜色为光源色。各种光源都有其特定的光谱能量分布，可以发出不同颜色的色光。光源色是影响物体颜色的重要因素。光源色的变化，势必影响物体的颜色。表现在以下几方面:

亮度的变化：例如白炽灯，亮度增大时，颜色趋向于白;亮度减弱时，颜色趋向于红。

距离的变化：光源与观察者距离的变化，会使光源色发生改变。如白炽灯光，随着距离的推远，其颜色由黄逐渐向橙、橙红、红色变化。

传播媒质的变化，环境色对物体颜色的影响。物体的基本颜色特征是固有色，但由于光源色与环境色的影响使物体表面的色彩丰富多变。在特定的光源与环境下物体呈现的颜色称为条件色。每一物体的颜色都是物体的固有色与条件色的综合体现。

2.3.5视觉与视知觉

视觉：从分子的角度来理解人对光反应的基本性质(如，光亮，颜色），主要涉及物理、化学。现在一般用于表述人主观心理的感觉。

知觉：一般指人对外界事物的直观感受，如第六感。这种感受可能与视觉感觉不一致。

视知觉：是光接受细胞受到刺激并将入射能量转化为电脉冲后大脑中产生的。是人眼最后成像的感觉。带有主观和客观的感知的复杂心理和生理的感受。

视觉生理和心理规律：

视觉调节力：

通过改变晶体的折射率，人眼可调节视距;依靠视细胞和瞳孔的调节，眼睛能适应非常宽的亮度范围，所能感受亮度上、下限之比为1000:1。

视觉暂留性：

光像一旦在视网膜上形成，视觉将会对这个光像的感觉维持一个有限的时间，这种生理现象叫做视觉暂留性。对于中等亮度的光刺激，视觉暂留时间约为0.05至0.2秒。视觉暂留性事实上是近代电影与电视的基础，光栅扫描技术、计算机动画设计也利用了视觉暂留性。该技术是影视产品的基础。

视觉锐度：

眼睛分辨景物细节的能力。人眼对彩色分辨率低于对亮度分辨率，而且对不同颜色构成的彩图细节的分辨率也不同。

亮度辨别力：

人眼在比较两个强弱不同亮度时，有较好的判断力，对亮度变化过程敏感。对于不同亮度的背景，人能察觉到的最小亮度差别也不同。人分辨亮度的能力与背景亮度伺大。

空间频率响应：

在人眼视力范围之内，对于图像上不同空间频率成分具有不同的灵敏度。实验表明人眼对中频响应较高，对高、低频的响应较低。

适应性及对比效应：

人眼通过自身的适应性调节，摄取视觉空间的信息及其变化状态。具体适应性规律表现在:明暗条件变化下的眼适应亮适应(即由暗到亮变化)时，几秒钟就能分辨出景象的明暗和颜色，其过程约在3分钟内达到稳定。

课堂讨论：

• 人眼视觉系统的几何特性。
• 人眼视觉系统的颜色特性。
• 人眼视觉系统的深度特性。
• 谈一谈视觉暂存特性与影视业的关系?

课件：

2.4非可见光成像原理

2.4.1什么是可见光与非可见光

可见光的波长范围为380nm~780nm，可见光波长由长到短分为红、橙、黄、绿、青、兰、紫光，在这个波长范围之外的光波，我们称为非可见光。我们常说的可见光成像一般是可见光+部分红外波段构成。

2.4.2红外成像原理及应用

1800年英国的天文学家William Herschel 用分光棱镜将太阳光分解成从红色到紫色的单色光，依次测量不同颜色光的热效应。他发现，当水银温度计移到红色光边界以外，人眼看不见任何光线的黑暗区的时候，温度反而比红光区更高。反复试验证明，在红光外侧，确实存在一种人眼看不见的“热线”，后称为“红外线”，也就是“红外辐射”。
自然界中一切温度高于绝对零度(-273°℃)的物体总在不断发射辐射能（红外线)。收集并探测出这些辐射能，通过重新排列来自探测器的、与景物辐射分布相对应的信号，形成热图像。

红外波段下有3个大气窗口:

• 1~3um(高温测温仪)：主要应用在高温目标和天文探测;
• 3~5um(中温测温仪)：适合在高温高湿地区，以及高空目标;
• 8~14um(低温测温仪)：适合观察地面目标。

红外成像原理及应用：

• 近红外成像技术的一个典型应用就是数字医疗，近红外能够穿透人体组织5-10毫米，血红蛋白对近红外吸收明显，恶性肿瘤吸收比正常腺体多，最重要的是没有辐射作用。
• 短波红外具有穿透功能，可进行畏光有毒液体检测和液位检测(对比可见光)
• 中波红外的探测波谱范围为3 ~ 5um，许多挥发性的有机化合物( VOCs)气体对中波红外有很好的吸收作用，所以在气体检测方面，中波红外有广泛的应用。
• 长波红外的探测波谱范围为8～14um，不受电磁干扰，忠实于温度，辐射穿透性强，受天气影响小。

2.4.3 X光成像原理及应用/非可见光成像原理及应用

X射线又称伦琴射线，它是肉眼看不见的一种射线，但可使某些化合物产生荧光或使照相底片感光;它在电场或磁场中不发生偏转，能发生反射、折射、干涉、衍射等;它具有穿透物质的本领，但对不同物质它的穿透本领不同;能使分子或原子电离;有破坏细胞作用，人体不同组织对于X射线的敏感度不同，受损害程度也不同。因此，X射线能使人体在荧屏上或胶片上形成影像，是基于人体组织有密度和厚度的差别。X射线在医学、安检、无损检测、工业探伤等领域中发挥了巨大作用。

X光穿透性：X线波长很短，具有很强的穿透力，能穿透一般可见光不能穿透的各种不同密度的物质，并在穿透过程中受到一定程度的吸收即衰减。X线的穿透力与X线管电压密切相关，电压愈高，所产生的X线的波长愈短，穿透力也愈强;反之，电压低，所产生的X线波长愈长，其穿透力也弱。另一方面，X线的穿透力还与被照体的密度和厚度相关。X线穿透性是X线成像的基础。

X光荧光效应：X线能激发荧光物质（如硫化锌镉及钨酸钙等)，使产生肉眼可见的荧光。即X线作用于荧光物质，使波长短的X线转换成波长长的荧光，这种转换叫做荧光效应。这个特性是进行透视检查的基础。

X光摄影效应：涂有溴化银的胶片，经X线照射后，可以感光，产生潜影，经显、定影处理，感光的溴化银中的银离子(Ag+)被还原成金属银(Ag)，并沉淀于胶片的胶膜内。此金属银的微粒，在胶片上呈黑色。而未感光的溴化银，在定影及冲洗过程中，从X线胶片上被洗掉，因而显出胶片片基的透明本色。依金属银沉淀的多少，便产生了黑和白的影像。所以，摄影效应是X线成像的基础。

电离效应：X线通过任何物质都可产生电离效应。空气的电离程度与空气所吸收X线的量成正比，因而通过测量空气电离的程度可计算出X线的量。X线进入人体，也产生电离作用，使人体产生生物学方面的改变，即生物效应。它是放射防护学和放射治疗学的基础。

X线成像原理：X线经人体高密度组织（如骨骼）或高厚度组织后，衰减多，剩余的X线量少，胶片上显示色白;X线经人体低密度组织（如气管、肺、脂肪）或低厚度组织后，衰减少，剩余的X线量多，胶片上显示色黑;X线经人体中密度组织（如肌肉、软骨）或中厚度组织后，衰减中等，剩余的X线量中等，胶片上显示色灰;

微波成像是指以微波作为信息载体的一种成像手段，实质属于电磁逆散射问题。由于它既用被成像目标散射的幅度信息，也用它的相位信息，因此也称为微波全息成像。其原理是用微波照射被测物体，然后通过物体外部散射场的测量值来重构物体的形状或(复）介电常数分布。

SAR成像是分辨率较高的相干成像雷达系统通过天线给物体发射能量，同时也通过SAR接收能量，全部的能量都通过电子设备记录下来，最后形成SAR图像。SAR传感器基本属于微波频段，波长通常在厘米级。

SAR (Synthetic Aperture Radar)，即合成孔径雷达，是一种主动式的对地观测系统。可安装在飞机、卫星、宇宙飞船等飞行平台上，全天时、全天候对地实施观测、并具有一定的地表穿透能力。因此，SAR系统在灾害监测、环境监测、海洋监测、资源勘查、农作物估产、测绘和军事等方面的应用上具有独特的优势。

课堂讨论：

• 不同非可见光成像的特点。
• 非可见光成像与可见光成像的区别。
• 谈─谈非可见光的应用领域。

课件：