1. 传统优化问题大多数深度学习算法都涉及某种形式的优化。优化指的是改变 xxx 以最小化或最大化某个函数 f(x)f(x)f(x) 的任务。通常以最小化 f(x)f(x)f(x) 指代大多数最优化问题。最大化可经由最小化算法最小化 −f(x)- f(x)−f(x) 来实现。通常，把要最小化或最大化的函数 f(x)f(x)f(x) 称为 目标函数（objective function）、代价函数（

激活函数激活函数 fANf_{AN}fAN​ 接收节点输入信号和偏差，以 x=net−θx=net-\thetax=net−θ 表示，决定输出。一个好的激活函数需要满足以下条件：（1）非线性，即导数不是常数，其目的在于保证多重网络不退化成单层线性网络；（2）几乎处处可微：可微性保证了再梯度优化中梯度的可计算性；（3）计算简单：激活函数在神经网络前向传播过程中的使用次数与神经元的个数成正比，因此保证

神经网络的概念在此不做过多阐述，其应用领域包括：分类——即预测输入向量的类别；模式匹配——即产生与给定输入向量最佳关联的模式；模式完成——其目的是完成给定输入向量的缺失部分；优化——即找到优化问题中参数的最优值；控制——给定一个输入向量，得到建议的合适行为；函数拟合 / 时间序列模型——学习输入与输出之间的函数关系；数据挖掘——挖掘数据背后的模式（信息）.....................一

基本定义卷积神经网络(convolutional neural network, CNN)，是一类包含卷积计算且具有深度结构的前馈神经网络。卷积神经网络是受生物学上感受野（Receptive Field）的机制而提出的。卷积神经网络专门用来处理具有类似网格结构的数据的神经网络。例如，时间序列数据（可以认为是在时间轴上有规律地采样形成的一维网格） 和图像数据（可以看作是二维的像素网格）。1.卷积层（

单一的神经元能够学习的函数是有限的，仅仅能学习线性可分的很熟；当学习非线性的复杂函数时，就要用到神经网络。同一层的神经元在两方面是相同：（一）同一层中的神经元连接着相同的源头，即他们的接收的信息是相同的；（二）同一层中的神经元有着相同的动态更新机制。即同一层中的神经元有着相同的连接源头、目的和相同的激活函数。一个神经网络中有两种权重：层内权重(intralayer  weights)(intral

神经网络的概念在此不做过多阐述，其应用领域包括：分类——即预测输入向量的类别；模式匹配——即产生与给定输入向量最佳关联的模式；模式完成——其目的是完成给定输入向量的缺失部分；优化——即找到优化问题中参数的最优值；控制——给定一个输入向量，得到建议的合适行为；函数拟合 / 时间序列模型——学习输入与输出之间的函数关系；数据挖掘——挖掘数据背后的模式（信息）.....................一

基本定义卷积神经网络(convolutional neural network, CNN)，是一类包含卷积计算且具有深度结构的前馈神经网络。卷积神经网络是受生物学上感受野（Receptive Field）的机制而提出的。卷积神经网络专门用来处理具有类似网格结构的数据的神经网络。例如，时间序列数据（可以认为是在时间轴上有规律地采样形成的一维网格） 和图像数据（可以看作是二维的像素网格）。1.卷积层（

遗传规划（Genetic Programming，GP）其他的进化算法（如，GA、ES、EP）都是将的单个结构（参数）定义为一个串（二进制串或实数串），但GP是将计算机程序以树结构表示，从而进行处理，每个染色体代表一个程序（树结构）。此外，其他进化算法的个体结构都是固定长度的，但通过GP进化的程序在大小、形状和复杂度上都是不同的。GP可以看做是遗传算法GA在执行程序进化时的特例，但它和一般的GA算

进化规划（Evolutionary programming，EP）EP同GA的不同之处在于，EP的种群进化集中于自上而下的适应性行为，它 的重点是开发行为模型，即可观测系统与环境交互的模型。自然进化理论对EP的原理和范式有着重要影响。EP源于对进化的适应性行为的模拟描述，而GA源于对基因的模拟；GA是在信息编码的基因空间起作用，而EP却强调可观测行为的表现型空间，因此，EP直接利用表现型行为进化来

进化计算（Evolutionary Computation， EC）传统优化方法利用确定性的规则（如，求导）进行优秀解的搜寻，容易达到局部最优；而EC算法利用一个分布在解空间各处的点群进行搜索，每一代都会产生新的点，这些不同的点的搜索可以搜寻更大的空间，降低了陷入局部最优的可能性，而交叉、变异这些遗传操作有效提升了并行搜索能力，使得搜索点可以直接从一个高位空间区域跳转到另一个区域。事实上，EC使用