激活函数激活函数 fANf_{AN}fAN​ 接收节点输入信号和偏差，以 x=net−θx=net-\thetax=net−θ 表示，决定输出。一个好的激活函数需要满足以下条件：（1）非线性，即导数不是常数，其目的在于保证多重网络不退化成单层线性网络；（2）几乎处处可微：可微性保证了再梯度优化中梯度的可计算性；（3）计算简单：激活函数在神经网络前向传播过程中的使用次数与神经元的个数成正比，因此保证

1. 传统优化问题大多数深度学习算法都涉及某种形式的优化。优化指的是改变 xxx 以最小化或最大化某个函数 f(x)f(x)f(x) 的任务。通常以最小化 f(x)f(x)f(x) 指代大多数最优化问题。最大化可经由最小化算法最小化 −f(x)- f(x)−f(x) 来实现。通常，把要最小化或最大化的函数 f(x)f(x)f(x) 称为 目标函数（objective function）、代价函数（

基本定义卷积神经网络(convolutional neural network, CNN)，是一类包含卷积计算且具有深度结构的前馈神经网络。卷积神经网络是受生物学上感受野（Receptive Field）的机制而提出的。卷积神经网络专门用来处理具有类似网格结构的数据的神经网络。例如，时间序列数据（可以认为是在时间轴上有规律地采样形成的一维网格） 和图像数据（可以看作是二维的像素网格）。1.卷积层（

遗传算法（Genetic Algorithms，GA）遗传算法（Genetic Algorithm，GA）最早是由美国的 John holland于20世纪70年代提出,该算法是根据大自然中生物体进化规律而设计提出的。是模拟达尔文生物进化论的自然选择和遗传学机理的生物进化过程的计算模型，是一种通过模拟自然进化过程搜索最优解的方法。通常将实际问题的参数编码为二进制串进行遗传操作，从而搜寻最优解。将每

特征表达特征特征是机器学习系统的原材料，对最终模型的影响是毋庸置疑的；如果数据被很好地表达成了特征，通常线性模型就能达到满意的精度。关于特征，需要考虑以下三方面：（1）特征表示的粒度需要考虑，模型在一个什么程度上的特征表示，才能发挥效果？以图片为例，像素级的特征完全没有价值，从中得不到任何可用于分类或识别的信息。当特征具有结构性（有意义）的时候，算法才能起作用，即将输入空间通过某种规则映射到特征空

进化规划（Evolutionary programming，EP）EP同GA的不同之处在于，EP的种群进化集中于自上而下的适应性行为，它 的重点是开发行为模型，即可观测系统与环境交互的模型。自然进化理论对EP的原理和范式有着重要影响。EP源于对进化的适应性行为的模拟描述，而GA源于对基因的模拟；GA是在信息编码的基因空间起作用，而EP却强调可观测行为的表现型空间，因此，EP直接利用表现型行为进化来

基本概念一般的神经网络(BP以及CNN)只对预先确定的大小起作用：它们接受固定大小的输入并产生固定大小的输出。它们的输出都是只考虑前一个输入的影响而不考虑其它时刻输入的影响, 比如简单的猫,狗,手写数字等单个物体的识别具有较好的效果。但是, 对于一些与时间先后有关的, 比如视频的下一时刻的预测,文档前后文内容的预测等, 这些算法的表现就不尽如人意了。循环神经网络 (Recurrent Neural

神经网络的概念在此不做过多阐述，其应用领域包括：分类——即预测输入向量的类别；模式匹配——即产生与给定输入向量最佳关联的模式；模式完成——其目的是完成给定输入向量的缺失部分；优化——即找到优化问题中参数的最优值；控制——给定一个输入向量，得到建议的合适行为；函数拟合 / 时间序列模型——学习输入与输出之间的函数关系；数据挖掘——挖掘数据背后的模式（信息）.....................一

遗传规划（Genetic Programming，GP）其他的进化算法（如，GA、ES、EP）都是将的单个结构（参数）定义为一个串（二进制串或实数串），但GP是将计算机程序以树结构表示，从而进行处理，每个染色体代表一个程序（树结构）。此外，其他进化算法的个体结构都是固定长度的，但通过GP进化的程序在大小、形状和复杂度上都是不同的。GP可以看做是遗传算法GA在执行程序进化时的特例，但它和一般的GA算

进化规划（Evolutionary programming，EP）EP同GA的不同之处在于，EP的种群进化集中于自上而下的适应性行为，它 的重点是开发行为模型，即可观测系统与环境交互的模型。自然进化理论对EP的原理和范式有着重要影响。EP源于对进化的适应性行为的模拟描述，而GA源于对基因的模拟；GA是在信息编码的基因空间起作用，而EP却强调可观测行为的表现型空间，因此，EP直接利用表现型行为进化来