一、什么是梯度消失和梯度爆炸1. 梯度消失(gradient vanishing problem)我们知道神经网络在进行反向传播(BP)的时候会对参数W进行更新，梯度消失就是靠后面网络层(如layer3)能够正常的得到一个合理的偏导数，但是靠近输入层的网络层，计算的到的偏导数近乎零，W几乎无法得到更新。2. 梯度爆炸(gradient exploding problem)梯度爆炸的意思是，靠近输入

一、损失函数和风险函数的区别理论上模型f(X)关于联合分布P(X,Y)的平均意义下的损失，称之为风险函数(risk function)或期望损失(expected loss).一句话总结就是：损失函数的平均为风险函数二、经验风险、期望风险、结构风险1. 经验风险 empirical risk经验风险就是模型f(X)在训练数据集上的平均损失(损失函数的值)，也称之为经验损失。为什么叫经验风险呢？提供

贝叶斯网络

一、MPI简介1.什么是MPIMassage Passing Interface:是消息传递函数库的标准规范，由MPI论坛开发。一种新的库描述，不是一种语言。共有上百个函数调用接口，提供与C和Fortran语言的绑定MPI是一种标准或规范的代表，而不是特指某一个对它的具体实现MPI是一种消息传递编程模型，并成为这种编程模型的代表和事实上的标准2.MPI的特点MPI有以下的特点：消息传递式并行程序设

贪婪最佳优先搜索该算法（greedy best-first search）试图拓展距离目标最近的结点。完备性：不完备的（也就是说不一定能找到问题的解）算法复杂度：（1）时间复杂度：O(bm)O(b^m)O(bm)（2）空间复杂度：O(bm)O(b^m)O(bm)其中，b是邻居节点的最大数量，m是搜索空间的最大深度。2. A*搜索（1）启发式函数f(n) = g(n) +h(n)g(n)是从开始结点

classsklearn.preprocessing.LabelBinarizer(neg_label=0,pos_label=1,sparse_output=False)fit(self,y)设定或者初始化二进制分类器fit_transform(self,y)设定或者初始化二进制分类器并开始对y进行转换...

一、什么是梯度消失和梯度爆炸1. 梯度消失(gradient vanishing problem)我们知道神经网络在进行反向传播(BP)的时候会对参数W进行更新，梯度消失就是靠后面网络层(如layer3)能够正常的得到一个合理的偏导数，但是靠近输入层的网络层，计算的到的偏导数近乎零，W几乎无法得到更新。2. 梯度爆炸(gradient exploding problem)梯度爆炸的意思是，靠近输入

一、关于PEP 249PEP的全称是Python Enhancement Proposals，其中Enhancement是增强改进的意思，Proposals则可译为提案或建议书，所以合起来，比较常见的翻译是Python增强提案或Python改进建议书。在数据库这方面python有PEP 249 -- Python Database API Specification v2.0，...

HMM, MEMM, CRF

EM算法可以说是一个非常经典的算法，至今仍在广泛地被使用（如强化学习领域）EM算法要解决的问题EM 算法（全称为Expectation-Maximization algorithm）是一种对含有隐变量的问题的极大似然估计算法。参数估计方法可以参考 抽样分布和参数估计(极大似然估计)。准确来说，...