感知机（Perception）是由两层神经元组成。输入层接收外界输入信号后传递给输出层，输出层是M-P神经元，亦称之为“阈值逻辑单元”，如下图所示。图 两个输入神经元的感知机网络结构示意图感知机能很容易的实现逻辑与、或、非运算（只考虑0和1的取值）。注意到,假设f是跃阶函数，有“与”（）：令，则，仅在时，y=1。“或”（）:令，则，仅在或时，y=1。"非"（），令，则，仅在时，y=0;当时，y=1

回顾召回率、准确率，并简单介绍实体抽取。

前面的文章中我们一直假定训练样本在样本空间或特征空间中是线性可分的，即存在一个超平面能将不同类的样本完全划分开。然而，在现实任务中往往很难确定合适的核函数使得训练样本在特征空间中线性可分。退一步说，即使恰好找到了某个核函数使训练样本在特征空间中线性可分，也很难判定这个貌似线性可分的结果不是由于过拟合造成的。缓解该问题的方法就是要引入“软间隔”概念，即允许支持向量机在一些样本上出错。在机器学习算法—

句子相似度表示：欧式距离，余弦相似度、TF_IDF、word2vec

LeNet由卷积层块和全连接层块组成。卷积层块里的基本单位是卷积层后接最大池化层。卷积层用来识别图像里的空间模式，如线条和物体局部，之后的最大池化层用来降低卷积层对位置的敏感性。卷积层块由两个这样的基本单位重复堆叠构成。卷积层块的输出形状为（批量大小，通道，高，宽）。全连接层块会将小批量中每个样本变平，也就是说，全连接层的输入形状将变成二维，其中第一维是小批量中的样本，第二维是每个样本变平后的向量

神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。神经网络中最基本的成分是神经元（neuron）模型。即上述定义中的“简单单元”。在生物神经网络中，每个神经元与其他申请元相连，当它“兴奋”时，就会向相连的神经元发送化学物质，从而改变这些神经元内的电位；如果某神经元的电位超过一个“阈值”，那么它就会被激活，即“兴奋”起来，向其他神经

HMM的三大要素和三大假设

在机器学习算法——贝叶斯分类器1（贝叶斯决策论）_Vicky_xiduoduo的博客-CSDN博客中讲到，求后验概率P(c|x)，有两种策略，一种是判别式模型，一种是生成式模型，其中P(x|c)是样本x相对于类标记c的类条件概率或称为“似然”。 似然P(x|c)，由于涉及关于x所有属性的联合概率，直接根据样本出现的频率来估计会遇到严重的困难。所以估计类条件概率一般常用得策略是先假定其具有某种确定得

朴素贝叶斯公式为：在贝叶斯中，P(x)是先验概率，一般很容易求得。所以需要重点求解贝叶斯概率公式中的分子。但是，在现实中，要求解也会有各种各样的问题。我们可能面临的特征非常多，这需要极多的计算资源。也有可能出现某一个概率为0的情况，分子就会为0，这种情况下的概率会导致整个概率的估计为0。求解连续型变量的概率，需要引入各种概率论中的数字分布，使用各种分布下的概率密度曲线来估计一个概率。其中涉及的数学

在前面的讨论中，我们一直假设训练样本所有属性变量的值都已被观测到，即训练样本是“完整”的，但在实际应用中往往会遇到“不完整”的训练样本，例如由于西瓜的根蒂已脱落，无法看出是“蜷缩”还是“硬挺”，则训练样本的“根蒂”属性变量值未知。这种存在“未观测”变量的情形下，是否仍能对模型参数进行估计呢？未观测变量的学名是“隐变量”，令X表示已观测变量集，Z表示隐变量集，表示模型参数。若对做极大似然估计，则应最