除了上节的布里尔分数外，另一种常用的概率损失衡量是对数损失（log_loss），又叫做对数似然、逻辑损失或者交叉熵损失，它是多元逻辑回归以及一些拓展算法（比如神经网络）中使用的损失函数。它被定义为，对于一个给定的概率分类器，在预测概率为条件的情况下，真实概率发生的可能性的负对数。由于是损失，因此对数似然函数的取值越小，则证明概率估计越准确，模型越理想。需要注意的是，对数损失只能用于评估分类型模型。

一、预测概率直方图我们可以通过绘制直方图来查看模型的预测概率的分布。直方图以样本的预测概率分箱后的结果为横坐标，每个箱中的样本数量为纵坐标绘制一个图像。具体代码实现为：from sklearn.datasets import load_breast_cancerfrom sklearn.model_selection import train_test_splitfrom sklearn.naiv

什么是混淆矩阵？其实就是把所有类别的预测结果与真实结果按类别放置到了同一个表里，在这个表里我们可以清楚地看到每个类别正确识别的数量和错误识别的数量。混淆矩阵在什么情况下最好呢？答案是类别不平衡时。混淆矩阵是除了ROC曲线和AUC之外的另一个判别分类好坏程度的方法。TP=True Positive=真阳性（真实为0，预测为0，即将正类预测为正类）FP=False Positive=假阳性（真实为1，

性能度量——外部指标Jaccard系统，FM指数，Rand指数；内部指标：DB指数，Dunn指数

传统的RNN模型、RNN前向传播算法、RNN反向传播算法

感知机（Perception）是由两层神经元组成。输入层接收外界输入信号后传递给输出层，输出层是M-P神经元，亦称之为“阈值逻辑单元”，如下图所示。图 两个输入神经元的感知机网络结构示意图感知机能很容易的实现逻辑与、或、非运算（只考虑0和1的取值）。注意到,假设f是跃阶函数，有“与”（）：令，则，仅在时，y=1。“或”（）:令，则，仅在或时，y=1。"非"（），令，则，仅在时，y=0;当时，y=1

SOM（Self-Organizing Map,自组织映射）网络也是一种竞争学习型的无监督神经网络。它能将高维数据映射到低维空间（通常为二维），同时保持输入数据在高维空间的拓扑结构，即将高维数据中相似的样本点映射到网络输出层中的邻近神经元。SOM网络结构为：输入层神经元的数量是由输入向量的维度决定的，一个神经元对应一个特征。SOM网络结构的区别主要在竞争层：可以有1维、2维（最常见）。竞争层也可以

回顾召回率、准确率，并简单介绍实体抽取。

朴素贝叶斯公式为：在贝叶斯中，P(x)是先验概率，一般很容易求得。所以需要重点求解贝叶斯概率公式中的分子。但是，在现实中，要求解也会有各种各样的问题。我们可能面临的特征非常多，这需要极多的计算资源。也有可能出现某一个概率为0的情况，分子就会为0，这种情况下的概率会导致整个概率的估计为0。求解连续型变量的概率，需要引入各种概率论中的数字分布，使用各种分布下的概率密度曲线来估计一个概率。其中涉及的数学

为了降低贝叶斯公式中估计后验概率的困难，朴素贝叶斯分类器采用了属性条件独立性假设，但在现实任务中这个假设往往很难成立。于是，人们尝试对属性条件独立性假设进行一定程度的放松，由此产生了一类称为“半朴素贝叶斯分类器”的学习方法。半朴素分类器的基本思想是适当考虑一部分属性间的相互依赖信息，从而既不需进行完全联合概率计算，又不至于彻底忽略了比较强的属性依赖关系。“独依赖估计”（One-Dependent