竞争型学习是神经网络中一种常用的无监督学习策略，在使用该策略时，网络的输出神经元相互竞争，每一时刻仅有一个竞争获胜的神经元被激活，其他神经元的状态被抑制，这种机制亦称为“胜者通吃”原则。ART（Adaptive Resonance Theory，自适应谐振理论）网络是竞争型学习的重要代表。该网络由比较层、识别层、识别阈值和重置模块构成。其中，比较层负责接收输入样本，并将其传递给识别层；识别层每个神

感知机（Perception）是由两层神经元组成。输入层接收外界输入信号后传递给输出层，输出层是M-P神经元，亦称之为“阈值逻辑单元”，如下图所示。图 两个输入神经元的感知机网络结构示意图感知机能很容易的实现逻辑与、或、非运算（只考虑0和1的取值）。注意到,假设f是跃阶函数，有“与”（）：令，则，仅在时，y=1。“或”（）:令，则，仅在或时，y=1。"非"（），令，则，仅在时，y=0;当时，y=1

SOM（Self-Organizing Map,自组织映射）网络也是一种竞争学习型的无监督神经网络。它能将高维数据映射到低维空间（通常为二维），同时保持输入数据在高维空间的拓扑结构，即将高维数据中相似的样本点映射到网络输出层中的邻近神经元。SOM网络结构为：输入层神经元的数量是由输入向量的维度决定的，一个神经元对应一个特征。SOM网络结构的区别主要在竞争层：可以有1维、2维（最常见）。竞争层也可以

一、多层前馈神经网络要解决非线性可分问题，需考虑使用多层功能神经元。输入层和输出层之间的一层神经元，被称为隐层或隐含层（hidden layer）。隐含层和输出层神经元都是拥有激活函数的功能神经元。更一般的，常见的神经网络如下图所示的层级结构：图1 多层前馈神经网络结构示意图每层神经元与下一层神经元全互连，神经元之间不存在同层连接，也不存在跨层连接。这样的神经网络结构通常称为“多层前馈神经网络”（

除了上节的布里尔分数外，另一种常用的概率损失衡量是对数损失（log_loss），又叫做对数似然、逻辑损失或者交叉熵损失，它是多元逻辑回归以及一些拓展算法（比如神经网络）中使用的损失函数。它被定义为，对于一个给定的概率分类器，在预测概率为条件的情况下，真实概率发生的可能性的负对数。由于是损失，因此对数似然函数的取值越小，则证明概率估计越准确，模型越理想。需要注意的是，对数损失只能用于评估分类型模型。

一、预测概率直方图我们可以通过绘制直方图来查看模型的预测概率的分布。直方图以样本的预测概率分箱后的结果为横坐标，每个箱中的样本数量为纵坐标绘制一个图像。具体代码实现为：from sklearn.datasets import load_breast_cancerfrom sklearn.model_selection import train_test_splitfrom sklearn.naiv

什么是混淆矩阵？其实就是把所有类别的预测结果与真实结果按类别放置到了同一个表里，在这个表里我们可以清楚地看到每个类别正确识别的数量和错误识别的数量。混淆矩阵在什么情况下最好呢？答案是类别不平衡时。混淆矩阵是除了ROC曲线和AUC之外的另一个判别分类好坏程度的方法。TP=True Positive=真阳性（真实为0，预测为0，即将正类预测为正类）FP=False Positive=假阳性（真实为1，

性能度量——外部指标Jaccard系统，FM指数，Rand指数；内部指标：DB指数，Dunn指数

传统的RNN模型、RNN前向传播算法、RNN反向传播算法

感知机（Perception）是由两层神经元组成。输入层接收外界输入信号后传递给输出层，输出层是M-P神经元，亦称之为“阈值逻辑单元”，如下图所示。图 两个输入神经元的感知机网络结构示意图感知机能很容易的实现逻辑与、或、非运算（只考虑0和1的取值）。注意到,假设f是跃阶函数，有“与”（）：令，则，仅在时，y=1。“或”（）:令，则，仅在或时，y=1。"非"（），令，则，仅在时，y=0;当时，y=1