因为最近看论文发现同一个模型用了不同的注意力机制计算方法，因此懵了好久，原来注意力机制也是多种多样的，为了以后方便看懂人家的注意力机制，还是要总结总结。

神经网络的学习的目的是找到使损失函数的值尽可能小的参数。这是寻找最优参数的问题，解决这个问题的过程称为最优化（optimization）。遗憾的是，神经网络的最优化问题非常难。这是因为参数空间非常复杂，无法轻易找到最优解（无法使用那种通过解数学式一下子就求得最小值的方法）。而且，在深度神经网络中，参数的数量非常庞大，导致最优化问题更加复杂。优化器的角色就是用来更新模型参数的方法，例如SGD、Ada

因为最近看论文发现同一个模型用了不同的注意力机制计算方法，因此懵了好久，原来注意力机制也是多种多样的，为了以后方便看懂人家的注意力机制，还是要总结总结。

遗传算法文章目录遗传算法前言一、遗传算法是什么？二、实例讲解例题11.初始化种群2.优胜劣汰3.根据优胜劣汰的结果，交配生殖、变异5.生物遗传进化例题21.初始化参数1.定义环境（定义目标函数）2.DNA解码（计算x，y）3 .初始化种群（初始化解，考虑定义域）4 .计算适应度（计算误差，考虑定义域）4 .适者生存（挑选误差最小的答案）5 .生殖、变异（更改部分二进制位，取反部分二进制位，可能生成

django的一些基础操作操作应该到此也差不多了，模型层就是和数据库打交道的一层，也是比较关键的一层，也是遇到bug的一层，因为数据库版本和django版本不匹配会导致连接不上，那么就失去django的精华了，没有后端的操作，那就是在耍流氓了。好在，CSDN上教程很多，我成功重装数据库然后就连上了。本文是接着Django框架之URL反向解析、静态文件配置以及应用的创建继续讲的，因此有些基本的配置就

python的re库的一些用法和理解1 re.sub()2 re.findall()3 re.compile()1 re.sub()这个函数可以用来替换字符串中的制定字符# coding: utf-8import retexts = "dawdada"text1 = re.sub('a', "%", texts)text2 = re.sub('d', "", text1)print(text1)p

神经网络的学习的目的是找到使损失函数的值尽可能小的参数。这是寻找最优参数的问题，解决这个问题的过程称为最优化（optimization）。遗憾的是，神经网络的最优化问题非常难。这是因为参数空间非常复杂，无法轻易找到最优解（无法使用那种通过解数学式一下子就求得最小值的方法）。而且，在深度神经网络中，参数的数量非常庞大，导致最优化问题更加复杂。优化器的角色就是用来更新模型参数的方法，例如SGD、Ada

2018年的10月11日，Google发布的论文《Pre-training of Deep Bidirectional Transformers for Language Understanding》，成功在 11 项 NLP 任务中取得 state of the art 的结果，赢得自然语言处理学界的一片赞誉之声。目前大多数NLP任务研究中，会调用bert预训练模型，大量实验证明，bert的实验

（2）如果属性划分次数达到上限，即属性划分完了，或者是样本中在此类属性取值都一样，可以认为全部划分仍然存在不同类的样本，那么这个节点就标记为类别数占较多的叶节点。划分选择还是比较重要的，因为不同的划分选择会建出不同的决策树。划分选择的指标就是希望叶节点的数据尽可能都是属于同一类，即节点的“纯度”越来越高。当前样本此特征的信息增益 = 当前样本的信息熵 - 加权求和的同特征值的样本的信息熵。可见纹理

假设有这么个简单的神经网络结构。这篇文章可以说是机器学习之神经网络的公式推导与python代码（手写+pytorch）实现补充。那么这个网络用pytorch如何实现呢？其中w1就相当于vij的系数矩阵w2就相当于wjk的系数矩阵然后forward就是进行正向传播计算。反向传播的话就是后面计算出损失后，调用backward一句话就好了。应该比手写简介且好理解吧。