信息熵　　信息量和信息熵的概念最早是出现在通信理论中的，其概念最早是由信息论鼻祖香农在其经典著作《A Mathematical Theory of Communication》中提出的。如今，这些概念不仅仅是通信领域中的基础概念，也被广泛的应用到了其他的领域中，比如机器学习。　　信息量用来度量一个信息的多少。和人们主观认识的信息的多少有些不同，这里信息的多少用信息的在一个语境中出现的...

虚拟对抗损失：一种对给定输入的条件标签分布的局部平滑度的新度量方法。模型对于输入的微小改变，它的输出不应该有很大的变动，对于小扰动有大的输出波动的模型会导致这个损失函数变大。通常过拟合的时候，会出现这种现象，所以可以把VAT看做是一种正则化的方法。虚拟对抗训练就是要找一个使输出偏差最大的扰动方向，在这个方向上对输入产生扰动，再用于训练模型，使模型的局部平滑度增强。以上公式展示了...

信息熵　　信息量和信息熵的概念最早是出现在通信理论中的，其概念最早是由信息论鼻祖香农在其经典著作《A Mathematical Theory of Communication》中提出的。如今，这些概念不仅仅是通信领域中的基础概念，也被广泛的应用到了其他的领域中，比如机器学习。　　信息量用来度量一个信息的多少。和人们主观认识的信息的多少有些不同，这里信息的多少用信息的在一个语境中出现的...

　　ADMM(Alternating Direction Method of Multipliers，交替方向乘子法)是一种优化算法，主要用于解决分布式、大规模和非光滑的凸优化问题。ADMM通过将原始问题分解为多个易于处理的子问题来实现优化。它结合了两种经典优化方法：梯度下降法(gradient descent)和拉格朗日乘子法(Lagrangian multiplier method)。AD..

　　找张量积概念的时候，被各种野路子博客引入的各种“积”搞混了，下面仅以Wikipedia为标准记录各种积的概念。点积(Dot product)　　https://en.wikipedia.org/wiki/Dot_product　　在数学中，点积(Dot product)或标量积(scalar product)是一种代数运算，它取两个相等长度的数字序列(通常是坐标向量)，并返回一个数字。...

　　Tensorboard是TF自带的可视化工具。它可以让我们从各个角度观察与修改模型，比如观察模型在训练时的loss动态变化曲线而无需在迭代完毕后再画图、绘制神经网络的结构图、调节超参数等。下面以最简单的形式展示tensorboard的常用功能。开启tensorboard　　打开命令行输入tensorboard --logdir logs　　然后回车。前两个参数固定，第三个...

安装虚拟机最开始先安装虚拟机，我是12.5.7版本，如果要跟着我做的话，版本最好和我一致，不然后面可能会出一些莫名其妙的错误，下载链接如下（注册码也在里面了）：链接：https://pan.baidu.com/s/1qoqeKcgMsjFKPFQFBFP6lg提取码：2aog安装虚拟机直接下一步、下一步就好了，没什么可说的，安装好后，虚拟机询问是否更新，点不更新，更新了就改版本了...

MemNN 记忆网络　　一般的神经网络是训练好参数后，直接用参数与样本进行计算得出结果，而不会与内存进行交互的，就像一个参变量很多的函数。对于要处理一些很复杂的自然语言，或者要进行人机交互的模型，仅仅靠模型内部参数与参数之间的联结计算是很难达到目的。因此，在处理自然语言等内部概念十分密集的样本，并且可能有后续交互时，允许模型处理时进行内存的读写，就可以把样本有用的“抽象”存在分配给它的...

安装虚拟机最开始先安装虚拟机，我是12.5.7版本，如果要跟着我做的话，版本最好和我一致，不然后面可能会出一些莫名其妙的错误，下载链接如下（注册码也在里面了）：链接：https://pan.baidu.com/s/1qoqeKcgMsjFKPFQFBFP6lg提取码：2aog安装虚拟机直接下一步、下一步就好了，没什么可说的，安装好后，虚拟机询问是否更新，点不更新，更新了就改版本了...