BERT出自的全称是Bidirectional Encoder Representation from Transformers，即双向Transformer的Encoder。作为一个Word2Vec的替代者，其在NLP领域的11个方向大幅刷新了精度，可以说是近年来自残差网络最优突破性的一项技术了。模型的主要创新点都在pre-train方法上，即用了Masked LM和Next Sentence

Transformers 库是一个开源库，其提供的所有预训练模型都是基于 transformer 模型结构的。Transformers 库支持三个最流行的深度学习库（PyTorch、TensorFlow 和 JAX）。我们可以使用 Transformers 库提供的 API 轻松下载和训练最先进的预训练模型。使用预训练模型可以降低计算成本，以及节省从头开始训练模型的时间。这些模型可用于不同模态的任

http://blog.csdn.net/pipisorry/article/details/47185795python常用模块uuid/hmac/hashlib生成唯一ID在有些情况下你需要生成一个唯一的字符串。我看到很多人使用md5()函数来达到此目的，但它确实不是以此为目的。uuid是基于Python实现的UUID库，它实现了UUID标注的1，3,4和5版本，在确保唯一性上真的非常方便。

http://blog.csdn.net/pipisorry/article/details/21841883断言断言是一句必须等价于布尔真的判定;此外,发生异常也意味着表达式为假.这些工作类似于 C 语言预处理器中 assert 宏,但在 Python 中它们在运行时构建(与之相对的是编译期判别).如果你刚刚接触断言这个概念,无妨.断言可以简简单单的想象为 raise-if 语句(更准...

注意机制最早由Bahdanau等人于2014年提出（统计机器翻译中的对齐过程[NEURAL MACHINE TRANSLATION BY JOINTLY。

几种RNNs并不能很好的处理较长的序列。一个主要的原因是，RNN在训练中很容易发生梯度爆炸和梯度消失，这导致训练时梯度不能在较长序列中一直传递下去，从而使RNN无法捕捉到长距离的影响。

http://blog.csdn.net/pipisorry/article/details/45079751上篇：Django项目实践3 - Django模型Introduction对于某一类网站， 管理界面 是基础设施中非常重要的一部分。 这是以网页和有限的可信任管理者为基础的界面，它可以让你添加，编辑和删除网站内容。常见的例子： 你可以用这个界面发布博客，后台的网

http://blog.csdn.net/pipisorry/article/details/52241141本blog主要内容有：矩阵的奇异性、条件数与病态矩阵、矩阵求逆。奇异矩阵和非奇异矩阵singular matrix&nonsingular matrix概念和定义若n阶矩阵A的行列式不为零，即 |A|≠0，则称A为非奇异矩阵或满秩矩阵，否则称A为奇异矩阵或降秩矩阵。奇异矩阵是线性代数的概念

http://blog.csdn.net/pipisorry/article/details/43277755Linear Algebra(scipy.linalg) scipy线性代数库简介When SciPy is built using the optimized ATLAS LAPACK and BLAS libraries, it has very fast linear

http://blog.csdn.net/pipisorry/article/details/40008005Matplotlib mplot3d 工具包简介The mplot3d toolkit adds simple 3D plotting capabilities to matplotlib by supplying an axes object that can create a 2D p