Hugging Face--MLM预训练掩码语言模型方法

问题情况：先说一下出现这个的原因吧：这是由于当前安装的JDK的版本过高引起的，很多人说用JDK1.8就好，1.8以上的版本就不能用了，我实测了一下，1.6在我这里不行哈，按说是可以的，那我只能用了1.8，实测1.8成功有效的运行了项目；Java jdk 1.8版本安装包我就是用的上面这位博主的JDK，感谢！！！下面这个是我的JDK，两个是一样的，大家随便用。链接: https://p...

前阵子将自己准备好的项目，打包成war上传到服务器，出现了中文乱码问题，导致后端查询数据库查不到；解决乱码有三个地方需要解决一下，首先是前端window.decodeURIComponent(对应的变量)这一步可以讲URL编码的数据转成中文其次就是在后端：str = new String(str.getBytes("ISO8859_1"),"utf-8");然后就是配置你web服务器了，我是用的T

长尾分布在分类任务中会提到这个名,这是因为长尾分布这个现象问题会导致在训练过程中会出现出错率高的问题，影响了实验结果。这里要说的是，长尾分布是一种现象，有的地方说是一种理论或定律，我感觉这样说不太确切，因为长尾分布并非是一种普遍现象，不能将所有的数据分布或者现象都强加于长尾分布这个概念上。

那么假设有两个向量：a=[a1a2a3];b=[b1b2b3]a=\left[\begin{array}{c}a_1\\a_2\\a_3\end{array}\right];b= \left[\begin{array}{c}b_1\\b_2\\b_3\end{array}\right]a=​a1​a2​a3​​​;b=​b1​b2​b3​​​欧几里得空间（Euclidean space）是内积空间

Hugging Face--MLM预训练掩码语言模型方法

这里整理一些PyTorch单机多核训练的方法和简单原理。

长尾分布在分类任务中会提到这个名,这是因为长尾分布这个现象问题会导致在训练过程中会出现出错率高的问题，影响了实验结果。这里要说的是，长尾分布是一种现象，有的地方说是一种理论或定律，我感觉这样说不太确切，因为长尾分布并非是一种普遍现象，不能将所有的数据分布或者现象都强加于长尾分布这个概念上。

下图中简单介绍了RNN和self-attention的机制区别，首先是第一个区别就是，在下图中最后面的黄色的输出值在RNN中很难去考虑第一个的RNN的输入(当然双向的RNN也是可以实现的，或者改进的RNN，如LSTM)，而在self-attention中是很容易去实现的。下面这张图片表示了在不同数据集上的效果图，发现，在数据集不大的情况下，CNN的效果是优于self- attention的，反之C