NLP-预训练模型-2019：XLM-Roberta【一种多语言预训练模型】
bert
TensorFlow code and pre-trained models for BERT
项目地址：https://gitcode.com/gh_mirrors/be/bert
免费下载资源
·
《原始论文：Unsupervised Cross-lingual Representation Learning at Scale》
Facebook AI团队于2019年11月发布了XLM-RoBERTa，作为其原始XLM-100模型的更新。它们都是基于Transformer的语言模型，都依赖于掩码语言模型目标，并且都能够处理100种不同语言的文本。
相较于原始版本，XLM-Roberta的最大更新是训练数据量的显著增加。经过清洗训练过的常用爬虫数据集占用高达2.5tb的存储空间！它比用来训练其前身的Wiki-100语料库大几个数量级，并且在资源较少的语言中，扩展尤其明显。
它比用来训练其前版本的Wiki-100语料库大几个数量级，并且在资源较少的语言中，这种扩大尤其明显。“ RoBERTa”从某方面来说，它的训练程序与单语言RoBERTa模型相同，特别是唯一的训练目标是掩码语言模型。它没有下句预测的á la BERT模型或者句子顺序预测的á la ALBERT模型。
bert
TensorFlow code and pre-trained models for BERT
项目地址：https://gitcode.com/gh_mirrors/be/bert
参考资料：
XLM-RoBERTa: The alternative for non-english NLP
XLM-RoBERTa: 一种多语言预训练模型
GitHub 加速计划 / be / bert
11
2
下载
TensorFlow code and pre-trained models for BERT
最近提交(Master分支：7 个月前 )
eedf5716
Add links to 24 smaller BERT models. 5 年前
8028c045 - 5 年前
旨在为数千万中国开发者提供一个无缝且高效的云端环境，以支持学习、使用和贡献开源项目。
更多推荐
0
0- 0
已为社区贡献66条内容
所有评论(0)