转自：作者：微软亚洲研究院链接：https://www.zhihu.com/question/327642286/answer/1465037757来源：知乎预训练模型到底是什么，它是如何被应用在产品里，未来又有哪些机会和挑战？根据微软亚洲研究院副院长、国际计算语言学会（ACL）前任主席、中国计算机学会副理事长周明在2020年中国人工智能大会做的主题为《预训练模型在多语言、多模态任务的进展》的特邀

输入是什么样子，输出是什么样子？nn.Embedding（），用来实现词与词向量的映射，通俗来讲就是将文字转换为一串数字，作为训练的一层，随模型训练得到适合的词向量。下面会通过实例来解释，比较直观，看到最后。格式：torch.nn.Embedding(num_embeddings, embedding_dim, padding_idx=None,max_norm=None,norm_type=2.

torch.randint()