logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

基于Transformer实现机器翻译(日译中)

函数首先遍历给定的日语和英语句子列表,对每一对句子进行以下处理步骤:去除行尾换行符,使用对应的分词器进行编码,然后将每个token(单词或子词)转换为词汇表中的索引,并将这些索引构建成Long类型的PyTorch张量。这两个类共同作用于NLP模型的输入层,其中TokenEmbedding负责将单词转换为词嵌入,而PositionalEncoding则在此基础上添加位置信息,两者结合使模型能够理解文

文章图片
#transformer#机器翻译
到底了