本文基于libtorch手写完整Transformer架构代码包含1.编码器 Encoder2.解码器 Decoder3.多头注意力 MultiHeadAttention4.前馈网络 FFN将的libtorch库自带Transformer 换成 我们手写MyTransformer 来验证结果。

Transformer 的核心是与，让序列每个位置都能动态关注全局相关信息，并行捕捉长程依赖。

掩码类型形状要求场景src_mask[seq，seq]极少用 空张量tgt_mask[seq, seq]必须使用屏蔽未来位置[tgt_seq,src_seq]默认情况下，无需屏蔽必须使用对齐目标序列长度必须使用对齐源序列长度同src_key_padding_mask。

1. msys2 下载安装MSYS2,https://www.msys2.org/2. msys2 环境配置2.1 打开 msys2 msys ：2然后输入以下命令安装：pacman-Syupacman -S base-develpacman -S yasm nasm gcc　pacman -S mingw-w64-x86_64-toolchainpacman -S gitpacman -S ma

flags: SDL_INIT_TIMER支持定时器子系统，SDL_INIT_AUDIO支持音频子系统，SDL_INIT_VIDEO支持视频子系统。4.填充音频数据 ,让 SDL 来主动执行回调函数来取数据。2. 打开一个特定的音频设备。1. 初始化SDL库。