LLM中， 生成文本是自回归的，即生成第 N个词时，需要依赖前面 1到 N−1个词的信息。Query (Q)：查询向量（我想找什么信息？Key (K)：键向量（我包含什么信息标签？Value (V)：值向量（我具体的内容是什么？随着句子变长，大量的计算资源被浪费在重复计算已经处理过的词的 K 和 V 向量上。计算复杂度会随着序列长度呈平方级 O(N2)ON2) 增长，导致生成速度极慢。既然前面词的

include "cuda_runtime.h"这句话在.cu文件写不会报错，在c++中写就显示检测到 #include 错误。请更新 includePath。已为此翻译单元(.../.../×××.hpp)禁用波形曲线。C++ 编译器无法找到 CUDA 头文件，.cu不报错是nvcc能找到CUDA 头文件。1、打开C++ 配置文件c_cpp_properties.json。2、找到include

4、改配置（我是application.yml，如果上面有spring就在spring下面加配置）能访问Swagger但是不显示接口的跳到4。

告别迷茫：Ascend C开发环境搭建全攻略（VSCode版）_asendc环境搭建-CSDN博客

写在前面：鼠鼠我没有NPU机器，只有自己的笔记本，所以这个测试完全靠的华为云主机，感谢华为喵~指路平台：昇思大模型平台https://xihe.mindspore.cn/training-projects一次能免费申请3小时，记得提前写好代码，申请一个NPU的Ascend 环境的主机要装一个新的CANN软件包(感谢全能的师兄提醒)，不然你在这个云主机编译完后根本安装不上run包，上述获取的云主机是

写在前面：鼠鼠我没有NPU机器，只有自己的笔记本，所以这个测试完全靠的华为云主机，感谢华为喵~指路平台：昇思大模型平台https://xihe.mindspore.cn/training-projects一次能免费申请3小时，记得提前写好代码，申请一个NPU的Ascend 环境的主机要装一个新的CANN软件包(感谢全能的师兄提醒)，不然你在这个云主机编译完后根本安装不上run包，上述获取的云主机是

写在前面：鼠鼠我没有NPU机器，只有自己的笔记本，所以这个测试完全靠的华为云主机，感谢华为喵~指路平台：昇思大模型平台https://xihe.mindspore.cn/training-projects一次能免费申请3小时，记得提前写好代码，申请一个NPU的Ascend 环境的主机要装一个新的CANN软件包(感谢全能的师兄提醒)，不然你在这个云主机编译完后根本安装不上run包，上述获取的云主机是

4、改配置（我是application.yml，如果上面有spring就在spring下面加配置）能访问Swagger但是不显示接口的跳到4。