INSTALL_DIR”是CANN软件安装后文件存储路径，其中“/usr/local/Ascend”为root用户的默认安装路径，如果使用普通用户安装，或指定路径安装，请自行替换。“INSTALL_DIR”是CANN软件安装后文件存储路径，其中“/usr/local/Ascend”为root用户的默认安装路径，如果使用普通用户安装，或指定路径安装，请自行替换。“/usr/local/mpich”以

vocab：是子词到 ID 的映射表，它能将文本转换为模型可以处理的数字形式。merges：是子词合并规则，它决定了如何从基础字符构建出子词。相互关系merges规则生成子词，而vocab负责存储这些子词并为它们分配 ID。通过这种方式，子词分词器能够在处理常见词时保持完整性，同时将罕见词拆分成有意义的片段，有效平衡了词汇表的大小和表达能力。

在Ascend上运行vllm测试

安装conda环境，python 3.8以上，gcc支持9.4以上。DEBUG=1是编译debug版本。

CANN（Compute Architecture for Neural Networks）提供了算子加速库（Ascend Operator Library，简称AOL）。该库提供了一系列丰富且深度优化过的高性能算子API，更亲和昇腾AI处理器，调用流程如图1所示。开发者可直接调用算子库API使能模型创新与应用，以进一步提升开发效率和获取极致模型性能。其中aclnnXxxGetWorkspaceS

CANN（Compute Architecture for Neural Networks）提供了算子加速库（Ascend Operator Library，简称AOL）。该库提供了一系列丰富且深度优化过的高性能算子API，更亲和昇腾AI处理器，调用流程如图1所示。开发者可直接调用算子库API使能模型创新与应用，以进一步提升开发效率和获取极致模型性能。其中aclnnXxxGetWorkspaceS

在Ascend上运行vllm测试