本文介绍了MindIE 1.0.0的完整安装部署流程：1)安装必备资源包（ATBModels、torch_npu、MindIE）；2)配置环境变量；3)修改权限和配置文件，包括模型路径、卡数等关键参数；4)启动服务和测试接口。提供了详细的参数说明文档链接和config.json配置示例。

本文介绍了两种在华为昇腾NPU上部署vLLM推理服务的方法：1）通过源码构建npu版vllm镜像，详细说明了vllm-ascend的安装步骤、模型测试方法及服务启动命令；2）使用官方预构建的vllm-ascend镜像，提供完整的容器启动脚本和API测试示例。文章包含LLM和Embedding模型的完整部署方案，涉及Dockerfile编写、启动脚本配置、一键部署脚本以及Python API调用代码

摘要：本文介绍了在华为昇腾910B显卡上使用MindIE和vllm-ascend推理引擎运行Qwen3-30B-A3B大模型的完整流程。测试环境配置8张910B显卡，其中0-3卡供MindIE使用，4-7卡供vllm-ascend使用。详细说明了MindIE的容器部署、配置修改和服务启动步骤，以及vllm-ascend的快速部署方法。使用EvalScope工具进行性能测试，结果显示在1024输入上

本文介绍了华为昇腾910B GPU服务器的环境配置流程：1）安装驱动与固件前需准备依赖工具，并设置文件权限和用户；2）安装CANN工具包并配置环境变量；3）可选安装nputop监控工具；4）配置NPU网卡IP与路由；5）部署Docker运行时环境，实现容器使用GPU资源；6）在K8S中安装DevicePlugin组件，使集群能够调度NPU资源。最后提供了验证各组件是否正常工作的检查方法。

本文记录了在两台Atlas800IA2服务器（配备910B4显卡）上运行W8A8量化的DeepSeek-R1-0528模型的完整过程。主要内容包括：1) 环境准备，需MindIE≥2.1.RC1版本和≥24.1.01.1驱动；2) 多机推理配置，通过rank_table文件定义16张卡的分布；3) 容器化部署，挂载660G模型文件并修改MindIE配置；4) 性能测试，使用EvalScope工具测

摘要：本文介绍了在华为昇腾910B显卡上使用MindIE和vllm-ascend推理引擎运行Qwen3-30B-A3B大模型的完整流程。测试环境配置8张910B显卡，其中0-3卡供MindIE使用，4-7卡供vllm-ascend使用。详细说明了MindIE的容器部署、配置修改和服务启动步骤，以及vllm-ascend的快速部署方法。使用EvalScope工具进行性能测试，结果显示在1024输入上

本文介绍了两种在华为昇腾NPU上部署vLLM推理服务的方法：1）通过源码构建npu版vllm镜像，详细说明了vllm-ascend的安装步骤、模型测试方法及服务启动命令；2）使用官方预构建的vllm-ascend镜像，提供完整的容器启动脚本和API测试示例。文章包含LLM和Embedding模型的完整部署方案，涉及Dockerfile编写、启动脚本配置、一键部署脚本以及Python API调用代码

实现本地知识库向量化后保存，然后langchain进行qa数据流。

本文介绍了MindIE 1.0.0的完整安装部署流程：1)安装必备资源包（ATBModels、torch_npu、MindIE）；2)配置环境变量；3)修改权限和配置文件，包括模型路径、卡数等关键参数；4)启动服务和测试接口。提供了详细的参数说明文档链接和config.json配置示例。

bge-base-zh-v1.5可以直接从魔搭下载。1.对文本进行相似度比较。