知识图谱问答应用

本文介绍了两种在华为昇腾NPU上部署vLLM推理服务的方法：1）通过源码构建npu版vllm镜像，详细说明了vllm-ascend的安装步骤、模型测试方法及服务启动命令；2）使用官方预构建的vllm-ascend镜像，提供完整的容器启动脚本和API测试示例。文章包含LLM和Embedding模型的完整部署方案，涉及Dockerfile编写、启动脚本配置、一键部署脚本以及Python API调用代码

实现本地知识库向量化后保存，然后langchain进行qa数据流。

本文介绍了两种在华为昇腾NPU上部署vLLM推理服务的方法：1）通过源码构建npu版vllm镜像，详细说明了vllm-ascend的安装步骤、模型测试方法及服务启动命令；2）使用官方预构建的vllm-ascend镜像，提供完整的容器启动脚本和API测试示例。文章包含LLM和Embedding模型的完整部署方案，涉及Dockerfile编写、启动脚本配置、一键部署脚本以及Python API调用代码

本文记录了在两台Atlas800IA2服务器（配备910B4显卡）上运行W8A8量化的DeepSeek-R1-0528模型的完整过程。主要内容包括：1) 环境准备，需MindIE≥2.1.RC1版本和≥24.1.01.1驱动；2) 多机推理配置，通过rank_table文件定义16张卡的分布；3) 容器化部署，挂载660G模型文件并修改MindIE配置；4) 性能测试，使用EvalScope工具测

本文介绍了MindIE 1.0.0的完整安装部署流程：1)安装必备资源包（ATBModels、torch_npu、MindIE）；2)配置环境变量；3)修改权限和配置文件，包括模型路径、卡数等关键参数；4)启动服务和测试接口。提供了详细的参数说明文档链接和config.json配置示例。

结合qwen2.5-7b + bge-reranker-base + stella-base-zh-v2 组合成的rag系统。其中测试数据和模型需要自行下载，modelscope就可以。

【代码】text2vec-large-chinese 模型 -- 部署及推理。

本文介绍了MindIE 1.0.0的完整安装部署流程：1)安装必备资源包（ATBModels、torch_npu、MindIE）；2)配置环境变量；3)修改权限和配置文件，包括模型路径、卡数等关键参数；4)启动服务和测试接口。提供了详细的参数说明文档链接和config.json配置示例。

本文介绍了两种在华为昇腾NPU上部署vLLM推理服务的方法：1）通过源码构建npu版vllm镜像，详细说明了vllm-ascend的安装步骤、模型测试方法及服务启动命令；2）使用官方预构建的vllm-ascend镜像，提供完整的容器启动脚本和API测试示例。文章包含LLM和Embedding模型的完整部署方案，涉及Dockerfile编写、启动脚本配置、一键部署脚本以及Python API调用代码