结合qwen2.5-7b + bge-reranker-base + stella-base-zh-v2 组合成的rag系统。其中测试数据和模型需要自行下载，modelscope就可以。

本文介绍了两种在华为昇腾NPU上部署vLLM推理服务的方法：1）通过源码构建npu版vllm镜像，详细说明了vllm-ascend的安装步骤、模型测试方法及服务启动命令；2）使用官方预构建的vllm-ascend镜像，提供完整的容器启动脚本和API测试示例。文章包含LLM和Embedding模型的完整部署方案，涉及Dockerfile编写、启动脚本配置、一键部署脚本以及Python API调用代码

5.修改启动文件中的一些配置，然后运行官方的web_demo.py就可以访问了。2.可以克隆一下github官方demo。4.装完pytorch后可以验证一下。我直接附上一个依赖文件可以直接下载。环境Ubuntu20.04。1. 从魔搭下载模型权重。

本文介绍了两种在华为昇腾NPU上部署vLLM推理服务的方法：1）通过源码构建npu版vllm镜像，详细说明了vllm-ascend的安装步骤、模型测试方法及服务启动命令；2）使用官方预构建的vllm-ascend镜像，提供完整的容器启动脚本和API测试示例。文章包含LLM和Embedding模型的完整部署方案，涉及Dockerfile编写、启动脚本配置、一键部署脚本以及Python API调用代码

5.修改启动文件中的一些配置，然后运行官方的web_demo.py就可以访问了。2.可以克隆一下github官方demo。4.装完pytorch后可以验证一下。我直接附上一个依赖文件可以直接下载。环境Ubuntu20.04。1. 从魔搭下载模型权重。

本文介绍了两种在华为昇腾NPU上部署vLLM推理服务的方法：1）通过源码构建npu版vllm镜像，详细说明了vllm-ascend的安装步骤、模型测试方法及服务启动命令；2）使用官方预构建的vllm-ascend镜像，提供完整的容器启动脚本和API测试示例。文章包含LLM和Embedding模型的完整部署方案，涉及Dockerfile编写、启动脚本配置、一键部署脚本以及Python API调用代码

【代码】text2vec-large-chinese 模型 -- 部署及推理。

发送端import csvimport timefrom kafka import KafkaProducerfrom kafka import KafkaConsumerimport json# 实例化一个KafkaProducer示例，用于向Kafka投递消息producer = KafkaProducer(value_serializer=lambda v: json.dumps(v).en

首先我们要查询一下我们需要的环境的位置whereis python3找到我们的环境然后复制地址nohup /root/.virtualenvs/py3_data365/bin/python3 s_09_b.py &

发送端import csvimport timefrom kafka import KafkaProducerfrom kafka import KafkaConsumerimport json# 实例化一个KafkaProducer示例，用于向Kafka投递消息producer = KafkaProducer(value_serializer=lambda v: json.dumps(v).en