logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

pytorch模型转onnx、openvino格式最佳实践

生成resnet50.xml模型结构文件和resnet50.bin模型权重文件。

文章图片
#pytorch#openvino#人工智能
利用Nginx+VLLM在本地部署多个大模型服务

随着deepseek等开源大模型的爆火,本地化部署大模型服务变成了切实需求。基于vllm框架部署的本地大模型服务操作简单,部署后可以很方便地利用OpenAI compatible接口访问该服务。然而,vllm serve模式每次运行仅支持部署一个大模型,想运行多个大模型服务时,除了将多个服务运行在不同的端口上,是否可以利用一个公共的端口转发多个不同大模型服务的流量以节约端口占用?

#nginx#nlp#人工智能 +2
到底了