
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
Openshift AI系列3-基于vLLM的模型部署
由于社区的vllm镜像:vllm-openai:v0.6.6.post1启动需要特别的权限,所以需要添加scc anyuid到项目的default SA中。请参考以下步骤进行模型的部署,注意在使用data connection时,可选择使用位于s3或URI类型的模型数据。以下操作在项目中操作,在模型部署前必须先建立data connection来访问模型文件。在minio UI中上传本地镜像目录及

到底了







