logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Openshift AI系列3-基于vLLM的模型部署

由于社区的vllm镜像:vllm-openai:v0.6.6.post1启动需要特别的权限,所以需要添加scc anyuid到项目的default SA中。请参考以下步骤进行模型的部署,注意在使用data connection时,可选择使用位于s3或URI类型的模型数据。以下操作在项目中操作,在模型部署前必须先建立data connection来访问模型文件。在minio UI中上传本地镜像目录及

文章图片
#openshift#人工智能#机器学习 +1
Openshift AI系列4-部署DeepSeek V3 671B

Openshift AI Console中添加一个新的 Serving Runtime。Openshift AI Console中,在项目中部署一个模型,使用单机8卡。不使用route方式提供对外服务,采用nodeport访问对外提供服务。使用下面的定义建立Serving runtime。

#openshift#人工智能
到底了