
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
Openshift AI系列3-基于vLLM的模型部署
由于社区的vllm镜像:vllm-openai:v0.6.6.post1启动需要特别的权限,所以需要添加scc anyuid到项目的default SA中。请参考以下步骤进行模型的部署,注意在使用data connection时,可选择使用位于s3或URI类型的模型数据。以下操作在项目中操作,在模型部署前必须先建立data connection来访问模型文件。在minio UI中上传本地镜像目录及

Openshift AI系列4-部署DeepSeek V3 671B
Openshift AI Console中添加一个新的 Serving Runtime。Openshift AI Console中,在项目中部署一个模型,使用单机8卡。不使用route方式提供对外服务,采用nodeport访问对外提供服务。使用下面的定义建立Serving runtime。
到底了