logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

ComputePilot 系列(二):从模型库到 vLLM 推理服务,跑通 AI 服务发布

   很多 GPU/HPC 平台的使用门槛,不只在“有没有 GPU”,还在模型、环境、调度和服务入口之间能不能顺畅衔接。 在传统流程里,用户往往需要自己登录服务器,手动找模型目录,确认依赖环境,拼接启动命令,再去调度系统里查任务状态。ComputePilot 把这条链路收进 Web 控制台里:模型库负责沉淀模型,推理服务负责把模型变成 OpenAI 兼容接口,任务调度负责承接资源申请、Slurm

文章图片
#人工智能#前端
ComputePilot 系列(二):从模型库到 vLLM 推理服务,跑通 AI 服务发布

   很多 GPU/HPC 平台的使用门槛,不只在“有没有 GPU”,还在模型、环境、调度和服务入口之间能不能顺畅衔接。 在传统流程里,用户往往需要自己登录服务器,手动找模型目录,确认依赖环境,拼接启动命令,再去调度系统里查任务状态。ComputePilot 把这条链路收进 Web 控制台里:模型库负责沉淀模型,推理服务负责把模型变成 OpenAI 兼容接口,任务调度负责承接资源申请、Slurm

文章图片
#人工智能#前端
ComputePilot 系列(一):从登录到数据中心,快速认识 GPU/HPC 控制平台

最近升级了ComputePilot 这套 GPU/HPC 控制平台。把节点、GPU、任务、工作流、推理服务、数据集、模型、存储、用户权限和运维能力放在同一个 Web 控制台里,适合用来统一管理实验室、团队或小型集群的计算资源。

文章图片
#数据库
到底了