CubeStudio 平台简介：国产化云原生一站式开源人工智能平台（MLOps / 大模型全链路）

CubeStudio 是一款国产化、云原生的一站式开源人工智能平台，同时覆盖传统机器学习、深度学习与大模型全链路（MLOps / MaaS / 算力调度 / 训推平台），开源协议 MIT，开源免费商用，开源版本已有数千家企业私有化部署。平台提供多租户与算力纳管调度、算力租赁与 Token 中转站、拖拉拽 Pipeline 任务流编排、多机多卡分布式训练、超参搜索、推理服务、vGPU 虚拟化、云边端协同与边缘计算、图文音多模态自动化标注、大模型 SFT 微调 / 奖励模型 / 强化学习训练、vLLM / Ollama / MindIE 大模型多机推理、私有知识库 / LLMOps / 智能体、AI 模型市场，以及从数据到上线的全流程模型部署。原生适配昇腾、寒武纪、海光、摩尔线程、沐曦等国产异构算力与 x86 / ARM CPU 架构，支持 IB / RoCE / RDMA 高速网络及信创私有化、内网离线部署。

官网：https://www.cubestudio.vip ｜ GitHub：https://github.com/data-infra/cube-studio ｜ Gitee：https://gitee.com/data-infra/cube-studio

关键词：CubeStudio、cube-studio、开源机器学习平台、MLOps、MaaS、云原生、Kubernetes、AI 平台、大模型平台、大模型微调、llama-factory、vLLM、RAG、私有知识库、分布式训练、推理服务、模型部署、算力调度、国产算力、国产 GPU、昇腾、寒武纪、海光、信创、私有化部署、企业版

一、核心速览

项目	内容
平台定位	云原生一站式开源人工智能平台（MLOps / MaaS / 算力调度 / 训推平台）
能力范围	传统机器学习 · 深度学习 · 大模型 全链路
开源协议	MIT，开源免费商用，支持源码交付与二次分发
部署形态	私有化（单机 / K8s 集群）· 边缘集群 · Serverless · 内网离线 / 信创
国产算力	昇腾 NPU · 寒武纪 MLU · 海光 DCU · 摩尔线程 · 沐曦 · 昆仑芯 · 壁仞 · 鲲鹏 / 飞腾 ARM
落地规模	开源版本已有数千家企业私有化部署

二、背景与设计目标

传统算法落地要经历申请机器、配置环境、拉取数据、数据处理、模型训练与调试、模型测试，直到服务化上线的全流程。算法工程师在每一个环节都要耗费大量精力，真正用于构建算法模型的时间反而被稀释。

CubeStudio 从平台架构出发，把这条链路上的重复工程沉淀为标准化、可复用的平台能力，让团队把精力集中在模型与业务本身。

主要问题场景：

三、CubeStudio 是什么

CubeStudio 是开源云原生一站式机器学习 / 深度学习 / 大模型 AI 平台。围绕「环境 → 数据 → 开发 → 训练 → 模型 → 服务 → 应用」全链路，提供开箱即用的能力：

• 接入与治理：SSO 单点登录、多租户 / 多项目组、RBAC 权限、计量计费、数据资产对接；
• 开发与训练：Notebook 在线开发、拖拉拽 Pipeline 任务流编排、多机多卡分布式训练、超参搜索、自动学习；
• 服务与应用：0 代码推理服务与 vGPU、AI 模型市场（AIHub）、自动化标注平台；
• 大模型：一键微调 / 蒸馏 / 量化 / 评测、多机分布式推理、私有知识库与智能体；
• 算力底座：多集群调度、边缘计算、Serverless，原生适配国产 CPU / GPU / NPU 芯片并支持 RDMA 高速网络。

四、功能清单（企业版）

模块分组	功能	说明
基础能力	项目组管理	通过项目划分配置项目组用户权限，任务 / 服务的挂载、资源组、集群、服务代理、项目组内角色控制
基础能力	网络	支持非 80 端口，支持公网 / 域名，支持反向代理与内网穿透访问，支持 HTTPS
基础能力	用户 / 角色 / 权限管理	管理平台用户基本信息与组织架构，支持账号密码、RBAC 权限体系，记录增删改与清理等操作历史
基础能力	SSO 单点登录	对接企业账号体系（AUTH_OID / AUTH_LDAP / AUTH_REMOTE_USER 等），支持消息推送、强密码、登录频率限制、密码密文传输
基础能力	计量计费	平台 / 租户 / 项目组 / 个人多级资源额度分配与查看，覆盖开发、训练、推理；统一资源监控，支持自定义计费模式
基础能力	多种算力	CPU / GPU 多规格；T4 / V100 / A100 等多卡型；ARM64、vGPU；国产算力：华为昇腾 NPU / 寒武纪 MLU / 海光 DCU / 摩尔线程 / 沐曦 / 昆仑芯 / 壁仞；RDMA（Mellanox）调度；GPU 独占 / 共享 / 禁用模式
基础能力	多资源组 / 多集群	划分多资源组，支持多 K8s 集群、IPVS 网络模式、Containerd 容器运行时
基础能力	边缘集群	支持边缘集群模式，支持边缘节点开发、训练、推理
基础能力	Serverless 集群	支持腾讯云 / 阿里云 Serverless 集群模式（Notebook、Pipeline、推理服务模块）
基础能力	数据库存储	支持外部 MySQL / PostgreSQL 作为元数据库
基础能力	机器资源管理	Web 界面控制机器调度类型、所属资源组、是否启用 RDMA / vGPU、可用任务场景等
基础能力	存储盘管理	Web 界面添加存储盘并绑定项目组，Notebook / Pipeline / 推理服务直接在 Pod 中挂载；支持 NFS、CFS、OSS、NAS、COS、GlusterFS、CephFS、S3 / MinIO
基础能力	国际化	支持多语言配置，目前支持中英文
数据管理	数据地图	元数据库表管理、指标、维表
数据管理	数据计算	SQLLab 交互查询，支持 MySQL、PostgreSQL、ClickHouse、Hive、Presto 等计算引擎
数据管理	ETL 编排	数据 ETL 任务流编排与任务管理，对接企业数据中台的计算 / 调度引擎
数据管理	数据集管理	随时上传图片 / 音频 / 文本等样本集，支持 SDK 对接与数据集一键探索
数据管理	数据标注	图 / 文 / 音 / 多模态标注；对接 AIHub 自动化标注（目标检测、边界 / 遮罩识别、图片分类 / 描述、OCR、关键点）；大模型自动化标注（文本分类、翻译、NER、阅读理解、问答、摘要）
开发环境	镜像功能	镜像仓库 / 管理 / 在线构建；提供模板、服务、Notebook、GPU 基础环境等全部镜像的构建方法与成品，支持 Dockerfile 在线构建、同仓库多密钥
开发环境	Notebook	基于 JupyterLab / VSCode 的在线交互开发；大数据 / 机器学习 / 深度学习版本；SSH Remote 远程开发；Matlab / Rstudio；多内核（R / Julia / Python 2.7~3.10 及 CubeStudio 专有环境）；GPU 整卡 / 虚卡 / 共享占用；TensorBoard、Git、密码保护、环境镜像保存
开发环境	拖拉拽任务流编排	拖拽式开发 Pipeline，单任务调试、多卡型与资源规格选择、超时重试；GPU 独占 / 共享、RDMA 与卡型透传；定时调度、补录、并发限制、实例依赖、暂停恢复、任务流优先级、结果可视化
开发环境	主流功能算子	基础（自定义镜像 / 逻辑节点 / Python）、数据同步（数据集 / 模型导入，支持 HuggingFace）、数据处理（Hadoop / Spark / Volcano / Ray）、特征处理、传统机器学习、分布式深度学习、分布式加速、模型处理与服务化、媒体分布式处理
开发环境	算子自定义	通过 Web 界面将自定义算法代码镜像注册为可复用的 Pipeline 算子
开发环境	自动学习	面向非 AI 背景用户，选择场景并上传数据即可自动训练与部署，支持 AutoML 任务流导入导出
开发环境	自定义镜像	面向高级 AI 开发者，提供自定义训练作业（执行环境 + 代码）
开发环境	自动调参	基于单机 / 分布式的自动超参搜索
开发环境	TensorBoard 作业	实时 / 离线观察模型训练过程中的参数与指标变化
模型服务化	内部服务	快捷部署 MySQL-Web、PostgreSQL Web、Mongo Web、Redis Web、Neo4j、Rstudio 等开源工具
模型服务化	模型管理	模型多版本管理，支持发布为推理服务
模型服务化	推理服务	ML / TF / PyTorch / TensorRT / ONNX 多版本 0 代码发布；vGPU、独占 / 共享、弹性伸缩、服务优先级、流量分流 / 复制、Sidecar、泛域名；多版本滚动升级回滚；大模型分布式推理、JWT 认证、定时伸缩容
监控	整体资源	集群 / 机器 / Pod 的算力使用情况（资源组、卡型、CPU / 内存 / GPU 申请与使用率），支持管理员批量清理
监控	监控体系	主机与 Pod 的内存 / CPU / GPU / 网络 IO / 磁盘 IO 负载，推理服务 QPS / 吞吐 / vGPU 负载，支持 IB 流量监控
AIHub 模型市场	预训练模型	视觉、听觉、NLP、多模态等 400+ 预训练模型，一键部署服务并提供 API
AIHub 模型市场	一键开发 / 微调 / 部署	一键转 Notebook 开发、一键转 Pipeline 微调、一键部署手机端 / PC 端 Web 与 API
AIHub 模型市场	SDK	数据集 SDK、Notebook SDK、Pipeline 训练 SDK、推理服务 SDK
大模型	分布式训练	支持 MPI / DeepSpeed / Colossal-AI 等分布式多机多卡训练
大模型	大模型推理	AIHub 形式支持 SD 系列 / Stable Diffusion XL / ChatGLM / LLaMA / Chinese-Alpaca / Qwen / Gemma / Yi / AquilaChat2 等；OpenAI 接口支持 FastChat + vLLM 推理加速与流式输出；支持昇腾 MindIE 分布式推理
大模型	大模型微调	支持 ChatGLM2/3/4、LLaMA3-Chinese、Qwen LoRA 微调，支持 llama-factory 100+ LLM 微调
大模型	蒸馏 / 量化 / 剪枝 / 评测	内置大模型蒸馏、量化、剪枝、安全评测与 OpenCompass 评测模板
大模型	智能对话与知识库	多场景对话、提示词构建、模型切换与上下文管理；私有知识库召回（列表 / AIGC 模式），对接微信公众号、企业微信、钉钉群机器人

五、整体架构

一套完整的 CubeStudio 平台自下而上包含四层：

1. 机器标准化：统一节点初始化与算力接入；
2. 基础设施：分布式存储（单机可忽略）、Kubernetes 集群、监控体系（Prometheus / EFK / Zipkin）；
3. 基础能力：TF / PyTorch / MXNet / Volcano / Ray 等分布式训练，NNI / Ray 超参搜索；
4. 平台 Web 层：OA 权限与项目组、在线构建镜像、在线开发、Pipeline 拖拉拽编排、超参搜索、推理服务管理等。

六、核心能力详解

算力 / 存储 / 用户管理

算力

• 云原生统筹平台 CPU / GPU 等算力；
• 支持划分多资源组，支持多 K8s 集群、多地部署；
• 支持 T4 / V100 / A100 / 昇腾 / DCU / vGPU 等异构 GPU / NPU 环境；
• 支持边缘集群模式，支持边缘节点上开发 / 训练 / 推理；
• 支持鲲鹏芯片 ARM64 架构与 RDMA。

存储

• 自带分布式存储，支持多机分布式文件处理；
• 支持外部存储挂载与项目组挂载绑定；
• 支持个人 / 组空间等多种形式，平台内存储无需迁移。

用户权限

• 支持 SSO 登录，对接企业账号体系；
• 支持项目组划分与项目组用户权限配置；
• 管理平台用户基本信息、组织架构，基于 RBAC 的权限体系。

多集群管控

单个 K8s 集群的部署拓扑：

CubeStudio 支持多集群调度，可同时管控多个训练或推理集群。单集群内既能隔离项目组的在线开发、训练与推理，也能隔离不同项目组的算力；项目组算力间具备动态均衡能力，可共享公共算力池与私有算力池，把成本降到最低。

分布式存储

CubeStudio 会自动为用户挂载个人目录：同一用户在平台任何地方启动的容器，其个人子目录均为 /mnt/$username。可将 PVC / HostPath / Memory / ConfigMap 等挂载为容器目录；也可在项目组中配置默认挂载，实现一个项目组共享同一目录等能力。

在线开发

• 多租户 / 多实例在线交互开发调试，仅需浏览器，无需安装三方控件；
• 支持 VSCode、Jupyter、Matlab、Rstudio 等多种在线 IDE，多内核（Julia / R / Python / PySpark 等）；
• 大数据版本内置 HDFS / Hive / Spark 客户端；支持 SSH Remote 与 Notebook 互通、本地开发；
• 在线镜像构建，通过 Web Shell 在浏览器中完成；提供 Notebook / Inference / GPU / Python 等多种基础镜像。

数据标注平台

• 支持图 / 文 / 音 / 多模态 / 大模型多种类型标注、用户管理与任务分发；
• 对接 AIHub 模型市场实现自动化标注，对接数据集导入标注数据，对接 Pipeline 实现标注结果自动化训练。

拖拉拽 Pipeline 编排

1. ML 全流程：数据导入、预处理、超参搜索、训练、评估、压缩、注册、上线，覆盖 ML 算法全流程；
2. 灵活开放：支持单任务调试、分布式日志聚合、Pipeline 调试跟踪、资源监控，以及补录、忽略、重试、依赖、并发限制、过期淘汰等定时调度能力。

分布式训练框架与多类型算子

分布式框架

1. 训练框架支持分布式（协议与策略）；
2. 代码识别分布式角色（有状态）；
3. 控制器部署分布式训练集群（Operator）；
4. 通过 CRD 配置分布式训练集群的部署。

多层次多类型算子（以 K8s 为核心）

• 支持 TF / PyTorch / MPI / Horovod / MXNet 分布式训练，Spark / Volcano 分布式数据处理，Ray / NNI 分布式超参搜索，Kaldi 分布式语音训练等；
• 衍生的分布式数据下载、HDFS 拉取、COS 上传下载、视频采帧、音频抽取；以及推荐场景 DIN / ComiRec / MMoE / DeepFM / YouTube DNN / PLE / ESMM / 双塔，音视频 WeNet 等算法的分布式训练。

功能模板化与内置任务模板

• 相比非模板开发，使用模板建立应用成本更低，无需自研平台；
• 迁移更容易：模板标准化后，应用迭代只需迁移配置模板；
• 配置复用：简单配置即可复用能力，算法与工程分离，避免重复开发。

平台对 Pipeline 中的 Task 进行模板化开发，用户可自行开发模板镜像并注册到平台供他人复用。平台内置模板覆盖数据处理、机器学习、深度学习、大模型、模型服务化、多媒体处理等：

模块	模板	类型
数据导入导出	datax、数据集导入、模型导入（支持 HuggingFace）	单机
数据处理	data-process、hadoop	单机
数据处理	spark、ray、volcanojob	分布式
数据标注	label-studio-import（标注结果导入）	单机
特征处理	feature-process、feature-process-all	单机
传统机器学习	ray-sklearn	分布式
传统机器学习	随机森林、LR、LightGBM、KNN、KMeans、GBDT、决策树、贝叶斯、AdaBoost、XGBoost、CatBoost、PCA、LDA、AR / ARIMA 时间序列	单机
超参搜索	NNI、Ray Tune（hyperparameter-search）	单机 / 分布式
深度学习	tfjob、pytorchjob、paddle、mxnet、mindspore、horovod、mpi	分布式
分布式加速	colossalai、deepspeed、megatron、mindformers（昇腾）	分布式
大模型	llama-factory（LLaMA / ChatGLM / DeepSeek / Qwen 等 100+ LLM 微调）	单机多卡
大模型工程	蒸馏（llm-distillation）、量化（llm-quantization）、剪枝（llm-prune）、安全评测（llm-safety-eval）、OpenCompass 评测	单机 / 分布式
模型处理	model-evaluation、model-convert、model-register、deploy-service、offline-predict	单机 / 分布式
多媒体 / CV / 语音	video-audio、vision-process、audio-process、voice-process、nlp-process、yolov8、paddleocr-vl	分布式

提示：能单机运行就没必要多机运行；面向自身业务开发自定义模板往往更贴合需求。

超参搜索（NNI / Ray Tune）

界面化呈现训练各组数据，通过图形界面直观展示，降低调参的枯燥感，无需丰富经验即可实现更精准的参数调节。

# 上报当前迭代目标值
nni.report_intermediate_result(test_acc)
# 上报最终目标值
nni.report_final_result(test_acc)

# 接收超参数为输入参数
parser.add_argument('--batch_size', type=int)

推理服务

0 代码发布推理服务，自底向上覆盖服务网格、Serverless、Pipeline、HTTP / gRPC 框架与模型计算：

• 服务网格：流量中转与管控，如分流、镜像、限流、黑白名单；
• Serverless：服务智能化运维，如激活、伸缩容、版本管理、蓝绿发布；
• Pipeline：请求在数据处理 / 推理间的流动，及推理前后置逻辑；
• HTTP / gRPC 框架：处理客户端请求、准备推理样本、返回响应；
• 模型计算：模型在 CPU / GPU 上对输入样本做前向计算。

主要功能：

• 支持模型注册、灰度发布、版本回退、指标可视化，并可在 Pipeline 中完成模型注册；
• 支持多集群、多资源组、异构 GPU、vGPU、流量分流 / 复制、Sidecar、平台资源统筹监控；
• 支持 0 代码模型发布、GPU 推理加速、训练推理混部、服务优先级与自定义指标弹性伸缩；
• 支持大模型分布式推理、JWT 认证、定时伸缩容。

监控与推送

• 监控：集成 Prometheus 生态，监控主机、进程、服务流量、GPU 等负载，并配套 Grafana 可视化；
• 推送：开放推送接口，可自定义推送至企业 OA 系统。

AIHub 模型市场

• 内置 400+ 通用预训练模型，覆盖视觉、听觉、NLP、多模态等绝大多数行业场景，可按需扩充；
• 模型开源、按需定制，标准化开发管理，大幅降低使用门槛；
• 一键部署为手机端 / PC 端 Web 应用实时查看效果，一键进入 Notebook 二次开发，一键加数据微调。

大模型全链路

训练与微调

• 支持 DeepSpeed / Colossal-AI 等分布式加速框架，一键实现大模型多机多卡分布式训练；
• AIHub 内置 GPT / AIGC 大模型，可一键转为微调 Pipeline，替换为自己的数据后即可微调并部署；
• 支持 llama-factory 100+ LLM 微调（LLaMA / ChatGLM / DeepSeek / Qwen 等）。

RDMA 高速网络训练

RDMA 插件部署后，K8s 机器可用资源：

capacity:
  cpu: '128'
  memory: 1056469320Ki
  nvidia.com/gpu: '8'
  rdma/hca: '500'

分布式训练中使用 IB 设备：

export NCCL_IB_HCA=mlx5
export MLP_WORKER_GPU=$GPU_NUM
export MLP_WORKER_NUM=$WORLD_SIZE
export MLP_ROLE_INDEX=$RANK
export MLP_WORKER_0_HOST=$MASTER_ADDR
export MLP_WORKER_0_PORT=$MASTER_PORT

私有知识库（RAG）

• 数据智能模块可配置专业领域智能对话，快速敏捷使用 LLM；
• 可为聊天场景配置私有知识库文件，支持主题分割、语义 Embedding、意图识别、概要提取、多路召回、排序与多功能融合。

智能聊天与智能体

• 可将智能会话与 AIHub 结合（如 AIGC 模型与聊天会话）；
• 可用 AutoGPT 方式串联所有 AIHub 模型，进行图文音智能化处理；
• 智能会话与公众号打通，可在微信公众号中进行图文音对话。

数据中台对接

为加速 AI 平台落地，CubeStudio 支持对接企业既有数据中台，包括 SQLLab 计算引擎、元数据管理、指标管理、维表管理、数据 ETL 与数据集管理。

七、部署方式

面向不同企业场景与实时性需求，CubeStudio 提供三种建设模式：

模式	适用场景
私有化部署	数据安全要求高、预算充足、具备自研能力
边缘集群部署	算力分散、多子网环境或边缘设备场景
Serverless 集群	成本有限、按需申请算力的场景

边缘计算：通过边缘集群形式，在中心节点部署平台并将边缘节点加入调度，每个私有网用户通过项目组将 Notebook、Pipeline、Service 部署在边缘节点，从而：① 避免数据到中心节点的带宽传输；② 充分利用边缘节点算力、避免中心节点算力成本；③ 避免边缘节点的运维成本。

---

了解更多

CubeStudio 采用 MIT 开源协议，开源免费商用并支持源码交付与二次分发，开源版本已有数千家企业私有化部署。

• 官网与在线文档：https://www.cubestudio.vip
• 开源仓库（GitHub）：https://github.com/data-infra/cube-studio
• 开源仓库（Gitee）：https://gitee.com/data-infra/cube-studio