logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

GPU不够用不是因为少-而是管不好

很多单位GPU不够用,问题不在卡少,而在管不好:异构卡各建各池、整机被单卡任务打碎、显存预占被误当高利用率、分出去的卡收不回来。本文从三方面给出解法:一是把NVIDIA、昇腾、海光等异构卡收进统一库存与配额视图,按“意图”路由而非应用硬绑硬件;二是按显存带宽与精度代际给老卡分层,承接Embedding、OCR、评测等轻负载,并用GPU binpack保住整机;三是用队列guarantee/dese

文章图片
#java#算法#开发语言 +2
GPU不够用不是因为少-而是管不好

很多单位GPU不够用,问题不在卡少,而在管不好:异构卡各建各池、整机被单卡任务打碎、显存预占被误当高利用率、分出去的卡收不回来。本文从三方面给出解法:一是把NVIDIA、昇腾、海光等异构卡收进统一库存与配额视图,按“意图”路由而非应用硬绑硬件;二是按显存带宽与精度代际给老卡分层,承接Embedding、OCR、评测等轻负载,并用GPU binpack保住整机;三是用队列guarantee/dese

文章图片
#java#算法#开发语言 +2
政务大模型部署的工程问题:隔离、复用与辅助定位

政务系统要部署大模型,第一场会经常开成「要不要私有化」。私有化只回答软件跑在谁的机房。真正卡住上线的,是另外三件事:数据进哪一张网,模型说的话算不算机关对外表态,以及省里统建之后,各委办局怎样共用模型和算力、又不把数据串在一起。2025 年 10 月,中央网信办、国家发展改革委印发《政务领域人工智能大模型部署应用指引》(下称《指引》)。2026 年 5 月,国家网信办、国家发展改革委、工业和信息化

文章图片
#政务#python#开发语言
AIOps-vs-AI基础设施-做AI智能体先搭好算力底座

企业做AI智能体,常把AIOps、OpenClaw类Agent运行时和AI基础设施混为一谈。本文按三层拆解:AIOps解决运维告警与根因,Agent运行时负责工具编排与Skills,AI基础设施负责 GPU 纳管、模型服务化和隔离执行。三者可并存,关键是先判断项目卡在哪一层:运维噪音大优先补AIOps;想快速验证Agent链路可用运行时试点;要让智能体在本单位算力与安全边界内长期运行,则需先搭好算

文章图片
#人工智能#机器人#大数据 +2
AI专有云vs公有云AIvs裸金属-企业AI基础设施怎么选

文章围绕企业 AI 基础设施选型,系统对比公有云 AI、裸金属与 AI 专有云三种方案,从数据安全、长期 TCO 和工程完备度三个维度分析各自适用场景。文章指出,企业不必简单纠结“是否私有化”,而应结合数据流向、算力使用率、团队规模及运维需求做选择:短期或非敏感业务可优先公有云,单团队长期稳定使用可选择裸金属,而当敏感数据必须留在指定网络、多个部门又需要共享 GPU 资源,并要求统一调度、发布、审

文章图片
#人工智能#安全#云原生 +1
政务大模型部署的工程问题:隔离、复用与辅助定位

政务系统要部署大模型,第一场会经常开成「要不要私有化」。私有化只回答软件跑在谁的机房。真正卡住上线的,是另外三件事:数据进哪一张网,模型说的话算不算机关对外表态,以及省里统建之后,各委办局怎样共用模型和算力、又不把数据串在一起。2025 年 10 月,中央网信办、国家发展改革委印发《政务领域人工智能大模型部署应用指引》(下称《指引》)。2026 年 5 月,国家网信办、国家发展改革委、工业和信息化

文章图片
#政务#python#开发语言
企业AI基础设施安全沙箱设计:三层隔离下的AI Agent安全

如果任何一个问题的答案是"能"或"不能"(取决于问题方向),你的安全模型需要从应用层下沉到计算运行时层——这正是三层沙箱架构设计的原始动因。

文章图片
#人工智能#安全#云原生 +1
一云多芯:国产NPU与NVIDIA_GPU混合部署实践

GPUInventory Port 的统一抽象——这是根基。如果调度器看到的是两套不同的 API(`nvidia-smi` 和 `npu-smi`),混合部署就永远停留在运维手册层面,无法成为平台能力。HAMi 的跨芯片虚拟化——昇腾 vNPU 切分和 NVIDIA MIG/vGPU 切分在 HAMi 层完成统一建模,对上层暴露完全一致的资源申请语义(`gpu-memory: 16GB, gpu-

文章图片
#云原生#人工智能#架构 +1
一云多芯:国产NPU与NVIDIA_GPU混合部署实践

GPUInventory Port 的统一抽象——这是根基。如果调度器看到的是两套不同的 API(`nvidia-smi` 和 `npu-smi`),混合部署就永远停留在运维手册层面,无法成为平台能力。HAMi 的跨芯片虚拟化——昇腾 vNPU 切分和 NVIDIA MIG/vGPU 切分在 HAMi 层完成统一建模,对上层暴露完全一致的资源申请语义(`gpu-memory: 16GB, gpu-

文章图片
#云原生#人工智能#架构 +1
到底了