登录社区云,与社区用户共同成长
邀请您加入社区
当前,抗击肺炎战役进入攻坚阶段,在家远程办公,将成为未来一段时间人们工作的常态。
有一个idea想快速开发上线,但是员工无法到岗,又不想错过这个商业机会,怎么办?
开发环境和办公设备都在办公室,之前又没有远程办公经验,怎么办?
在家办公,连不上办公电脑,代码放在个人笔记本,如何与其他协同编码?
如何在家实现异地协同,高效开发?华为云DevCloud提供安全、方便、一站式解决方案,请您收好这份宝典!
免费领 150 小时云算力,进群参与显卡、AI PC 幸运抽奖
更多推荐
大模型推理加速:vLLM 在 K8s 动态扩缩容与 GPU 显存碎片的优化实践
下面是一套可以在 K8s 集群外侧或 Custom Metrics Adapter 中运行的 Python 监控与自动化伸缩评估代码。"""生产级 vLLM 显存利用率与 K8s 动态扩缩容评估探针作者: 苏沁宁 (苏苏)""""""vLLM 推理引擎 Prometheus 指标拉取与 HPA 决策器"""try:# 提取浮点数值logger.error(f"查询 Prometheus 指标失败
大模型推理引擎架构深度解析:vLLM、SGLang与TensorRT-LLM的技术路线对决
本地部署大模型,服务器还是工作站?先把显存这笔账算清楚(浪潮 / 联想实战选型)
从一手交付经验出发,用 30 秒显存口算法、三场景决策框架、GPU 量化与 vLLM 调优细节,算清本地部署大模型"服务器 vs 工作站"的真正分界线,附成本测算模板与四条避坑经验。
扫一扫分享内容
为遵守国家网络实名制规定,未绑定将限制内容发布与互动
所有评论(0)