登录社区云,与社区用户共同成长
邀请您加入社区
如果我们选择:
"文件->在Github中保存一份副本"
我们会发现弹出来的是官方的一些tensorflow的一些repository,那么如何保存到自己的github repository呢?
技巧是,首先"文件->在云端硬盘中保存一份副本"
然后在副本上操作
这样就会弹出自己的github授权对话框,然后就可以保存到自己github中指定的repository了.
免费领 150 小时云算力,进群参与显卡、AI PC 幸运抽奖
更多推荐
模型量化精度异常时的检查与止损
为了将 70B 大语言模型的部署成本打下来,我们将线上 vLLM 推理集群的模型权重与激活值从 FP16 全量量化到了 INT8(采用 W8A8 方案)。量化效果立竿见影:单卡 A100-80G 的显存占用直接从 140GB(需 2 卡并行)缩减到了 70GB,单卡即可拉起,推理吞吐量(Tokens/s)提升了将近一倍。然而上线不到两天,客服渠道就接到了多起投诉。在处理复杂代码推导和长文本逻辑分析
Linux 到底能不能做实时?TSC 抖动测试10纳秒!
大模型实战指南(11)——推理框架选型实战:vLLM × SGLang × TensorRT-LLM 深度对比与部署指南
扫一扫分享内容
为遵守国家网络实名制规定,未绑定将限制内容发布与互动
所有评论(0)