大模型推理过程内存占用(动态)
·
阿里社区博客(重点在transformer的激活值参数量估计):https://developer.aliyun.com/article/1496103
推理时显存占用(GitHub):
显存评估器:https://vram.asmirnov.xyz/?ref=blog.runpod.io
显存评估器中文版(APX):https://apxml.com/zh/tools/vram-calculator
更多推荐
阿里社区博客(重点在transformer的激活值参数量估计):https://developer.aliyun.com/article/1496103
推理时显存占用(GitHub):
显存评估器:https://vram.asmirnov.xyz/?ref=blog.runpod.io
显存评估器中文版(APX):https://apxml.com/zh/tools/vram-calculator
更多推荐
所有评论(0)