Qwen2.5-Coder模型的资源要求和部署方式
Qwen2.5-Coder 是一系列功能强大的、以编程为核心的模型,最高支持128K tokens的上下文长度,并兼容92种编程语言。该系列模型在多项代码相关任务中表现出色,包括多语言代码生成、代码补全和代码修复。在Qwen2.5-Coder的基础上,经过指令微调的变体 Qwen2.5-Coder-Instruct 进一步提升了各项任务的性能,并展现出卓越的泛化能力。
主要特性包括:
-
多语言编程能力:Qwen2.5-Coder-Instruct 在覆盖40多种语言的McEval基准测试中表现出卓越的性能,即使是小众编程语言也不例外。
-
代码推理能力:该模型在CRUXEval基准测试上取得了令人瞩目的成绩,展示了强大的代码推理能力。这种增强的推理能力也与复杂指令遵循任务的性能提升相关。
-
数学能力:作为编码的基础学科,数学是该模型同样擅长的领域,凸显了其在STEM领域的强大综合能力。
-
基础能力:Qwen2.5-Coder-Instruct 继承了基础模型Qwen2.5强大的通用能力,确保了其在广泛任务中的稳定性和适用性。
资源要求
|
模型规模 |
部署要求 |
训练要求 |
|
Qwen2.5-Coder-0.5B/1.5B |
最低卡型配置为单卡P4,推荐部署机型为单卡GU30、单卡A10、单卡V100、单卡T4等。 |
使用16GB显存(例如T4、P100、V100)及以上卡型。 |
|
Qwen2.5-Coder-3B/7B |
最低卡型配置为单卡P100、单卡T4、单卡V100(gn6v)等,推荐部署机型为单卡GU30、单卡A10等; |
使用24GB显存(例如A10、T4)及以上卡型。 |
|
Qwen2.5-Coder-14B |
最低卡型配置为单卡L20、单卡GU60、双卡GU30等,推荐部署机型为双卡GU60、双卡L20等。 |
使用32GB显存(例如V100)及以上卡型。 |
|
Qwen2.5-Coder-32B |
最低卡型配置为双卡GU60、双卡L20、四卡A10等,推荐部署机型为四卡GU60、四卡L20、8卡V100-32G等。 |
使用80GB显存(例如A800/H800)及以上卡型。 |
更多推荐
所有评论(0)