摘要： 显存（VRAM）已成为大模型训练的关键瓶颈，远超内存（RAM）的重要性。7B参数的模型仅权重就需约28GB显存，而训练中的梯度、优化器状态和激活值进一步加剧消耗。FP16、INT8等精度优化及QLoRA技术可降低需求，但激活值仍占显存大头。H100显卡因80GB HBM3显存和3.35TB/s带宽成为首选，但其高昂价格促使团队转向云端租赁。理解显存机制对资源规划至关重要，开发者需权衡精度、

2024年开源大模型生态呈现爆发式增长，开发者面临选择困境。本文提出三大选型维度：1)参数规模与硬件资源的平衡，需根据显存需求选择合适模型；2)语言能力与领域适配性，中文场景优先考虑国产模型；3)许可证条款，注意商用限制差异。建议采用渐进式选型策略：从候选池筛选到小规模验证，再到生产试点。最终强调选型应服务于业务需求，没有最优只有最适合的方案。

摘要：本文探讨了在显存受限条件下微调大模型的技术方案。通过量化技术（如INT4、LLM.int8()、GPTQ）、梯度检查点与累积、优化器状态管理（8-bit优化器、分页优化器）等方法，可显著降低显存需求。实践表明，组合使用QLoRA、PagedAdamW等技术后，单张24GB显存的RTX4090也能微调70B参数模型。这些优化方案使个人开发者和小团队也能参与大模型微调，突破了硬件限制的瓶颈。

摘要：通用大模型在实际业务场景中面临行业壁垒，微调成为定制化的关键。PEFT技术（如LoRA和QLoRA）显著降低了微调成本，使消费级显卡也能完成企业级微调。LoRA通过旁路矩阵实现高效学习，而QLoRA采用4-bit量化进一步压缩显存。实践步骤包括算力准备、环境配置、数据构建和模型训练。QLoRA虽牺牲部分速度，但性能接近全参数微调，显存节省高达59%。未来，微调技术将推动AI应用"百