logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

华为901B上微调Qwen14B和Qwen32B实录---环境篇

华为910B大模型微调实战指南 本文详细记录了在华为910B NPU服务器上微调Qwen14B/32B模型的全过程。关键要点包括: 容器配置必须使用--net=host模式,并正确挂载NPU设备驱动 软件版本严格匹配:Transformers,torch与torch_npu需配对安装 网络受限时可将LLaMA-Factory离线打包安装 虚拟环境常见问题排查:检查pip/python路径指向,避免

如何为自己的Agent搭建自己MySQL数据库

本文介绍了在英伟达服务器上搭建MySQL数据库的详细步骤。主要内容包括:1)通过Yum源安装MySQL 8.0社区版;2)解决安装过程中可能遇到的GPG Key验证问题;3)数据库初始化及root密码修改方法;4)启动服务和基础测试验证。文章强调拥有本地数据库是让大模型生成有效SQL查询的前提,并预告后续将分享如何将数据库与大模型能力结合使用。整个过程涵盖了从安装到配置的关键环节,为开发者提供了实

#数据库#mysql
大模型微调训练---机器(训练资源)篇

本文探讨了微调大模型时硬件资源的关键影响。作者通过对比昇腾910B、V100和RTX5880等显卡的实际使用体验,指出计算能力(Compute Capability)和显存容量是两大核心制约因素。重点分析了:1)不同计算能力对TensorCore支持的影响;2)显存大小决定可训练模型规模;3)量化训练和DeepSpeed对硬件的要求;4)参数设置与显存占用的关系;5)多卡通信带宽对训练速度的影响。

#深度学习#人工智能
华为901B上微调Qwen14B和Qwen32B实录---训练准备篇

本文探讨在华为910B服务器上微调Qwen大模型前的准备工作,重点分析机器能力、基模选择与数据量的平衡关系。通过测试发现,在8卡64G配置下,使用DeepSpeed ZeRO-3优化可支持32B模型训练,显著提升资源利用率。同时指出模型规模与数据量的匹配关系:7B模型推荐2万条高质量数据,14B约4万条,32B约8万条,72B约15万条。强调高质量数据的重要性,建议根据实际资源、模型规模和数据质量

#深度学习#人工智能
华为901B上微调Qwen14B和Qwen32B实录---环境篇

华为910B大模型微调实战指南 本文详细记录了在华为910B NPU服务器上微调Qwen14B/32B模型的全过程。关键要点包括: 容器配置必须使用--net=host模式,并正确挂载NPU设备驱动 软件版本严格匹配:Transformers,torch与torch_npu需配对安装 网络受限时可将LLaMA-Factory离线打包安装 虚拟环境常见问题排查:检查pip/python路径指向,避免

大模型微调训练---机器(训练资源)篇

本文探讨了微调大模型时硬件资源的关键影响。作者通过对比昇腾910B、V100和RTX5880等显卡的实际使用体验,指出计算能力(Compute Capability)和显存容量是两大核心制约因素。重点分析了:1)不同计算能力对TensorCore支持的影响;2)显存大小决定可训练模型规模;3)量化训练和DeepSpeed对硬件的要求;4)参数设置与显存占用的关系;5)多卡通信带宽对训练速度的影响。

#深度学习#人工智能
大模型微调训练---机器(训练资源)篇

本文探讨了微调大模型时硬件资源的关键影响。作者通过对比昇腾910B、V100和RTX5880等显卡的实际使用体验,指出计算能力(Compute Capability)和显存容量是两大核心制约因素。重点分析了:1)不同计算能力对TensorCore支持的影响;2)显存大小决定可训练模型规模;3)量化训练和DeepSpeed对硬件的要求;4)参数设置与显存占用的关系;5)多卡通信带宽对训练速度的影响。

#深度学习#人工智能
大模型微调训练---机器(训练资源)篇

本文探讨了微调大模型时硬件资源的关键影响。作者通过对比昇腾910B、V100和RTX5880等显卡的实际使用体验,指出计算能力(Compute Capability)和显存容量是两大核心制约因素。重点分析了:1)不同计算能力对TensorCore支持的影响;2)显存大小决定可训练模型规模;3)量化训练和DeepSpeed对硬件的要求;4)参数设置与显存占用的关系;5)多卡通信带宽对训练速度的影响。

#深度学习#人工智能
大模型微调训练---机器(训练资源)篇

本文探讨了微调大模型时硬件资源的关键影响。作者通过对比昇腾910B、V100和RTX5880等显卡的实际使用体验,指出计算能力(Compute Capability)和显存容量是两大核心制约因素。重点分析了:1)不同计算能力对TensorCore支持的影响;2)显存大小决定可训练模型规模;3)量化训练和DeepSpeed对硬件的要求;4)参数设置与显存占用的关系;5)多卡通信带宽对训练速度的影响。

#深度学习#人工智能
华为901B上微调Qwen14B和Qwen32B实录---训练准备篇

本文探讨在华为910B服务器上微调Qwen大模型前的准备工作,重点分析机器能力、基模选择与数据量的平衡关系。通过测试发现,在8卡64G配置下,使用DeepSpeed ZeRO-3优化可支持32B模型训练,显著提升资源利用率。同时指出模型规模与数据量的匹配关系:7B模型推荐2万条高质量数据,14B约4万条,32B约8万条,72B约15万条。强调高质量数据的重要性,建议根据实际资源、模型规模和数据质量

#深度学习#人工智能
    共 11 条
  • 1
  • 2
  • 请选择