API请求地址：https://wishub-x1.ctyun.cn/v1注意：cherry-studio中的地址为：https://wishub-x1.ctyun.cn/v1/API请求完整地址：https://wishub-x1.ctyun.cn/v1/chat/completionsAPI请求模型名称(昇腾版r1)：4bd107bff85941239e27b1509eccfe98。

链接: https://pan.baidu.com/s/1xEBuFmR4LGxcApNDBaSNeQ?

多模态学习的本质，是让机器“多感官化”。

Ollama 以多模型支持和简单易用降低 AI 门槛，适合个人实验；vLLM 和 LMDeploy 则在性能、精度和并发性上占据优势，适合生产环境。

▲如果关注 数学 → GSM8K + MATH；▲如果关注 考试/知识 → MMLU、C-Eval、CMMLU；▲如果关注 常识与事实性 → ARC、Winogrande、TruthfulQA；▲如果关注 对话与指令 → MT-Bench、AlpacaEval；▲如果只想快速跑通 → demo 数据集；合理搭配数据集，才能全面、客观地评估你的模型。

​归一化就是先把所有向量拉成相同长度，只比方向不比大小。归一化就是把每个向量除以它的模长，把所有向量都拉成单位长度，这样在比较时（比如用余弦相似度）只看向量的方向／夹角，不会被原始的大小（如词频、亮度、信号强度）影响——换句话说，归一化把“谁更大”这个因素去掉，只比较“谁更像”。​

DeepSpeed 是微软开发的一个开源分布式训练优化框架，专为大规模深度学习模型设计。其核心目标包括：降低训练成本：通过优化显存和计算效率，支持千亿级参数模型的训练。提升易用性：与PyTorch无缝集成，并兼容Hugging Face Transformers等主流生态。扩展性：支持从单机多卡到千卡级集群的分布式训练。

LLaMA-Factory 的量化导出功能受限于依赖复杂、格式支持少和量化质量优化不足，不适合高效部署。vLLM 提供灵活的量化支持和高吞吐量推理，但需外部工具预量化。LMDeploy 以 AWQ 量化和 TurboMind 引擎实现极致性能，部署流程简单，适合生产环境。开发者应根据硬件、推理需求和部署场景选择合适的工具，推荐优先考虑 LMDeploy 或 vLLM 以实现高效量化导出和推理。

bf16 已成为LLM训练社区的事实标准。而 pure_bf16 作为进一步突破显存极限的利器，在千亿级模型训练和QLoRA等高效微调技术中扮演着越来越重要的角色。随着硬件（如H100对fp8的支持）和软件（更鲁棒的pure_bf16训练策略）的持续演进，精度优化的艺术将不断精进。精度的选择，绝非简单的配置项，而是资源约束下模型性能与训练成功的战略决策。 理解 bf16、fp16、fp32 和 p

【没有最好，只有最合适】量化是让巨人穿上跑鞋，小模型是培养灵活的短跑选手。当你的应用需要：保留复杂能力 → 量化大模型极端资源限制 → 设计小模型鱼与熊掌兼得 → 小模型+量化理解这一本质区别，就能在算力与智能的平衡木上走出最优路径。未来的赢家，属于那些能精准匹配模型能力与硬件边界的AI工程师。