先安装好适配的cuda(我选择的是12.1),然后环境中的python版本为3.11,pytorch可以先不安装,后面安装llamafactory的时候自动安装适配的pytorch。然后再安装vllm(为了可以正常部署大模型，这个版本是因为与现在的llamafactory版本匹配)一开始会报确实optimum, 这个直接pip安装就好。就可以正常使用llamafactory进行量化与部署了。先安装

报错信息为“ValueError: The model's max seq len (4096) is larger than the maximum number of tokens that can be stored in KV cache (2704). Try increasing。设置了最大模型长度为4096，这个有的时候会因为硬件原因超出KV缓存的最大长度。然后切换到LlamaFac

​​多阶段混合调度器​return 0.1​​AlphaGo训练方案​阶段1：前20轮 LR=0.1（快速探索）阶段2：20-60轮 LR=0.05（策略优化）阶段3：60+轮 LR指数衰减（精细调优）训练效率提升37%

​​——从边缘部署到多模态融合的范式革命。

云原生是用云的方式去设计、开发和运行应用——把应用拆成小块、装进轻量的容器，用自动化工具（像 Kubernetes）管理，让它能随需弹性伸缩、快速迭代、出问题能自愈并且好观测。

测试对比# 输出: x=0.5: ReLU=0.50, GELU=0.34, Mish=0.41激活函数的演变史反应了深度学习对​​非线性认知的深化​。

​1.1 核心思想​。

​​结构特性​​：卷积层提取空间特征，池化层增强鲁棒性​​数学本质​​：局部连接 + 权值共享​​工程价值​​：计算机视觉任务的基础架构%20bn%29%20x。

当英伟达在2018年发布Tesla V100时，深度学习界迎来了一场寂静的革命：混合精度训练技术（FP16）。这项技术如同打开了一道魔法门，让原本需要数周的训练任务在几天内完成，将GPU利用率推向前所未有的高度。

​，输出层根据任务选择（如分类用Softmax）。Transformer中的​。前馈神经网络（MLP）由​。在残差块中，MLP用于​。​组成，每层全连接。