eg：#definedigitalHi(p,i){p->BSRRL=i;}#define digitalLo(p,i){p->BSRRH=i;}#define digitalToggle(p,i){p->ODR ^=i;}对于上述的P->BSRRL或P->BSRRH 或P->ODRP并不是一个建立好的结构体变量，而是设定出来告诉宏，要寻找的BSSRL，BSSRH

目标驱动：只关心最终的Loss，不关心中间层"应该"是什么链式传播：通过链式法则，将输出层的误差信号逐层传回梯度下降：沿着负梯度方向调整参数，保证Loss局部下降这种"不求全局最优解，只求每步改进"的策略，让我们能够训练拥有数十亿参数的深度模型。

向量这个概念,最初是十九世纪物理学家为了描述力和速度这类"既有大小又有方向"的量搞出来的。你想啊,牛顿那会儿研究力学,光说"这个力是10牛顿"不够用啊,你得说清楚这力往哪个方向使劲吧?1843年,爱尔兰数学家哈密顿(对,就是那个搞出哈密顿量的家伙)正式提出了向量的数学定义。后来格拉斯曼又把它推广到多维空间。这玩意儿最开始就是个物理工具,谁能想到两百年后它会成为神经网络的通用语言呢?历史定位一句话:

这是《大模型量化从0到1》系列的第 2 篇。上一篇我们建立了"三角权衡"的直觉，知道了量化能省显存、代价是精度。但要真正理解 GPTQ、AWQ、GGUF 为什么效果不同，你必须先看懂。这一篇我们不放过任何一个公式，从最基础的映射一路手撕到 per-group 量化，每个公式都配可运行的 NumPy/PyTorch 代码，让你亲眼看到每一个数字是怎么算出来的。看完这篇，后面所有格式的原理你都能秒懂。

erate bitsandbytes ### 5.2 加载原始 FP16 模型 ```python from transformers import AutoModelForCausalLM model_name = "facebook/opt-6.7b" # 6.7B 参数 model_fp16 = AutoModelForCausalLM.from_pretrained(model_name,

文章摘要： 本文深入解析了模型量化中的两种主要方法——PTQ（训练后量化）和QAT（量化感知训练）的区别与应用场景。PTQ直接对预训练模型进行量化，速度快、成本低，适合大模型部署；QAT则在训练阶段模拟量化过程，精度更高但计算成本昂贵。文章通过原理拆解、代码示例和对比分析指出：PTQ凭借性价比优势成为大模型时代的主流选择，而QAT仅在极低比特或高精度要求的特殊场景下才值得考虑。作者用一个PyTor

前三篇我们讲了为什么量化、量化的数学、还有 PTQ/QAT 两条路。这篇要讲讲 FP32、FP16、BF16、INT8、INT4、FP8、NF4——它们到底是啥,一个比特一个比特是怎么排的,又各自适合干什么。

摘要： AWQ（激活感知权重量化）是一种创新的4bit量化方法，其核心思想是通过激活而非权重本身判断通道重要性。研究发现，保护激活幅度大的1%关键通道即可显著保持模型精度。AWQ采用数学上的等价缩放技术，对重要权重放大（提高量化精度）并对应缩小激活值，在保持INT4统一精度的同时降低关键通道的量化误差。相比GPTQ的误差补偿策略，AWQ通过预统计激活分布和缩放系数搜索实现更高效的保护，且无需混合精

GGUF是一种专为本地大模型部署设计的文件格式，与量化算法（如AWQ/GPTQ）不同，它致力于将模型权重、结构、分词器等所有必要信息打包成单一文件，实现开箱即用的便捷体验。其核心优势在于： 自包含单文件：整合模型全部组件，避免多文件管理的繁琐。 跨平台兼容性：通过CPU优化和内存映射技术，支持笔记本、Mac等无GPU设备运行。 高效加载设计：文件结构分为元数据（键值对存储配置）和张量数据（分块量化

本文是一篇AWQ量化实战指南，通过autoawq库完整演示了将FP16大模型量化为INT4的流程。文章从环境准备、模型选择开始，详细讲解了校准数据准备、量化执行、参数配置等关键步骤，量化后模型大小缩减至原版的30%左右。核心参数如w_bit、q_group_size、zero_point等均对应AWQ原理，量化后的模型可直接加载推理。全文提供可复现代码，帮助读者快速掌握量化技术，在保持模型精度的同