相比 A100/A800 所在的。

它是 4-bit 的非均匀浮点格点。真实值 ≈ FP4裸值 × block scale × global scale但工程上会用 calibration、clipping、QAT 或误差最小化来改进。FP4 提供一组极少的非均匀浮点格点；NVFP4 通过 block scale 和 global scale，把这些格点缩放到每个 block 的真实数值范围中，从而用 4 bit 近似表达 FP16

是的，从“大模型专用计算”的方向看，NVIDIA 的 FP4/NVFP4 + Transformer Engine + TMA/WGMMA，确实越来越像昇腾这类 DSA/NPU 架构。这就是为什么 NVIDIA、昇腾、TPU、寒武纪、摩尔线程、沐曦都会越来越像。INT8 / FP16 / BF16 / FP8等路线，具体依平台。因为 FP4/NVFP4 已经不是“普通浮点计算”了。FP4 / NV

摘要： NVIDIA Blackwell架构相比Hopper的核心升级在于系统级优化AI推理、MoE、长上下文和FP4低精度场景，而非单纯性能提升。Blackwell引入第五代Tensor Core，原生支持FP4/NVFP4，结合第二代Transformer Engine优化低精度推理；采用NVFP4微缩技术，提升量化精度。第五代NVLink支持576 GPU互联，实现机架级推理系统，优化MoE

从大模型专用计算的方向看，。但更准确地说：不是 Blackwell 变成了昇腾，而是二者都在被 Transformer / MoE 的计算结构逼向同一个方向：低精度矩阵计算、显式数据搬运、片上缓存流水、编译器与算子深度协同。也就是说，未来 AI 芯片的核心竞争，不再只是“GPU 还是 NPU”，而是谁能把大模型的矩阵数学最高效地映射成硬件数据流。

TMA 是搬数据，WGMMA 是算矩阵，FP8/FP4 是降低每个数的 bit 数。A800 缺的是 Hopper/Blackwell 这些新硬件路径，所以它的优化重点不是追 FP8/FP4，而是：把计算形状改造成 A800 擅长的 BF16/FP16 大 GEMM。

FP4 (E2M1) 格式将 2 个 4-bit 权重打包在 1 个 uint8 中。// 在线 FP4 解包: 查表 + block scale 乘法设计要点每个 block 计算一个 (output_dim, token) 对，256 线程协作共享内存做 block 内 reductionGrid:— 单 token 解码时 grid 为(dim, 1)BF16 输入/输出，FP32 累积。

INT4和FP4在数学表示范围上存在核心差异。INT4（包括UINT4、有符号INT4和对称INT4）裸编码范围为整数离散值（如[-8,7]或[-7,7]），真实范围由scale决定，数值呈等间距分布。FP4（如E2M1/NVFP4）采用1位符号、2位指数、1位尾数的格式，裸值范围为[-6,6]，数值呈非均匀分布（如±0.5,±1,±1.5等），且真实值需与block scale和global s

本文介绍了一个基于Transformer的位置嵌入(Positional Embedding)实现。该代码使用正弦余弦函数生成位置编码，支持最大序列长度为100，嵌入维度为512。关键功能包括：1) 通过_get_embedding_方法获取指定位置向量；2) 提供两种可视化方式：热力图展示位置与维度的关系，散点图展示不同位置在选定维度上的分布。可视化结果直观展示了位置编码的周期性和位置间的相对关

MIT博士生Songlin Yang梳理了可能替代Transformer的新模型架构，包括Mamba 2、DeltaNet、TTT/Titans等前沿技术。这些架构在效率、扩展性等方面展现出潜力。资料源自其技术报告，原始PPT可在GitHub获取。该综述为研究下一代序列建模架构提供了重要参考。