INT4 不是只把权重压到 4bit 就会快。INT4 必须让计算路径也进入整数点积。INT4 必须配合 int8 activation + DP4A，不能走 float 解包。

FP4 (E2M1) 格式将 2 个 4-bit 权重打包在 1 个 uint8 中。// 在线 FP4 解包: 查表 + block scale 乘法设计要点每个 block 计算一个 (output_dim, token) 对，256 线程协作共享内存做 block 内 reductionGrid:— 单 token 解码时 grid 为(dim, 1)BF16 输入/输出，FP32 累积。

对每个 token 的隐藏向量，计算它的整体能量 RMS，然后把向量除以这个能量，让进入 Attention / MLP 之前的尺度稳定下来。它不是复杂概念，也不是必须神秘化命名。多维向量的尺度归一化控制多维信号的整体能量稳定 Transformer 层间数值尺度，减少训练和推理中的数值波动一个只调长度、不强行移动中心的多维向量尺度控制器。

LayerNorm（层归一化）是一种对神经网络隐藏层输出的标准化方法，核心是对每个token的隐藏向量进行中心化和尺度归一化。其计算步骤包括：减去均值、除以标准差，再通过可学习的缩放和平移参数调整。与RMSNorm相比，LayerNorm同时处理均值和方差，能更稳定地控制向量分布。在Transformer中，LayerNorm常用于残差连接后，防止梯度不稳定和数值爆炸。PyTorch实现中，Lay

目前的大模型确实已经非常强大，但更准确的判断不是：大模型算法潜力即将到达极限。

文章摘要： 目前尚未出现完全整合"有限元式体素化几何空间+世界模型+强化学习规划"的通用大模型，但相关技术已分散在多个领域。PerAct实现了体素化策略，VoxPoser构建了3D可操作性场，3D-VLA系列注入了几何理解，自动驾驶领域已形成Occupancy世界模型体系，而Cosmos平台提供物理世界生成能力。这些方向分别解决了体素化表示、affordance建模、几何推理和动态预测等子问题，但

本文介绍了在Jetson AGX Orin上运行自研CUDA大模型推理引擎的实验。作者成功在Jetson AGX Orin（64GB RAM，Orin Ampere GPU）上实现了DeepSeek-R1-Distill-Qwen-7B模型的本地推理测试，使用C++/CUDA手写的推理核心路径而非现有框架。通过设置高性能模式（CPU 2201MHz，GPU 1300MHz）和针对sm_87架构的优

摘要：本文分析了IPD制度在不同创新场景下的适用性差异。在成熟市场和对标产品领域，IPD通过明确目标、清晰技术路径、可预测投资回报和风险控制等优势，能有效提升开发效率；但在原创性、探索性创新领域，IPD因需求不确定性、技术路径模糊、投资回报难量化等问题反而形成阻碍。文章指出，企业需建立两套机制：用IPD管理现有业务，同时为颠覆性创新设立独立特战队，采取不同的管理哲学和评估标准，才能兼顾当前效率与未

相比 A100/A800 所在的。

它是 4-bit 的非均匀浮点格点。真实值 ≈ FP4裸值 × block scale × global scale但工程上会用 calibration、clipping、QAT 或误差最小化来改进。FP4 提供一组极少的非均匀浮点格点；NVFP4 通过 block scale 和 global scale，把这些格点缩放到每个 block 的真实数值范围中，从而用 4 bit 近似表达 FP16