本文从Transformer的正余弦绝对位置编码出发，运用泰勒展开推导欧拉公式，严格证明RoPE旋转位置编码。对比显示，RoPE通过复数旋转矩阵将绝对位置转化为相对位置，使注意力分数仅依赖相对距离，赋予模型强外推能力，成为Llama、Qwen、DeepSeek等主流模型的核心选择。

本文介绍了机器学习中常用的损失函数。在回归任务中，包括OLS、MSE、MAE、RMSE和Huber Loss，其中Huber Loss结合了MSE和MAE的优点。分类任务损失函数包含二元交叉熵(BCE)、多分类交叉熵(CCE)和SVM使用的Hinge Loss。还介绍了衡量概率分布差异的KL散度。文章指出损失函数的选择直接影响模型性能，不同损失函数体现了对误差的不同容忍度，建议根据具体任务需求选择

本文介绍了浮点数的规格化和非规格化表示方法。规格化浮点数通过隐藏位1和指数偏置实现标准范围表示，而非规格化通过隐藏位0和固定指数扩展更小数值的表示范围，确保平滑过渡。以FP16为例，规格化最小值为2^-14，非规格化可延伸至2^-24。文章还对比了FP32、FP16、BF16、TF32等浮点格式及Int32/16/8整数格式的特性，说明不同格式在精度、范围和硬件加速方面的应用场景。非规格化设计有效

本文介绍了机器学习中常用的损失函数。在回归任务中，包括OLS、MSE、MAE、RMSE和Huber Loss，其中Huber Loss结合了MSE和MAE的优点。分类任务损失函数包含二元交叉熵(BCE)、多分类交叉熵(CCE)和SVM使用的Hinge Loss。还介绍了衡量概率分布差异的KL散度。文章指出损失函数的选择直接影响模型性能，不同损失函数体现了对误差的不同容忍度，建议根据具体任务需求选择

本文系统分析了网络路由架构中的核心组件RIB与FIB的分离设计，详细阐述了IGP/EGP协议分类及其特点。重点区分了路由策略(Filter/Route-Policy)与策略路由(PBR)的本质差异：前者作用于控制面路由选择，后者控制转发面数据流向。通过构建完整的转发思维模型，揭示了路由器内部从协议处理、路由计算到硬件转发的全流程，为深入理解网络转发机制提供了清晰的框架。