范数”是衡量向量“大小”的函数，常用符号 ‖·‖。深度学习里几乎一律采用 L² 范数（欧几里得范数）在神经网络训练中，我们通过反向传播计算损失函数对各层参数的梯度。设模型的所有参数为向量θ\thetaθ，其梯度表示为∇θL∇θ​L，则梯度范数通常用L2L^2L2∥∇θL∥2∑i∂L∂θi2∥∇θ​L∥2​i∑​∂θi​∂L​2​梯度范数反映了在当前迭代中模型参数的“更新强度”。

大模型推理的速度天花板是显存带宽，而不是算力。任何减少"每 token 权重搬运次数"的设计，都能在零质量损失的前提下带来数倍加速。target : 60 层 / 30.7B 参数 / 61.4 GB BF16 → 一次前向 ~30.7 msdrafter : 4 层 / 0.5B 参数 / 1.0 GB BF16 → 一次前向 ~0.5 msdrafter 戴着 target 的眼镜（共享 em

Spark的端口总结Master节点的web端口是8080,work节点的web端口是8081   spark master web ui 默认端口为8080，当系统有其它程序也在使用该接口（比如:Tomcat）时，启动master时也不会报错，spark自己会改用其它端口，自动端口号加1,也可以自行设置,修改方法:1、cd $SPARK_HOME/sbin2、vi...

 由于github宣布私人库免费，就立马来看看，mark一下，太容易忘记了；第一步：注册账号（已经有了）第二步：创建私人仓库第三：本地选择一个文件夹，git init 第四：这是最关键的一步，生成ssh（本质上就是等同于身份认证的作用）          ssh-keygen -t rsa -C "geren@126.com“ 第五：找到生成的...

我们了解神经网络以及它们从数据科学到计算机视觉的多个领域中的无数成就。众所周知，它们在解决有关泛化性方面的复杂任务中表现良好。从数学上讲，他们非常擅长近似任何的复杂函数。让我们形象化地理解这种近似概念，而不是前向和后向传播方法中的最小化预测误差。假设你了解前向和后向传播的一点基础，其旨在借助梯度和网络中的错误传播来近似函数。让我们通过另一种视觉解释来理解神经网络的近似能力。其中涉及基础数学和图形分

前提：tf.train.import_meta_graph加载metasaver = tf.train.import_meta_graph(os.path.join(model_fullpath,'model.ckpt-7.meta'))第一种方法：在上一篇博客中就已经体现了；首先需要找到相关操作的变量名；       首先找到需要的变量的名称；比如我需要的一个网络节点名称为encod...

我在master分支将dev分支合并进来了，需要撤销这一次的合并，要怎么操作呢，直接执行git commit revert提示如下：因为合并必然涉及两个分支，撤销合并就需要选择保留哪个分支； 当A与B合并成D，撤销D就需要告知是保留父分支A还是保留父分支B-m 参数用于指定合并提交的父提交，告诉 Git 在撤销合并时应该以哪个父提交为基准。合并提交通常有两个父提交：需要明确选择保留哪个父提交的内容

问题描述：在多个目录下新增了很多文件，但git add时出现大量的文件未跟踪；git push时这些文件并不会被更新到远程库，这是为什么呢？对比思维：通过对比发现这次提交和以前有什么不同呢？1、使用了Linux终端进行分别更新；2、没有在根目录下更新，而是子文件夹下更新；通过实践发现第一点没有作用。更新移动根目录下就可以了，该问题就解决了。...

一、问题描述：以前GPU都用的好好的，突然今天就用不了，程序无法启用GPU，nvidi-smi命令显示：No running process found想起中间卸载过重装过tensorflow-cpu版本；于是卸载重装，仍然无法使用，问题依旧；然后卸载tensorlfow-gpu版本，然后再重装，再使用就OK了这说明tensorflow-gpu的使用是非常依赖于tensorflo...

问题来源：执行一段程序，对某个函数重复执行，当执行到一半时，就显示被killed，重复几次均如此。为什么会这样呢？第一步、定位被killed的根本原图；使用vi /var/log/messages查看日志。日志显示，是由于内存溢出导致的。第二步、定位内存溢出的原因：在主要的函数的前面加入@profile，用于显示每行代码的内存使用情况。通过输出显示，该函数的内存一直在增长。第三、第一种假设，会不会