# 广播机制# 当对两个形状不同的Tensor按元素运算时，# 可能会触发广播（broadcasting）机制：先适当复制元素使这两个Tensor形状相同后再按元素运算import torchx = torch.arange(1, 3).view(1, 2)print(x, 'x')y = torch.arange(1, 4).view(3, 1)print(y, 'y')print(x + y,

1、基本概念在之前的博客当中描述了怎样模拟出了梯度下降的过程如果是多维情况，theta其实是一个向量，那么对其求导的损失函数也是向量，梯度就是损失函数对每个方向的theta求偏导。和之前的一维线性回归相比，我们对只是对w这个数字进行求导，而现在针对多系数theta，对theta整个向量进行求导。有两个参数的梯度下降法进行可视化，一圈一圈代表等高线，圈上的值就是梯度。越外层J的取值越大，越里层J的取

在网上看到很多关于注意力机制的说明，下面自己总结一下。大佬绕道下面放几个文章的链接这几年来，在是图像处理、语音识别还是自然语言处理等方面都有注意力机制应用。本文主要了解注意力机制在图像中的应用。........................

前言理论部分参考支持向量机SVM（理论部分）写代码之前，我们要把数据做标准化处理，因为SVM寻找的是使margin最大的中间的那根线，而我们衡量margin的方式是数据点之间的距离，这里涉及到距离，如果我们的数据点在不同的维度上，量纲不同，那我们对数据的估计是有问题的。举个例子，下图有四个样本点，两个属于红色类别，两个属于蓝色类别。如果数据在这两个维度上数据尺度相差过大，例如横轴上范围在（0,1）

这里主要是因为博主作业要求，所以记录一下。关于一元线性回归问题的理论部分其实网上已经有很多解析了，这里记录一下简单的代码实现大佬绕路首先其实解析解实现一元线性回归在我的理解就是我们在取得了方差后，要满足所有数据和我们最后的曲线基本吻合，那么就是求极小值点，为了求极小值，我们求导使其等于零，这样可以取得对应的a,b的值，而我们代码实现其实主要的部分也是求a、b的值接下来上来代码# 实现一维线性回归：

深度可分离卷积

在看过一些基本资料之后进行的小总结大佬绕道1、残差的数学概念是指估计值与实际值直接的差，如果存在一个映射f(x)=b，x=x0时，则b-f(x0)则为残差，x-x0为误差2、残差网络对于传统的CNN网络，简单的增加网络的深度，容易导致梯度消失和爆炸。针对梯度消失和爆炸的解决方法一般是正则初始化(normalized initialization)和中间的正则化层(intermediate norm

好久没有上csdn，最近机缘巧合看到了opencode，相较于Claude Code而言，他是开源免费的，也能选择免费的模型，那对于普通用户而言是比较有利的，而且opencode是可以集成于vscode的，那对于本地或者远端的开发都是有帮助的。

深度可分离卷积

对应github地址gihub首先安装tensorflow-compressionpip install tensorflow-compression==2.2