在网上看到很多关于注意力机制的说明，下面自己总结一下。大佬绕道下面放几个文章的链接这几年来，在是图像处理、语音识别还是自然语言处理等方面都有注意力机制应用。本文主要了解注意力机制在图像中的应用。........................

前言理论部分参考支持向量机SVM（理论部分）写代码之前，我们要把数据做标准化处理，因为SVM寻找的是使margin最大的中间的那根线，而我们衡量margin的方式是数据点之间的距离，这里涉及到距离，如果我们的数据点在不同的维度上，量纲不同，那我们对数据的估计是有问题的。举个例子，下图有四个样本点，两个属于红色类别，两个属于蓝色类别。如果数据在这两个维度上数据尺度相差过大，例如横轴上范围在（0,1）

这里主要是因为博主作业要求，所以记录一下。关于一元线性回归问题的理论部分其实网上已经有很多解析了，这里记录一下简单的代码实现大佬绕路首先其实解析解实现一元线性回归在我的理解就是我们在取得了方差后，要满足所有数据和我们最后的曲线基本吻合，那么就是求极小值点，为了求极小值，我们求导使其等于零，这样可以取得对应的a,b的值，而我们代码实现其实主要的部分也是求a、b的值接下来上来代码# 实现一维线性回归：

深度可分离卷积

在看过一些基本资料之后进行的小总结大佬绕道1、残差的数学概念是指估计值与实际值直接的差，如果存在一个映射f(x)=b，x=x0时，则b-f(x0)则为残差，x-x0为误差2、残差网络对于传统的CNN网络，简单的增加网络的深度，容易导致梯度消失和爆炸。针对梯度消失和爆炸的解决方法一般是正则初始化(normalized initialization)和中间的正则化层(intermediate norm

好久没有上csdn，最近机缘巧合看到了opencode，相较于Claude Code而言，他是开源免费的，也能选择免费的模型，那对于普通用户而言是比较有利的，而且opencode是可以集成于vscode的，那对于本地或者远端的开发都是有帮助的。

深度可分离卷积

对应github地址gihub首先安装tensorflow-compressionpip install tensorflow-compression==2.2

基于tensorflow1.0+太混乱了，博主转战2.5tensorflow1.0+相应的安装过程可以见tensorflow1.15.0安装1、安装前确定版本信息2、创建虚拟环境打开Anaconda中的 Anaconda Prompt输入命令创建新的虚拟环境conda create -n TF25GPU python=3.7.0注意安装的版本，这里的版本和上面的表格是对应的3、激活虚拟环境输入命令

好久没有上csdn，最近机缘巧合看到了opencode，相较于Claude Code而言，他是开源免费的，也能选择免费的模型，那对于普通用户而言是比较有利的，而且opencode是可以集成于vscode的，那对于本地或者远端的开发都是有帮助的。