内容大多来自统计学习方法——李航机器学习——周志华1. 统计学习三要素  统计学习方法都是有模型、策略和算法构成的，也就是统计学习方法由三要素构成，可以简单地表示为：方法=模型+策略+算法方法=模型+策略+算法方法=模型+策略+算法构建一种统计学习方法就是确定具体的统计学习的三要素。1.1 模型  统计学习首要考虑的问题是学习什么样的模型，在监督学习过程中...

基本的线性回归模型因为都比较容易这里不赘述，主要讲 线性回归中的 Lasso 问题1. 线性回归正则化  为了防止模型的过拟合，我们在简历线性模型的时候经常需要加入正则化项。一般有 L1 正则化和 L2 正则化。其中，L1 正则化通常称为 Lasso 回归，它和一般线性回归的区别是在损失函数上增加了一个 L1 正则化的项，L1 正则化的项有一个常数 αα\alpha 来调节损失函数的均方差...

降维  在进行特征计算时，如果维度过高，会给很多计算带来灾难性的后果，比如当维度很高的时候甚至连内积的计算都十分困难。在高维的情形下出现的数据样本稀疏，距离计算等困难问题，被称为 “维数灾难（curse of dimensionality）”。而缓解维数灾难的一个途径就是进行降维（dimension reduction），也就是通过某种数学变换将高维属性空间转变为一个低维 “子空间”（subs..

c++ 中的随机数  在 C++ 程序中，在新标准出现之前，C 和 C++ 都依赖一个简单的 C 库函数 rand 来生成随机数，但是，这个函数生成的是均匀分布的伪随机数，每个随机数的范围在 0 和一个系统相关的最大值（至少为 32767）之间。  rand 函数有一些问题：即使不是大多数，也有很多程序需要不通范围的随机数。一些应用需要随机浮点数。一些程序需要非均匀分布的随机数。而在编写程...

配置前首先在自己的python 环境中安装 pyqt5pip install PyQt5pip install PyQt5-toolsvscode 安装插件在 vscode 中安装 插件 pyqt integration配置插件按照如下进行配置即可：开心使用

这种情况一般是由于cuda 重新安装或没有在默认路径。找到自己的cuda 安装路径后，使。下，因此没有找到系统环境变量。

Understanding the difficulty of training deep feedforward neural networks这几天读了这篇论文，在这里将大致内容写在这里。Abstract介绍这篇论文的主要内容就是尝试更好的理解为什么使用“标准随机初始化”来计算使用标准梯度下降的网络效果通常来讲都不是很好。首先研究了不同的非线性激活函数的影响，发现 sigmoid 函数它的均值

看完了数字图像处理后，从头开始使用opencv进行相关内容的实现，使用的环境是VS2013+OpenCV2.4.91.图像的加运算加运算就是两幅图像对应像素的灰度值或彩色分量进行相加。主要有两种用途，一种是消除图像的随机噪声，主要做是讲同一场景的图像进行相加后再取平均；另一种是用来做特效，把多幅图像叠加在一起，再进一步进行处理。对于灰度图像，因为只有单通道，所以直接进行相应位置的像素加

1.空域滤波介绍空域滤波是一种邻域处理方法，通过直接在图像空间中对邻域内像素进行处理，达到平滑或锐化图像的作用。空域滤波是图像处理领域中广泛使用的主要工具。空域滤波主要可以分为线性滤波和非线性滤波，其中，线性滤波和频域滤波存在一一对应的关系。但是，空域滤波可以用于非线性滤波，但是频域滤波不能用于非线性滤波。从根源上讲，滤波这一词语来自于频域，信号处理中频域滤波指的是允许或者限制一定的频率成

在使用新版本pytorch 执行老版本代码时，或使用 torchkeras 时，有事会出现如下错误：AttributeError: module 'torch.nn' has no attribute 'MultiheadAttention'解决方案：这是由于版本不匹配导致的，一个快速的解决方法是安装另一个包：pip install torch_multi_head_attentionfrom t