自动求导机制目录一、torch.autograd一、torch.autogradautograd是pytorch最重要的组件，主要包括Variable类和Function类，Variable用来封装Tensor,是计算图上的节点，Function则定义了运算操作，是计算图上的边。Tensortensor张量和numpy数组的区别是它不仅可以在cpu上运行，还可以在GPU上运行。tensor其实包含

网上有不少介绍这个的，我再自己整理一遍以加强理解，便于以后查阅。

神经网络训练的过程就是权重参数寻优的过程，我们想知道随着训练的进行，参数到底发生怎样的变化。本文以LeNet为例，进行一些试验观察。LeNet代码见上一小节，这里只给出conv2层的权重，其形状为 16×6×5×5，其他层权重的变化情况类似。不同训练轮数conv2层权重的分布直方图：conv2权重的均值、标准差、随机抽取的10个参数以及梯度的1范数随训练500轮的变化情况：可以看出：（1）初始分布

  sklearn和scipy里面都提供了kmeans聚类的库，但是它们都是根据向量直接进行计算欧氏距离、闵氏距离或余弦相似度，如果使用其他的度量函数或者向量维度非常高需要先计算好度量距离然后再聚类时，似乎这些库函数都不能直接实现，于是我用numpy自己写了一个，运行也非常快。这里记录下来以后备用：import numpy as npimport matplotlib.pyplot as plti

分类问题常用的几种损失，记录下来备忘，后续不断完善。nn.CrossEntropyLoss()交叉熵损失常用于多分类问题CE = nn.CrossEntropyLoss()loss = CE(input,target)Input: (N, C) , dtype: float, N是样本数量，在批次计算时通常就是batch_sizetarget: (N), dtype: long，是类别号，0 ≤

我们经常用参数量和浮点计算数FLOPs来衡量卷积网络的复杂度。下面推导其公式并在pytorch中实现，以二维卷积Conv2d为例。

在搭配深度学习多个卷积层时我们经常要计算卷积层的输出张量的尺寸大小，可以用如下公式计算：1, 公式卷积层输出尺寸： o = ⌊(i + 2p - k) / s⌋ + 1式中，i:输入尺寸；o:输出尺寸；p:padding；k: kernel_size；s: stride。⌊…⌋表示向下取整。2, 推导过程这个公式不用死记，下面我用非常便于理解的方法描述这个推导。卷积就是对相邻的一片数据进行加权求和

本文使用numpy和pytorch分别操作，对图像进行fft变换和ifft变换，以实现图像的频域分析。pytorch的fft功能在1.7.1版之后才完善，支持CUDA和autograd，可以加入到神经网络中实现一些有趣的操作。

Unet是一种自编码器网络结构，用于图像分割任务，比如眼底图像血管分割。这位大佬已经开源了非常棒的该任务代码，但是代码比较复杂，我初学菜鸟硬是啃了好几天才啃下来。我把代码重写了一遍，仅保留最必要的代码，并尽量简明，便于初学者快速看懂能用。之后基于该代码进行了一些简单的调参试验，以便于更深入的理解Unet网络原理。1.任务简介首先还是简介一下，本任务基于DRIVE数据集，将眼底图像中的血管树给分..

文章目录前言一、参赛经过二、深度学习技术在心电图智能分析中的应用三、机器学习技术在心电图智能分析中的应用1.引入库2.读入数据四、结果及讨论前言  2019年夏天我参加了清华大学主办的首届中国心电智能大赛，获得复赛第1，决赛第6；后来趁热打铁，又参加了天池平台上的合肥高新杯心电人机智能大赛，获得初赛第2，决赛第9。这两个比赛已经过去一年多时间了，现在经过一定时间的沉淀，可能认识更加深刻一些，就想写