文章目录感知机激活函数1.sigmoid2.relu3.softmax_with_loss25天看完了吴恩达的机器学习以及《深度学习入门》和《tensorflow实战》两本书，吴恩达的学习课程只学了理论知识，另外两本书的代码自己敲了一遍，感觉过的太快，趁着跑cGAN的时间把两本书的知识点总结下，然后继续深度学习的课程。欢迎小伙伴一起学习~另外，本文先把框架搭好，后续会一直补充细节和知识点。最...

梯度规则利用微分求梯度的方法计算量太大，而误差反向传播算法的出现提高了计算效率，误差反向传播算法主要基于链式法则,主要有以下几条规则。1.如果是由a + b = y，则反向传播时a b 的梯度相等，且等于y的梯度2.如果是a * b = y，则反向传播时a b 的梯度分别为b a，如果是矩阵运算会涉及到矩阵转换3.复杂的计算可以拆解成简单的元运算来计算梯度我们以全连接为例：y = xw + b首先

梯度规则利用微分求梯度的方法计算量太大，而误差反向传播算法的出现提高了计算效率，误差反向传播算法主要基于链式法则,主要有以下几条规则。1.如果是由a + b = y，则反向传播时a b 的梯度相等，且等于y的梯度2.如果是a * b = y，则反向传播时a b 的梯度分别为b a，如果是矩阵运算会涉及到矩阵转换3.复杂的计算可以拆解成简单的元运算来计算梯度我们以全连接为例：y = xw + b首先

标量矩阵的求导，定义为∂f∂X=[∂f∂Xij]\frac{\partial f}{\partial X}=\left[\frac{\partial f}{\partial X_{ij}}\right]∂X∂f​=[∂Xij​∂f​]即fff逐元素求导排成与XXX相同的矩阵。一元微积分中的导数与微分的关系df=f′(x)dxdf=f'(x)dxdf=f′(x)dx，多元微积分中的梯度(标量对向量的

文章目录摘要介绍方法空间压缩和信道激励（cSE）通道压缩和空间激励空间和通道的压缩和激励模块(scSE)摘要 全卷积网络为大量应用设置了图像分割的最新技术，F-CNN中的结构创新集中在空间编码或网络连接来帮助梯度流。本文，探索了一种自适应地重新校准特征图的方向，来增加有意义的特征，同时抑制弱的特征。我们从最近提出的squeeze & excitation(SE)模块获得灵感，该模块是用..

文章目录狄拉克函数在机器学习中，我们经常会碰到不光滑的函数，但我们的优化方法通常是基于梯度的，这意味着光滑的模型可能更利于优化（梯度是连续的），所以就有了寻找非光滑函数的光滑近似的需求。事实上，本博客已经多次讨论过相关主题，比如《寻求一个光滑的最大值函数》、《函数光滑化杂谈：不可导函数的可导逼近》等，但以往的讨论在方法上并没有什么通用性。不过，笔者从最近的一篇论文《SAU: Smooth acti

文章目录1.简介2.子模损失函数的优化替代前景-背景分割多分类语义分割3.并集上的交集优化1.简介关于简介请参考Lovasz-Softmax loss2.子模损失函数的优化替代为了在连续优化框架中优化Jaccard，我们考虑了这种离散损失的平滑扩展。扩展是基于集合函数的子模分析，其中集合函数是从一组预测失误的集合映射到真实数据的集合。对于一个分割结果y∗y*y∗和真实值yyy我们定义类别...

文章目录计算图常用方式计算图计算图是Tensorflow一个基本概念，Tensorflow中的所有计算都会被转化为计算图上的节点。Tensorflow中的每一个计算都是计算图上的一个节点，而节点之间的边描述了计算之间的依赖关系。TENSORFLOW入门教程三—计算图常用方式获取tensor的图以及当前默认图x = tf.constant([[1,2],[3,4]])print(x.graph is

上三角 triuPytorch上三角和下三角的调用与numpy是相同的。np.triu(np.ones((5,5)),k=0) # k控制对角线开始的位置Out[25]:array([[1., 1., 1., 1., 1.],[0., 1., 1., 1., 1.],[0., 0., 1., 1., 1.],[0., 0., 0., 1., 1.],[0., 0., 0., 0., 1.]])构建

文章目录模型介绍resnet18模型流程总结resnet50总结resnet和resnext的框架基本相同的，这里先学习下resnet的构建，感觉高度模块化，很方便。本文算是对PyTorch源码解读之torchvision.modelsResNet代码的详细理解，另外，强烈推荐这位大神的PyTorch的教程！模型介绍resnet的模型可以直接通过torchvision导入，可以通过pretr...