logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

GAN(生成对抗神经网络 )的一点思考

GAN的原理说起来很简单,就是一个生成网络,一个鉴别网络,两个网络不断对抗各自优化,道高一丈,魔高一尺,道再高一丈的过程。那么gan到底是如何通过对抗,就可以使得随机的一张图可以生成我们想要的图片呢?gan的目的很简单,希望构建一个从隐变量 Z 生成目标数据 X 的模型,也就是说假设了服从某些常见的分布(比如正态分布或均匀分布),然后希望训练一个模型 X=g(Z),这个模型能够将原来的概率分布映射

#神经网络#深度学习#人工智能
初入神经网络剪枝量化4(大白话)

二. 量化简单介绍目前比较SOTA的量化方法,也是最近看的。2.1 DSQ Differentiable Soft Quantization:Bridging Full-Precision and Low-Bit Neural Networks本文的创新点主要在于引入了可微软量化的方法,来模拟近似量化过程。通俗来说也就是,传统的量化方法都是利用round来取整,这就导致了量化的不可微。我们一般的处

#神经网络#剪枝#机器学习
目标检测tricks总结(记录)

可以根据实际任务,修改anchor预设的大小和scale ,也就是说stride + anchor ratio + anchor scales都可以调整,选择不同stride确定了feature map的大小,stride就是说下采样的比例,4就是256*256变成64*64,ratio确定了纵横比和尺度。

#目标检测#深度学习#人工智能
初入神经网络剪枝量化2(大白话)

一Filter Pruning via Geometric Median for Deep Convolutional Networks Acceleration论文链接:https://arxiv.org/pdf/1811.00250.pdf这篇论文,首先就是说现在一些基于权重的剪枝,基于通道的剪枝的一些算法,简单介绍。之后,提出了现在广泛使用的基于范式准则的剪枝方法的先决条件:(个人认为非常准

#神经网络#剪枝#人工智能
初入神经网络剪枝量化2(大白话)

一Filter Pruning via Geometric Median for Deep Convolutional Networks Acceleration论文链接:https://arxiv.org/pdf/1811.00250.pdf这篇论文,首先就是说现在一些基于权重的剪枝,基于通道的剪枝的一些算法,简单介绍。之后,提出了现在广泛使用的基于范式准则的剪枝方法的先决条件:(个人认为非常准

#神经网络#剪枝#人工智能
初入神经网络剪枝量化5(大白话)

最近看了很多篇关于剪枝的文章,今天在这里简单介绍一下每一篇的思想。①PRUNING FILTERS FOR EFFICIENT CONVNETS​​​​​​: https://arxiv.org/pdf/1608.08710.pdf这篇论文之前也说过,在我看来就是非常经典的,非常传统的一篇剪枝的论文。核心思想就是首先计算卷积核的绝对值和即 ∑|Fi,j| , (L1范数),选择前m个最小的绝对值删

#计算机视觉#深度学习#剪枝
目标检测tricks总结(记录)

可以根据实际任务,修改anchor预设的大小和scale ,也就是说stride + anchor ratio + anchor scales都可以调整,选择不同stride确定了feature map的大小,stride就是说下采样的比例,4就是256*256变成64*64,ratio确定了纵横比和尺度。

#目标检测#深度学习#人工智能
初入神经网络剪枝量化3(大白话)

剪枝1.1MetaPruning: Meta Learning for Automatic Neural Network Channel Pruning该论文提出了一种使用元学习(meta learning)来实现深度神经网络剪枝的策略。什么是元学习?一句话来说,机器学习是让机器学习,元学习是让机器学会如何学习。听起来很厉害,实际上我个人认为意义不是特别大,因为元学习通过学习超参数来实现所谓的机器

#神经网络#剪枝#人工智能
torch.fx 简介与量化

pytroch发布的torch.fx工具包可以说是很好的消除一些动态图和静态图的Gap,可以使得我们对于nn.Module的各种变化操作变得非常简单。动态图和静态图:动态意味着程序将按照我们编写命令的顺序进行执行。这种机制将使得调试更加容易,并且也使得我们将大脑中的想法转化为实际代码变得更加容易。而静态则意味着程序在编译执行时将先生成神经网络的结构,然后再执行相应操作。按照动态图和静态图最明显的两

#pytorch#深度学习#人工智能
Yolov5更换backbone,与模型压缩(剪枝,量化,蒸馏)

目前支持更换yolov5的backbone主干网络为Ghostnet,以及采用eagleeye的剪枝方法支持对yolov5系列的剪枝。后续,将会添加更多更轻量,更优秀的主干网络,比如swintrans,...

#剪枝#深度学习#计算机视觉 +2
    共 17 条
  • 1
  • 2
  • 请选择