论文阅读——Quantization and Training of Neural Networks for EfficientInteger-Arithmetic-Only Inferencefrom GoogleAbstract随着移动终端的普及以及深度学习模型对算力的巨大要求急需高效且准确的在设备进行推理的方案。本文提出了一种量化方案可以只用整数进行推理，比浮点数效率更高。本文还设计了一种训

今天开始学习邱锡鹏老师的《机器学习与深度学习》材料：电子版PDF+课件主要当做学习笔记记录一下。第一部分 机器学习基础Chapter 1 绪论1、为了学习一种好的标识，需要构建具有一定深度的模型，并通过学习算法让模型自动学习初更好的特征表示。深度：指的是原始数据进行非线性特征转换的次数。2、贡献度分配问题：即一个系统中不同的组件或参数读最终系统输出结果的贡献或影响。->强化学习...

今天开始学习邱锡鹏老师的《机器学习与深度学习》材料：电子版PDF+课件主要当做学习笔记记录一下。第一部分 机器学习基础Chapter 1 绪论1、为了学习一种好的标识，需要构建具有一定深度的模型，并通过学习算法让模型自动学习初更好的特征表示。深度：指的是原始数据进行非线性特征转换的次数。2、贡献度分配问题：即一个系统中不同的组件或参数读最终系统输出结果的贡献或影响。->强化学习...

本周打算了解一下轻量级网络。先从回顾2017年的MobileNetv1开始。摘要MobileNetv1：2017年由Google提出的适用于移动端或嵌入式设备的轻量级网络，首次提出深度可分离卷积（depthwise seperable convolution).
Section I Introduction自从AlexNet在2012年ILSVRC比赛中拔得头筹，近年来网络不断朝着更深、更复杂的架

APQ：联合搜索网络结构、剪枝和量化策略
from CVPR2020

MIT HAN Lab本文提出的APQ是一种新的深度学习模型高效部署的新方法。与之前方法将网络结构的优化、兼职策略、量化策略分开优化不同，本文将上述方法以联合的方式进行优化。为了解决搜索空间过大的问题本文设计一个量化感知的精度预测器辅助进行进化搜索，找到适应性最高的架构。由于直接训练预测器需要收集大量的量化数据，十分费时，因此

今天调研了神经网络剪枝相关的技术。20200402调研主要分为以下三部分：为什么要剪枝？剪枝的具体算法？剪枝后如何评估？（不同剪枝的泛化性等）一、神经网络压缩技术当前的模型压缩方法主要有6类：网络剪枝、参数共享、量化、网络分解、网络蒸馏、紧凑网络设计。1.网络剪枝网络剪枝使用的比较广泛，将会在section II 进行介绍。2.参数共享主要思想是让网络中多个参数共享同一值，但...

论文阅读之DeepLabv3:ASPP摘要本文进一步利用空洞卷积用于语义分割，通过空洞卷积实现不同感受野、不同特征分辨率的控制。在ASPP基础上完成不同尺度的特征提取，详情参见在PASCAL VOC 2012的分割结果。主要复习一下ASPP具体结构。Section I Introduction将DNN用于语义分割任务存在两大限制：
（1）连续池化操作导致特征分辨率下降。在DCNN中往往需要深层次卷

Medical Transformer:门控轴向注意力用于医学图像分割AbstractSection I IntroductionSection II Medical Transformer(MedT)Part 1 Self-Attention OverviewPart 2 Gated Axial-AttentionSection III ExoerimentsSection IV Conclus

论文阅读之Attention UNet将注意力机制引入到UNet辅助进行医学图像分割摘要本文创新之处在于提出了Attention Gate注意门用于学习不同形状/大小的目标。通过注意门可以有选择性的学习输入图像中相互关联的区域，抑制不相关区域的显著性，这就避免在网络搭建过程中引入额外人为的监督。
另一方面注意门（AGs）可以作为一种即插即用的模块引入各种网络（如UNet）从而提升模型的敏感度和精度

TransUNet：基于Transformer的强大特征编码器用于医学图像分割AbstractSection I IntroductionSection II Related WorksSection III MethodPart 1 TransformerPart 2 TransUNetSection IV Experiments and DiscussionPart 1 DatasetPart