文章目录前言工作流程前言目前也写了较多增量学习的文章了，我的目的是在写的过程中对方法的细节进行梳理，帮助自己理解，其中难免有表述不当的地方，请各位辩证看到我文章中的观点与描述，如有错误，还望指出。本篇文章发表于2020年CVPR，论文代码地址作者从一个非常有趣的点出发，从而让模型抵抗灾难性遗忘。现有的增量学习算法多数都会存储部分旧图片，作者将旧图片作为优化参数，通过优化让旧图片尽可能反映旧类别的特

文章目录主要工作知识蒸馏的一些简单介绍主要工作让小模型模仿大模型的输出（soft target），从而让小模型能获得大模型一样的泛化能力，这便是知识蒸馏，又称为模型压缩，本文在Hinton提出knowledge distillation方法（下文简称KD）的基础进行扩展，利用teacher模型特征提取器的中间层输出作为hints，结合KD，对比teacher模型更深但更窄的student模型进..

文章目录前言MoCo V3ViT自监督训练过程中的“不稳定”现象前言MoCo V3是何凯明团队的新作，发表在ICCV 2021上，是一篇自监督文章，在MoCo V2的基础上做了一些小改动，同时report了ViT自监督训练过程中的“不稳定”现象，并给出了一个trick，用于减缓ViT自监督训练不稳定的现象。凯明团队的文章还是一如既往的细致，本文主要总结MoCo V3的操作流程以及ViT自监督训练过

文章目录异常检测的基本概念主要工作什么是GAN（生成对抗网络）GAN优化的目标函数生成器优化的目标函数鉴别器优化的目标函数论文全称为：Schlegl et al. - 2017 - Unsupervised Anomaly Detection with Generative Adversarial Networks to Guide Marker Discovery异常检测的基本概念异常检...

文章目录前言BYOL简述实验前言该文章为deepmind团队出品，目前挂在arxiv上，并没有查到相应的发表记录。该文章主要解决对比学习中，只存在正例时出现的模型奔溃解问题，即不论输入是什么，模型的输出都是一个常数。即使只有正例，BYOL仍然达到了SOTA水平，如下图：这表明在对比学习中，负例不一定需要存在。个人认为负例可以避免奔溃解，但是对于高性能的自监督模型而言不是必须的，例如BYOL。同时相

文章目录主要工作人工神经网络与生物神经网络的区别稀疏性带来的优势主要工作提出了ReLU激活函数，ReLU激活函数的表现能力比tanh激活函数的更加好，训练完毕的神经网络具有一定的稀疏性人工神经网络与生物神经网络有一定的相似性，例如CNN与生物视觉神经处理数据的形式往往相似人工神经网络与生物神经网络的区别一、大脑神经元通过稀疏且分布的方式编辑信息。什么是稀疏与分布？我的理解是，只有少部分...

文章目录前言SimSiam简述实验前言该文章是何凯明组发表于CVPR2021上的文章，目前已获得最佳论文提名，主要解决自监督对比学习中的奔溃解问题。奔溃解即不论什么输入，特征提取器输出的特征向量都相同。本文将简单介绍SimSiam，记录其中较有意思的实验结果。作者并没有解释为什么SimSiam可以避免奔溃解，但文章的确非常出彩。SimSiam简述上图即SimSiam的整体结构，具体而言对输入图像x

文章目录前言什么是贝叶斯神经网络How to train BNNBNN的损失函数前言看了网上不少贝叶斯神经网络的文章，不少文章写的有点马虎，甚至一些说的不清不楚的文章，评论区许多人称赞是好文章，不禁让人怀疑他们是否真的看懂了文章。本文将总结贝叶斯神经网络，首先，我将简单介绍一下什么是贝叶斯神经网络（BNN）；接着我将介绍BNN是怎么训练的，BNN是怎么预测的；最后，我会介绍BNN背后的运作原理。如

以下内容均为个人观点，如有错误，欢迎指出终于到支持向量机这个大魔王了文章目录什么是支持向量机什么是支持向量机考虑二分类问题，我们需要在空间中找一个划分超平面，使位于两侧的样本大体上属于不同的类...

以下内容均为个人理解，如有错误，欢迎指出文章目录什么是XGBoostXGBoost的推导过程XGBoost的目标函数模型学习与训练误差XGBoost为什么要使用弱分类器Bagging的偏差与方差Boosting的偏差与方差什么是XGBoost以下内容摘自一文读懂机器学习大杀器XGBoost原理XGBoost是boosting算法的其中一种。Boosting算法的思想是将许多弱分类器集...