前言本文是基于台湾李宏毅机器学习的笔记，本文主要记录关于梯度下降的知识点一、梯度下降梯度下降法简介梯度下降的优化目标是使得损失函数L最小，其中θ为参数，假设 θ 有里面有两个参数 θ1, θ2 随机选取初始值，η为学习率梯度下降遇到的问题梯度下降过程中可能会遇到马鞍点，局部最小点，下降速率过慢等等情况，如下图所示，这些情况导致的后果就是梯度约等于或等于0，即梯度消失，在深度学习中，对于梯度消失问题

前言本文主要记录在学习生成式模型时的一些关键知识点以及学习过程的笔记，若有错误之处还望指出并谅解。一、生成模型基于深度学习的生成式建模的方法主要有AE、VAE、GAN这三大种，其中VAE是基于AE的基础上进行变形的生成模型，而GAN是近年来较为流行并有效的生成式方法。自编码器(AE)：AE主要由编码器和解码器组成，整个模型其实就相当于一个压缩解压的一个过程，编码器将真实数据进行压缩到低维隐空间中的

前言：本文主要记录关于李宏毅机器学习2021中Transfomer和Normalization章节的相关笔记，其中Transformer主要介绍了在NLP领域的作用而Normalization主要介绍Batch Normalization的操作。一、Normalization① 为什么要做归一化处理先说归一化的目的或者优点：归一化的目的主要是为了让模型的收敛速度更快，对于使用梯度下降优化的模型，每

前言本文主要记录关于李宏毅机器学习2021中HW3和HW4的卷积神经网络和自注意力机制网络部分的笔记，主要介绍了CNN在图像领域的作用及如何处理图像数据，Self-Attention在NLP(自然语言处理)领域的作用和处理词之间的关系。一、CNN卷积神经网络CNN处理图像的大致步骤前面介绍的FCN全连接神经网络是通过把一维的向量不断通过中间的隐藏层的multi和bias最后输出指定列数的vecto

前言本文主要记录在学习生成式模型时的一些关键知识点以及学习过程的笔记，若有错误之处还望指出并谅解。一、生成模型基于深度学习的生成式建模的方法主要有AE、VAE、GAN这三大种，其中VAE是基于AE的基础上进行变形的生成模型，而GAN是近年来较为流行并有效的生成式方法。自编码器(AE)：AE主要由编码器和解码器组成，整个模型其实就相当于一个压缩解压的一个过程，编码器将真实数据进行压缩到低维隐空间中的

前言：本文主要记录关于李宏毅机器学习2021中Transfomer和Normalization章节的相关笔记，其中Transformer主要介绍了在NLP领域的作用而Normalization主要介绍Batch Normalization的操作。一、Normalization① 为什么要做归一化处理先说归一化的目的或者优点：归一化的目的主要是为了让模型的收敛速度更快，对于使用梯度下降优化的模型，每

前言本文主要记录在学习生成式模型时的一些关键知识点以及学习过程的笔记，若有错误之处还望指出并谅解。一、生成模型基于深度学习的生成式建模的方法主要有AE、VAE、GAN这三大种，其中VAE是基于AE的基础上进行变形的生成模型，而GAN是近年来较为流行并有效的生成式方法。自编码器(AE)：AE主要由编码器和解码器组成，整个模型其实就相当于一个压缩解压的一个过程，编码器将真实数据进行压缩到低维隐空间中的

前言本文主要记录在学习生成式模型时的一些关键知识点以及学习过程的笔记，若有错误之处还望指出并谅解。一、生成模型基于深度学习的生成式建模的方法主要有AE、VAE、GAN这三大种，其中VAE是基于AE的基础上进行变形的生成模型，而GAN是近年来较为流行并有效的生成式方法。自编码器(AE)：AE主要由编码器和解码器组成，整个模型其实就相当于一个压缩解压的一个过程，编码器将真实数据进行压缩到低维隐空间中的

前言本文主要记录在学习生成式模型时的一些关键知识点以及学习过程的笔记，若有错误之处还望指出并谅解。一、生成模型基于深度学习的生成式建模的方法主要有AE、VAE、GAN这三大种，其中VAE是基于AE的基础上进行变形的生成模型，而GAN是近年来较为流行并有效的生成式方法。自编码器(AE)：AE主要由编码器和解码器组成，整个模型其实就相当于一个压缩解压的一个过程，编码器将真实数据进行压缩到低维隐空间中的