logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

深度学习之梯度裁剪

梯度剪裁的原因神经网络是通过梯度下降来学习的。而梯度爆炸问题一般会随着网络层数的增加而变得越来越明显。如果发生梯度爆炸,那么就是学过了,会直接跳过最优解。例如:在反向传播中,假设第一层倒数乘以权重> 1,随着向前网络的传播的层数越多,梯度可能会越来越大。 (梯度消失相反)所以需要梯度裁剪,避免模型越过最优点。梯度裁剪的使用常见的梯度裁剪有两种确定一个范围,如果参数的gradient超过了,直

#深度学习#pytorch#神经网络
参数估计-矩估计

参数估计:分布类型有很多种,决定正态分布的两个参数:均值和方差。因此,参数就是决定分布的关键性数据。知道了参数,也就知道了分布的详细内容。问题来了,总体的分布类别如果我们知道了,是不是只要知道分布的参数,就能知道总体的分布详情?是的。那如何能知道总体分布的参数数值呢?这就是参数估计。即,用样本的数据来构造函数(即统计量),来估计总体参数,这就是参数估计。矩估计:用样本的矩直接作为总体矩的估计值。(

#概率论#机器学习#深度学习
深入理解先验知识

先验知识:提前验证的知识。作用:有了提前知道的知识,去更好的推断下一阶段的知识。在常规图像检测中,可以把先验知识与训练模型中fine-tunning一起理解。如果我们不用先验知识,我们去train一个人物图像检测,那么时间肯定会很长,效果也不一定好,但是我们利用先验知识,把模型中的权重替换为已知训练好模型的权重参数,边缘,轮廓等等等,那么你自己的一个task就会比之前没有先验知识训练出来速度、ut

#深度学习#机器学习#人工智能
Object Detection API中 pycocotools安装包问题

坑!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!1.下载git,一路next就行。他会自动配置环境变量。2.pip install git+https://github.com/philferriere/cocoapi.git#subdirectory=PythonAPIok!!!!...

到底了