近期在阅读Data-Driven Sparse Structure Selection for Deep Neural Networks论文时，用到里面APG-NAG相关优化器的知识，原论文方法采用mxnet去实现的，在这里想迁移到pytorch中。因此手撕一下APG和NAG相关的知识。

更规范化的代码更加美观且有利于他人阅读。然而对于我们大多数非计算机本出身的同学，对代码的规范性往往不是很care，只要代码能动起来就行。但这是一种不好的习惯，既不利于他人阅读，也影响了自己代码的美观性。因此，学会利用一些工具来规范化自己的代码尤为重要。本篇Blog将介绍一些用于规范Python代码的工具。......

Speech emotion recognition 前言数据集数据集的选择数据集的预处理训练和测试集模型Modle讲解前言本博客将详细介绍基于深度学习的语音情感识别的流程及方法，之后讲针对该方法做一篇基于Pytorch的语音情感识别的实现方式。数据集数据集的选择限于篇幅，具体数据集内容不再详细介绍。推荐的语音情绪识别的数据集：Emodb：来自德国的语音数据集，包含7种情绪。SA...

基于深度学习的语音情绪识别 Speech emotion recognition based on Deep Learning前言数据预处理IEMOCAP读取数据集数据集的特殊处理模型处理训练结果前言基于深度学习的语音情绪识别一因为法一遇到点困难,先用较为简单的方法二来实现,之后逐步更改.数据预处理IEMOCAP我们使用的是IEMOCAP数据集.我之后会做一个IEMOCAP数据集详...

目标检测经典知识点汇总（一）前言一、Region Proposal Network (RPN)RPN原理讲解RPN在目标检测中的应用（Faster RCNN为例）1. Conv layers2. RPN如何训练RPN？3.ROI pooling4.classifier参考前言有一些非常经典的应用于目标检测的理论知识，虽然之前看论文有看到过，但后面再次碰到又会忘记具体细节，因此值得记录下来。一、Re

矩阵求导文章目录矩阵求导前言一、矩阵1.观前提醒可参考前言最近在看机器学习及神经网络等领域相关文章时，总是难以手撕矩阵求导类的公式，因此做个系统的与矩阵求导相关的总结与学习。一、矩阵1.观前提醒本篇中，所有使用的小写未加粗字母均为标量，例如xxx；所有小写加粗字母为（列）向量，例如x；所有大写字母均表示为矩阵，例如X。## 2.读入数据<font color=#999AAA >代码如下

文章目录前言一、安装Jupyter notebook（已完成可忽略）二、启用jupyter notebook总结前言近期在打深度学习的基础，部分教程系列使用jupyter notebook来敲代码，更为直观。本篇用来总结Docker内jupyter notebook的安装与使用。一、安装Jupyter notebook（已完成可忽略）默认已经到docker环境内，第一步进行Jupyter note

基于深度学习的语音情绪识别 Speech emotion recognition based on Deep Learning前言数据预处理IEMOCAP读取数据集数据集的特殊处理模型处理训练结果前言基于深度学习的语音情绪识别一因为法一遇到点困难,先用较为简单的方法二来实现,之后逐步更改.数据预处理IEMOCAP我们使用的是IEMOCAP数据集.我之后会做一个IEMOCAP数据集详...

文章目录前言正文总结前言在训练模型时，笔者想要每训练一个epoch，记录一下val的准确率，但是每当训练完第一个epoch开始准备跑val数据集的时候，就会出现显存double然后溢出的情况（batch_size在验证和训练时设置相同）。此处将复现笔者出现的问题，并给出解决方案。正文原始训练流程：for eopch in epochs:for data,label in train_dataloa

有关Pytorch训练时GPU利用率很低，而内存占比很高的情况前言有关GPU的Memory-usage的占用（GPU内存占有率）有关Volatile GPU-Utile的利用率（GPU的利用率）直接参考前言模型开始训练时候，常用watch -n 0.1 nvidia-smi来观察GPU的显存占比情况，如下图所示，通常GPU显存占比和GPU利用率都很高，但有的模型训练的时候GPU利用率（Volati