logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

深度学习,训练集准确率高,但验证集准确率一直不上升,很低的问题

在训练过程中,训练集的准确率稳步上升,但是验证集的准确率一直在40%左右徘徊,从网上搜索可能的原因有:1、学习率太小,陷入局部最优。2、数据量太小(4000多条数据,应该还可以吧)3、训练集和测试集数据分布不同:如训练集正样本太少(训练集和测试集每次都是随机选择,排除)4、学习率过大5、模型参数量过多而数据量过少(在其他数据集训练是可以的,这条应该排除)6、过拟合,数据量太小但模型的结构较为复杂(

文章图片
#深度学习#人工智能#机器学习
pytorch模型保存与加载:state_dict、load_state_dict

简而言之,pytorch保存模型时用的映射关系。pytorch中的state_dict是一个简单的python字典对象,将每一层与之对应的参数建立映射关系。只有参数可训练的layer才会保存到模型 的state_dict中,如卷积层、线性层。优化器optimizer也有一个state_dict,包含了优化器的状态以及被使用的超参数(lr、momentum、weight_decay)state_di

#python
深度学习,训练集准确率高,但验证集准确率一直不上升,很低的问题

在训练过程中,训练集的准确率稳步上升,但是验证集的准确率一直在40%左右徘徊,从网上搜索可能的原因有:1、学习率太小,陷入局部最优。2、数据量太小(4000多条数据,应该还可以吧)3、训练集和测试集数据分布不同:如训练集正样本太少(训练集和测试集每次都是随机选择,排除)4、学习率过大5、模型参数量过多而数据量过少(在其他数据集训练是可以的,这条应该排除)6、过拟合,数据量太小但模型的结构较为复杂(

文章图片
#深度学习#人工智能#机器学习
python:卷积神经网络(tensorflow)

卷积:图片有三色,RGB,通过不断卷积,不断压缩,高度增加,最后变成一个分类器。patch抽离,步长为stride,跨多少步抽离两种padding的形式,一种是长宽比原来段,高比原来高,另一种长宽高和原来相同,高度变高卷积神经网络简单框架# define placeholder for inputs to networkxs = tf.placeholder(tf.float32, [None,

#tensorflow#神经网络#python
元学习(Meta-learning)

元学习大体分为两个阶段,训练阶段和测试阶段,训练样本中 的训练集称作支持集,训练样本中的测试集叫查询集(support set and query set)。测试任务和训练任务内容完全不同。传统深度学习顺序:定义网络架构——初始化参数——通过自己选择的优化器更新参数——通过多次epoch更新最终得到网络输出。元学习的目标是自动学习或者代替传统深度学习中的定义网络架构、初始化参数以及更新参数。元学习

#深度学习#机器学习#算法
AudioSegment()语音处理python

读取文件:AudioSegment.from_file()AudioSegment.from_mp3()AudioSegment.wav()取得音频的持续时间duration_seconds

#python#语音识别#开发语言
python中@staticmethod

@staticmethod用于修饰类中的方法,使其可以再不创建类实例的情况下调用方法,这样做的好处是执行效率较高,当然也可像一般方法一样用实例调用该方法。该方法一般被成为静态方法。静态方法不可以引用类中的属性或方法,其参数列表也不需要约定的默认参数self。一般来说,要使用某个类的方法,需要先实例化一个对象再调用方法。使用@staticmethod和@classmethod,就可以不需要实例化,直

#python#pytorch
梯度反转层(Gradient reversal layer, GRL)

GRL作用:将传入到GRL的梯度乘上一个负数,使得在GRL前后的网络的训练目标是相反的。在接入GRL以后,特征提取器就会有两个目标需要满足,第一是特征提取器需要生成能够预测出正确标签的特征,第二是i特征提取器提取的特征需要尽可能无法判断出来自哪个任务域。如果没有接入GRL,任务判别器的优化目标是尽可能区分出特征提取器提取出来的特征是来自目标域还是源域,特征提取器优化目标是尽可能生成易于区分是来自于

#python#自然语言处理#pytorch
pytorch模型保存与加载:state_dict、load_state_dict

简而言之,pytorch保存模型时用的映射关系。pytorch中的state_dict是一个简单的python字典对象,将每一层与之对应的参数建立映射关系。只有参数可训练的layer才会保存到模型 的state_dict中,如卷积层、线性层。优化器optimizer也有一个state_dict,包含了优化器的状态以及被使用的超参数(lr、momentum、weight_decay)state_di

#python
到底了