learning rate decay在训练神经网络的时候，通常在训练刚开始的时候使用较大的learning rate， 随着训练的进行，我们会慢慢的减小learning rate。对于这种常用的训练策略，tensorflow 也提供了相应的API让我们可以更简单的将这个方法应用到我们训练网络的过程中。接口tf.train.exponential_decay(learning_rate, glo

自定义Datasets什么是Datasets:在输入流水线中，我们看到准备数据的接口是这么写的data = datasets.CIFAR10("./data/", transform=transform, train=True, download=True)。datasets.CIFAR10即使一个Datasets类，data是这个类的一个实例。为什么要定义Datasets:PyTorch提供了一

博主水平有限，如有错误，请不吝指出。pytorch源码注释，欢迎 pr，提 issue 和 star当我们使用 pytorch 的 python 的接口编写代码的时候，感觉是十分清爽的，不需要考虑底层的实现。但是好奇心驱使我们 想一探究竟，看看底层 C/C++ 那部分到底做了什么。本篇文章主要专注于：pytorch 是如何动态构建反向传导图的pytorch 的反向传导是怎么操作...

自定义Datasets什么是Datasets:在输入流水线中，我们看到准备数据的接口是这么写的data = datasets.CIFAR10("./data/", transform=transform, train=True, download=True)。datasets.CIFAR10即使一个Datasets类，data是这个类的一个实例。为什么要定义Datasets:PyTorch提供了一

# 保存和加载整个模型torch.save(model_object, 'model.pkl')model = torch.load('model.pkl')# 仅保存和加载模型参数(推荐使用)torch.save(model_object.state_dict(), 'params.pkl')model_object.load_state_dict(torch.load('par...

当序列化 NDArray 的时候，我们序列化的是NDArray 中保存的 tensor 值。当序列化 Symbol 的时候，我们序列化的是 Graph。Symbol序列化当序列化 Symbol 的时候，通常使用 json 文件作为序列化后的文件，因为可读性好。import mxnet as mxa = mx.sym.Variable('a', shape=[2,])b = mx.sym.Vari

如何使用tensorflow内置的参数导出和导入方法：基本用法如果你还在纠结如何保存tensorflow训练好的模型参数，用这个方法就对了import tensorflow as tf"""变量声明，运算声明 例：w = tf.get_variable(name="vari_name", shape=[], dtype=tf.float32)初始化op声明"""#创建saver opsa

# 保存和加载整个模型torch.save(model_object, 'model.pkl')model = torch.load('model.pkl')# 仅保存和加载模型参数(推荐使用)torch.save(model_object.state_dict(), 'params.pkl')model_object.load_state_dict(torch.load('par...

ExponentialMovingAverageSome training algorithms, such as GradientDescent and Momentum often benefit from maintaining a moving average of variables during optimization. Using the moving averages for e

session.run()session.run([fetch1, fetch2])import tensorflow as tfstate = tf.Variable(0.0,dtype=tf.float32)one = tf.constant(1.0,dtype=tf.float32)new_val = tf.add(state, one)update = tf.assign(state