pytorch里面的Optimizer和optimizer.step()用法

参考官方文档链接当我们想指定每一层的学习率时：optim.SGD([{‘params’: model.base.parameters()},{‘params’: model.classifier.parameters(), ‘lr’: 1e-3}], lr=1e-2, momentum=0.9)这意味着model.base的参数将会使用1e-2的学习率，model.classifi...

文章共347字 · 阅读需要大约2分钟

一键AI生成摘要，助你高效阅读

问答

wang xiang

80595人浏览 · 2019-08-21 15:06:32

wang xiang · 2019-08-21 15:06:32 发布

参考官方文档链接

当我们想指定每一层的学习率时：

optim.SGD([
                    {'params': model.base.parameters()},
                    {'params': model.classifier.parameters(), 'lr': 1e-3}
                ], lr=1e-2, momentum=0.9)

这意味着model.base的参数将会使用1e-2的学习率，model.classifier的参数将会使用1e-3的学习率，并且0.9的momentum将会被用于所有的参数。

进行单次优化

所有的optimizer都实现了step()方法，这个方法会更新所有的参数。它能按两种方式来使用：

optimizer.step()

这是大多数optimizer所支持的简化版本。一旦梯度被如backward()之类的函数计算好后，我们就可以调用这个函数。

例子

for input, target in dataset:
        optimizer.zero_grad()
        output = model(input)
        loss = loss_fn(output, target)
        loss.backward()
        optimizer.step()
    
     
optimizer.step(closure)

一些优化算法例如Conjugate Gradient和LBFGS需要重复多次计算函数，因此你需要传入一个闭包去允许它们重新计算你的模型。这个闭包应当清空梯度，计算损失，然后返回。

例子：

for input, target in dataset:
    def closure():
        optimizer.zero_grad()
        output = model(input)
        loss = loss_fn(output, target)
        loss.backward()
        return loss
    optimizer.step(closure)