【PyTorch】两种常用的交叉熵损失函数BCELoss和BCEWithLogitsLoss
目录定义区别代码示例关键参数定义区别在Pytorch中,BCELoss和BCEWithLogitsLoss是一组常用的二元交叉熵损失函数,常用于二分类问题。区别在于BCELoss的输入需要先进行Sigmoid处理,而BCEWithLogitsLoss则是将Sigmoid和BCELoss合成一步,也就是说BCEWithLogitsLoss函数内部自动先对output进行Sigmoid处理,再对out
·
定义区别
在Pytorch中,BCELoss和BCEWithLogitsLoss是一组常用的二元交叉熵损失函数,常用于二分类问题。区别在于BCELoss的输入需要先进行Sigmoid处理,而BCEWithLogitsLoss则是将Sigmoid和BCELoss合成一步,也就是说BCEWithLogitsLoss函数内部自动先对output进行Sigmoid处理,再对output和target进行BCELoss计算。
代码示例
下面为一个简单的示例:
import torch
import random
from torch import nn
random.seed(0)
torch.manual_seed(0)
input = torch.randn(3, 3)
out = torch.sigmoid(input)
target = torch.FloatTensor([[0, 1, 1],
[0, 0, 1],
[1, 0, 1]])
l1 = nn.BCELoss()
loss1 = l1(out, target)
print(loss1) # tensor(1.1805)
input2 = torch.FloatTensor([[1.5410, -0.2934, -2.1788],
[0.5684, -1.0845, -1.3986],
[0.4033, 0.8380, -0.7193]])
l2 = nn.BCEWithLogitsLoss()
loss2 = l2(input2, target)
print(loss2) # tensor(1.1805)
# 可以发现loss1和loss2相等
关键参数
BCELoss和BCEWithLogitsLoss还提供了两个重要参数:
-
weight:可用于控制各样本的权重,常用作对对齐后的数据进行mask操作(设为0)
-
reduction:控制损失输出模式。设为"sum"表示对样本进行求损失和;设为"mean"表示对样本进行求损失的平均值;而设为"none"表示对样本逐个求损失,输出与输入的shape一样。
此外BCEWithLogitsLoss还提供了参数pos_weight用于设置损失的class权重,用于缓解样本的不均衡问题
更多推荐
已为社区贡献3条内容
所有评论(0)