概念

PyTorch实现了常见的激活函数,ReLu为最常用激活函数,其原理就是将小于零的数值截至为0;其数学表达式为:
在这里插入图片描述

在这里插入图片描述

函数原型

torch.nn.ReLU(inplace=False)

参数说明

inplace参数如果设为True,它会把输出直接覆盖到输入中,这样可以节省内存/显存。

代码示例

input = torch.tensor([
    [-5,-3,4,5],
    [3,2,-3,1],
    [4,-3,4,2]
], dtype=torch.float32)

m = torch.nn.ReLU()
output = m(input)
print(output)

打印输出:
在这里插入图片描述

Logo

苏州本地的技术开发者社区,在这里可以交流本地的好吃好玩的,可以交流技术,可以交流招聘等等,没啥限制。

更多推荐