【PyTorch 秒懂系列】nn.ModuleList 和 Python List 的区别
nn.ModuleList 是具有 List 列表容器功能的 nn.Module 对象(也即网络模块)。
快速理解
nn.ModuleList
是具有 List
列表容器功能的 nn.Module
对象(也即网络模块),其与 List
存在:
- 相同点:都可以用来将多个
nn.Module
网络模块存放在一个列表容器中; - 不同点:
nn.ModuleList
本身也是一个nn.Module
网络模块,因此在创建时会自动添加(register)为网络对象的子模块。nn.ModuleList
作为nn.Module
网络模块可以通过网络对象访问或操作。但与nn.Sequential
不同,nn.ModuleList
的列表元素nn.Module
子模块间没有顺序依赖关系,也未定义前向传递(forward)关系。
注:
- 网络及其子模块都是
nn.Module
对象(网络模块),是同类对象通过树状结构层级嵌套关联。在网络模块关系树状图中,网络为树根节点,nn.ModuleList
是其列表元素nn.Module
子模块的父节点; - 在网络对象类实现的
__init__
方法中,所有nn.Module
网络模块都被认为是(自动添加为)网络的子模块; <model>._modules
属性可以展示网络__init__
方法中定义的所有nn.Module
子模块;<model>.modules()
方法可以返回一个深度优先顺序遍历<model>._modules
的nn.Module
子模块生成器;<model>.state_dict()
方法可以返回一个深度优先顺序遍历<model>._modules
的所有叶子节点nn.Module
子模块的权重张量生成器。
详细理解
官方文档给出的解释:
nn.ModuleList
模块列表Holds submodules in a list.
一个包含网络子模块的列表ModuleList can be indexed like a regular Python list, but modules it contains are properly registered, and will be visible by all Module methods.
ModuleList 是 Python List 对象的一种延伸,在保持 List 对象内建操作的同时
将其包含的列表元素网络子模块添加到网络
对于任意一个模型:
class Model(nn.Module):
def __init__(self):
super(Model, self).__init__()
...
...
def forward(self, x):
...
__init__
实例构造函数中创建的所有 nn.Module
网络模块都将添加(register)为网络的子模块组件,forward
方法则是用来定义这些网络子模块间的前向传递(forward)关系。在得到网络实例
model = Model()
后,可以通过
model._modules
属性查看网络的子模块组成;model.parameters()
属性查看网络的权重信息。
nn.ModuleList
和 nn.Sequential
都是列表类型的 nn.Module
网络模块,可以像 List
一样进行列表操作,但也都可以在网络实例化时添加为网络子模块。nn.ModuleList
和 nn.Sequential
的区别在于,nn.Sequential
中 nn.Module
子模块的添加顺序同时也是其子模块前向传递(forward)的顺序,因此在 forward
函数中可以直接调用,而 nn.ModuleList
则需要在 forward
函数中显式定义子模块间的前向传递关系,更具灵活性。
参考
更多推荐
所有评论(0)