Keras教学(6):Keras的初始化Initializers,看这一篇就够了
卷积神经网络的初始化,看这一篇就够了。内容包括初始化器的用法、可用的所有初始化器、自定义初始化器的方法
【写在前面】:大家好,我是【猪葛】
一个很看好AI前景的算法工程师
在接下来的系列博客里面我会持续更新Keras的教学内容(文末有大纲)
内容主要分为两部分
第一部分是Keras的基础知识
第二部分是使用Keras搭建FasterCNN、YOLO目标检测神经网络
代码复用性高
如果你也感兴趣,欢迎关注我的动态一起学习
学习建议:
有些内容一开始学起来有点蒙,对照着“学习目标”去学习即可
一步一个脚印,走到山顶再往下看一切风景就全明了了
本篇博客学习目标:1、掌握初始化器的用法
一、初始化器的概念及其用法
概念:
初始化定义了设置 Keras 各层权重随机初始值的方法。
用法:
用来将初始化器传入 Keras 层(包括不限于Dense层、Conv2D层、等等)的参数名取决于具体的层。通常关键字为 kernel_initializer
和 bias_initializer
:
- 你可以给它们传递初始化器的名字字符串,例如:
model.add(Dense(64,
kernel_initializer='random_uniform',
bias_initializer='zeros'))
- 也可以给它们传递初始化器的实例,这种方式可以让你更改初始化器的参数,比较自由,例如:
model.add(Dense(64,
kernel_initializer=keras.initializers.Constant(value=3.0),
bias_initializer=keras.initializers.RandomNormal(mean=0.0, stddev=0.05, seed=None))
提示:
- 一般来说,
kernel_initializer
默认值为'glorot_uniform'
,对应的实例是keras.initializers.glorot_uniform(seed=None)
- 一般来说,
bias_initializer
默认值为'zeros'
,对应的实例是keras.initializers.Zeros()
二、可用的初始化器
可用初始化器汇总
import tensorflow.keras as keras
# ######################可用初始化器汇总########################
keras.initializers.Initializer() # 初始化器基类:所有初始化器继承这个类。
keras.initializers.Zeros() # 将张量初始值设为 0 的初始化器。
keras.initializers.Ones() # 将张量初始值设为 1 的初始化器。将张量初始值设为 1 的初始化器。将张量初始值设为 1 的初始化器。
keras.initializers.Constant(value=0) # 将张量初始值设为一个常数的初始化器。value: 浮点数,生成的张量的值。
keras.initializers.RandomNormal(mean=0.0, stddev=0.05, seed=None) # 按照正态分布生成随机张量的初始化器。
keras.initializers.RandomUniform(minval=-0.05, maxval=0.05, seed=None) # 按照均匀分布生成随机张量的初始化器。
keras.initializers.TruncatedNormal(mean=0.0, stddev=0.05, seed=None) # 按照截尾正态分布生成随机张量的初始化器。
keras.initializers.VarianceScaling(scale=1.0, mode='fan_in', distribution='normal', seed=None) # 初始化器能够根据权值的尺寸调整其规模。
keras.initializers.Orthogonal(gain=1.0, seed=None) # 生成一个随机正交矩阵的初始化器。
keras.initializers.Identity(gain=1.0) # 生成单位矩阵的初始化器。
keras.initializers.lecun_uniform(seed=None) # LeCun 均匀初始化器。
keras.initializers.glorot_normal(seed=None) # keras.initializers.glorot_normal(seed=None)
keras.initializers.glorot_uniform(seed=None) # Glorot 均匀分布初始化器,也称为 Xavier 均匀分布初始化器。
keras.initializers.he_normal(seed=None) # He 正态分布初始化器。
keras.initializers.lecun_normal(seed=None) # LeCun 正态分布初始化器。
keras.initializers.he_uniform(seed=None) # He 均匀方差缩放初始化器。
提示:
初始化器对应的名字字符串为类名的小写,例如初始化器keras.initializers.RandomNormal(mean=0.0, stddev=0.05, seed=None)
的名字字符串就是'randomnormal'
三、更改初始化器小例子
问题:
更改一个Dense层初始化器为keras.initializers.Zeros()
代码:
from tensorflow.keras.layers import Dense, Input, Conv2D, MaxPooling2D
from tensorflow.keras import Sequential
import tensorflow.keras as keras
import numpy as np
# #建立一个测试模型
model = Sequential([
Dense(4, input_shape=(5,), name='dense_xiaoming',
kernel_initializer=keras.initializers.Zeros(), # 全部初始化为0
bias_initializer=keras.initializers.Ones()), # 全部初始化为1
])
x = np.ones(shape=(8, 5)) # 创建测试数据
y = model(x)
layer = model.get_layer('dense_xiaoming') # 通过层的名字得到层
(k, b) = layer.get_weights() # 查看层的初始化权重值和偏置项
print(k)
print(b)
你也可以这么写:(因为初始化器对应的名字字符串为类名的小写)
from tensorflow.keras.layers import Dense, Input, Conv2D, MaxPooling2D
from tensorflow.keras import Sequential
import tensorflow.keras as keras
import numpy as np
# #建立一个测试模型
model = Sequential([
Dense(4, input_shape=(5,), name='dense_xiaoming',
kernel_initializer='zeros', # 全部初始化为0
bias_initializer='ones'), # 全部初始化为1
])
x = np.ones(shape=(8, 5)) # 创建测试数据
y = model(x)
layer = model.get_layer('dense_xiaoming') # 通过层的名字得到层
(k, b) = layer.get_weights() # 查看层的初始化权重值和偏置项
print(k)
print(b)
输出结果都是:
[[0. 0. 0. 0.]
[0. 0. 0. 0.]
[0. 0. 0. 0.]
[0. 0. 0. 0.]
[0. 0. 0. 0.]]
[1. 1. 1. 1.]
四、使用自定义初始化器
如果传递一个自定义的可调用函数,那么它必须使用参数 shape
(需要初始化的变量的尺寸)和 dtype
(数据类型):
from tensorflow.keras import backend as K
def my_init(shape, dtype=None):
return K.random_normal(shape, dtype=dtype)
model.add(Dense(64, kernel_initializer=my_init))
到这里这次学习就结束啦,本系列课程会持续更新,欢迎关注我的动态一起学习,附上系列内容大纲
更多推荐
所有评论(0)