Tensorflow 关于'的混淆;线性';tf.keras.layers.density()中的激活

Tensorflow 关于'的混淆;线性';tf.keras.layers.density()中的激活,tensorflow,tf.keras,Tensorflow,Tf.keras,它说,在未来 “线性”激活:a(x)=x 这令人困惑。线性激活是否应该像wx+b(如果使用_bias=True)?否,密集层本身计算y=a(wx+b),而激活参数所做的是更改此计算中的函数a,以获得不同的非线性行为,但如果需要线性行为,“取消”a的唯一方法是使用线性函数a(x)=x,因此不会修改预激活值(wx+b)

它说,在未来

“线性”激活:a(x)=x


这令人困惑。线性激活是否应该像
wx+b
(如果使用_bias=True)?

否,
密集层本身计算
y=a(wx+b)
,而
激活
参数所做的是更改此计算中的函数
a
,以获得不同的非线性行为,但如果需要线性行为,“取消”
a
的唯一方法是使用线性函数
a(x)=x
,因此不会修改预激活值(wx+b