Tensorflow 如何增加`tfa.optimizers.AdamW`的权重衰减而不干扰优化器的其余参数

Tensorflow 如何增加`tfa.optimizers.AdamW`的权重衰减而不干扰优化器的其余参数,tensorflow,keras,Tensorflow,Keras,我有一个我一直在训练的模型,我想增加我最初为AdamW设置的权重衰减参数 为了方便起见,这里是优化器的文档 和样本初始化 tfa.optimizers.AdamW( weight_decay: Union[FloatTensorLike, Callable], learning_rate: Union[FloatTensorLike, Callable] = 0.001, beta_1: Union[FloatTensorLike, Callable] = 0.9,

我有一个我一直在训练的模型,我想增加我最初为AdamW设置的权重衰减参数

为了方便起见,这里是优化器的文档

和样本初始化

tfa.optimizers.AdamW(
    weight_decay: Union[FloatTensorLike, Callable],
    learning_rate: Union[FloatTensorLike, Callable] = 0.001,
    beta_1: Union[FloatTensorLike, Callable] = 0.9,
    beta_2: Union[FloatTensorLike, Callable] = 0.999,
    epsilon: tfa.image.filters.FloatTensorLike = 1e-07,
    amsgrad: bool = False,
    name: str = 'AdamW',
    **kwargs
)
我开始训练时有一定的重量衰减,现在我想增加它,但我相信如果不改变当前的Adam参数,我就不能改变优化器参数

我可以在编译模型后加载它

model.compile(..., optimizer=tfa.optimizers.AdamW(...
model.load_weights(...
这也将加载上次保存的Adam优化器参数

或者我可以在加载权重后编译

model.load_weights(...
model.compile(..., optimizer=tfa.optimizers.AdamW(...
这将允许新的权重衰减,但也会清除保存的优化器值