Neural network 微调resnet50时如何冻结某些层

我正试图用keras对resnet 50进行微调。当我冻结resnet50中的所有层时，一切正常。但是，我想冻结resnet50的一些层，而不是全部。但是当我这样做的时候，我会犯一些错误。这是我的密码：

base_model = ResNet50(include_top=False, weights="imagenet", input_shape=(input_size, input_size, input_channels))
model = Sequential()
model.add(base_model)
model.add(Flatten())
model.add(Dense(80, activation="softmax"))

#this is where the error happens. The commented code works fine
"""
for layer in base_model.layers:
    layer.trainable = False
"""
for layer in base_model.layers[:-26]:
    layer.trainable = False
model.summary()
optimizer = Adam(lr=1e-4)
model.compile(loss="categorical_crossentropy", optimizer=optimizer, metrics=["accuracy"])

callbacks = [
    EarlyStopping(monitor='val_loss', patience=4, verbose=1, min_delta=1e-4),
    ReduceLROnPlateau(monitor='val_loss', factor=0.1, patience=2, cooldown=2, verbose=1),
    ModelCheckpoint(filepath='weights/renet50_best_weight.fold_' + str(fold_count) + '.hdf5', save_best_only=True,
                    save_weights_only=True)
    ]

model.load_weights(filepath="weights/renet50_best_weight.fold_1.hdf5")
model.fit_generator(generator=train_generator(), steps_per_epoch=len(df_train) // batch_size,  epochs=epochs, verbose=1,
                  callbacks=callbacks, validation_data=valid_generator(), validation_steps = len(df_valid) // batch_size) 

错误如下：

Traceback (most recent call last):
File "/home/jamesben/ai_challenger/src/train.py", line 184, in <module> model.load_weights(filepath="weights/renet50_best_weight.fold_" + str(fold_count) + '.hdf5')
File "/usr/local/lib/python3.5/dist-packages/keras/models.py", line 719, in load_weights topology.load_weights_from_hdf5_group(f, layers)
File "/usr/local/lib/python3.5/dist-packages/keras/engine/topology.py", line 3095, in load_weights_from_hdf5_group K.batch_set_value(weight_value_tuples)
File "/usr/local/lib/python3.5/dist-packages/keras/backend/tensorflow_backend.py", line 2193, in batch_set_value get_session().run(assign_ops, feed_dict=feed_dict)
File "/usr/local/lib/python3.5/dist-packages/tensorflow/python/client/session.py", line 767, in run run_metadata_ptr)
File "/usr/local/lib/python3.5/dist-packages/tensorflow/python/client/session.py", line 944, in _run % (np_val.shape, subfeed_t.name, str(subfeed_t.get_shape())))
ValueError: Cannot feed value of shape (128,) for Tensor 'Placeholder_72:0', which has shape '(3, 3, 128, 128)'

回溯（最近一次呼叫最后一次）：
文件“/home/jamesben/ai_challenger/src/train.py”，第184行，在model.load_weights（filepath=“weights/renet50_best_weight.fold”+str（fold_count）+'.hdf5'中）
文件“/usr/local/lib/python3.5/dist packages/keras/models.py”，第719行，加载权重拓扑。从hdf5组（f，层）加载权重
文件“/usr/local/lib/python3.5/dist-packages/keras/engine/topology.py”，第3095行，来自组K.batch\u set\u值（权重值\u元组）
文件“/usr/local/lib/python3.5/dist packages/keras/backend/tensorflow\u backend.py”，第2193行，在批处理设置值获取会话（）中。运行（分配操作，提要dict=提要dict）
文件“/usr/local/lib/python3.5/dist packages/tensorflow/python/client/session.py”，第767行，在run\u metadata\u ptr中）
文件“/usr/local/lib/python3.5/dist packages/tensorflow/python/client/session.py”，第944行，处于运行状态（np_val.shape，subfeed_t.name，str（subfeed_t.get_shape（）））
ValueError:无法为张量'Placeholder_72:0'提供形状（128，）的值，该张量具有形状'（3，3，128，128）'

---

有谁能给我一些关于我应该用resnet50冻结多少层的帮助吗？

当使用嵌套模型使用

load\u weights（）

和

save\u weights（）

时，如果

trainable

设置不相同，很容易出错

要解决此错误，请确保在调用

model.load\u weights（）

之前冻结相同的层。也就是说，如果保存权重文件时所有图层都已冻结，则该过程将为：

重新创建模型

冻结

base\u模型中的所有层

装载重物

解冻要训练的层（在本例中为

base\u model.layers[-26://code>）

比如说,

base_model=ResNet50（包括_top=False，输入_shape=（2242243））
模型=顺序（）
model.add（基本模型）
model.add（展平（））
添加（密集（80，activation=“softmax”））
对于基本模型层中的层：
layer.trainable=错误
模型.荷载重量（'all_layer_freezed.h5'）
对于基础模型中的层。层[-26:]：
layer.trainable=True

---

根本原因是： 调用

model.load\u weights（）

，通过以下步骤（在函数

load\u weights\u from\u hdf5\u group（）

in中）加载（大致）每个层的权重：

调用

layer.weights

获取权重张量

将每个权重张量与其在hdf5文件中对应的权重值相匹配

调用

K.batch\u set\u value（）

将权重值分配给权重张量

如果您的模型是嵌套模型，则由于步骤1，您必须小心

可训练的

我将用一个例子来解释它。对于与上述相同的模型，

model.summary（）

给出：

_________________________________________________________________
Layer (type)                 Output Shape              Param #
=================================================================
resnet50 (Model)             (None, 1, 1, 2048)        23587712
_________________________________________________________________
flatten_10 (Flatten)         (None, 2048)              0
_________________________________________________________________
dense_5 (Dense)              (None, 80)                163920
=================================================================
Total params: 23,751,632
Trainable params: 11,202,640
Non-trainable params: 12,548,992
_________________________________________________________________

内部

ResNet50

模型在重量加载期间被视为

模型的一层。加载层
resnet50
时，在步骤1中，调用
layer.weights
相当于调用
base\u model.weights
。将收集并返回
ResNet50
模型中所有层的权重张量列表

现在的问题是，在构造权重张量列表时，可训练权重将排在不可训练权重之前。在
层的定义中
类：

@属性
def重量（自身）：
返回自身可训练重量+自身不可训练重量

如果
base\u model
中的所有层都已冻结，则权重张量的顺序如下：

对于基本模型层中的层：
layer.trainable=错误
打印（基本型号重量）
[,
,
,
,
,
,
,
,
...
,
,
,
,
,
]

但是，如果某些层是可训练的，可训练层的重量张量将先于冻结层的重量张量：

基本模型中的层的
。层[-5:]：
layer.trainable=True
打印（基本型号重量）
[,
,
,
,
,
,
,
,
,
,
,
,
...
,
,
,
]

顺序的改变就是为什么你会在张量形状上出错。hdf5文件中保存的权重值与上述步骤2中的错误权重张量匹配。冻结所有图层时一切正常的原因是，模型检查点也会在冻结所有图层的情况下保存，因此顺序正确


可能更好的解决方案：
通过使用函数API，可以避免嵌套模型。例如，以下代码应该可以正常工作：

base\u model=ResNet50（包括\u top=False，weights=“imagenet”，input\u shape=（input\u size，input\u size，input\u channels））
x=展平（）（基本模型输出）
x=密度（80，激活=“softmax”）（x）
模型=模型（基本模型输入，x）
对于基本模型层中的层：
layer.trainable=错误
模型。保存权重（“所有不可训练。h5”）
基本\u模型=ResNet50（包括\u top=False，weights=“imagenet”，输入\u形状=（输入\u大小，输入\u大小，输入\u通道））
x=展平（）（基本模型输出）
x=密度（80，激活=“softmax”）（x）
模型=模型（基本模型输入，x）
对于基本模型中的层。层[：-26]：
layer.trainable=错误
模型荷载重量（“所有不可训练。h5”）
I在回调和model.fit\u generator model.load\u weights（filepath=“weights/renet50\u best\u weight.fold\u 1.hdf5'）之间损失一行此错误与冻结层无关。它与尝试适应与模型输入形状不同的数据有关。但是，当我冻结resnet50的所有层时，不会出现任何错误，这是否意味着输入形状正常？代码中的其他内容已更改。感谢您的回答。这是否意味着