Python 对于相同的Keras型号，精确度低于AUC；数据

我有一种奇怪的Keras分类行为

当使用交叉验证和保留集时，我得到了不同的准确性

2个相同的模型，但评估方法不同：

• 模型1使用10 Kfold交叉验证（平均AUC为0.98，最低AUC为0.89）
• 型号2使用保持装置（精度0.82）

我原以为模型2最差的精度是最低的折叠精度（0.89而不是0.82）

小尺寸~10k x 13的数据

Kfold:10倍

模式1：

def create_baseline():
    # create model
    model = models.Sequential()
    model.add(layers.Dense(64, input_dim=set_1.iloc[:,0:-1].shape[1], activation='relu'))
    model.add(layers.Dense(64, activation='relu'))
    model.add(layers.Dense(1, activation='sigmoid'))
    model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
    return model

这是我代码的重要部分（其余部分与绘制ROC相关）：

注意：我尝试过标准化和非标准化

estimators = []
estimators.append(('standardize', MinMaxScaler()))
estimators.append(('mlp', KerasClassifier(build_fn=create_baseline, nb_epoch=1000, batch_size=1000, verbose=0)))
pipeline = Pipeline(estimators)
cv = StratifiedKFold(n_splits=10)
classifier = pipeline
mean_tpr = 0.0
mean_fpr = np.linspace(0, 1, 100)

colors = cycle(['cyan', 'indigo', 'seagreen', 'yellow', 'blue', 'darkorange'])
lw = 2
i = 0
for (train, test), color in zip(cv.split(X, y), colors):
    classifier.fit(X[train], y[train])
    probas_ = classifier.predict_proba(X[test])
    fpr, tpr, thresholds = roc_curve(y[test], probas_[:, 1])
    mean_tpr += interp(mean_fpr, fpr, tpr)
    mean_tpr[0] = 0.0
    roc_auc = auc(fpr, tpr)
    plt.plot(fpr, tpr, lw=lw, color=color,
             label='ROC fold %d (area = %0.2f)' % (i, roc_auc))

    i += 1

输出：

正如你所看到的，我的平均ROC为.98

问题：

模式2：

std = MinMaxScaler()
X_norm = std.fit_transform(X)
X_train_norm, X_test_norm, y_train_norm, y_test_norm = train_test_split(X_norm, y, test_size=0.1, random_state=5)

凯拉斯模型

model_2 = models.Sequential()
model_2.add(layers.Dense(64, activation='relu', input_shape=(X_train.shape[1],)))
model_2.add(layers.Dense(64, activation='relu'))
model_2.add(layers.Dense(1, activation='sigmoid'))
model_2.compile(optimizer='adam',
loss='binary_crossentropy',
metrics=['accuracy'])

运行模型：

history = model_2.fit(X_train_norm,
y_train_norm,
epochs=1000,
batch_size=1000,
validation_data=(X_test_norm, y_test_norm))

结果（最后一次迭代）：

​为什么model2的性能低于model1

注: -相同的数据、keras模型类型和种子，但结果不同！ -我做了多次测试，有无标准化，有相同和不同的种子，我仍然有相同的问题。 -我知道我可以使用更简单的模型，但我的问题与使用Keras分类器有关

---

如果我做错了，请纠正我。

你似乎有点困惑

为什么model2的性能低于model1

事实并非如此；准确地说，你的结果中没有任何东西表明它是低的还是高的

2个相同的模型，但评估方法不同

您不仅使用不同的评估方法（CV vs validation set），还使用不同的指标：比较ROC曲线下的面积，即AUC（模型1）与准确度（模型2）完全类似于将苹果与橙子进行比较

这些指标不仅不同，而且根本不同，用于完全不同的目的：

• 准确度隐含地涉及应用于计算概率的阈值；粗略地说，对于二进制分类，当样本的计算概率高于此阈值时，样本被分类为

  1

  ，否则它被分类为

  0

  。应用此阈值后计算精度，结果为

  0

  或

  1

  （我的同事详细解释了程序）。通常（在这里的例子中），该阈值隐式设置为0.5

• ROC曲线（和AUC）不涉及最终的“硬”分类（

  0/1

  ），而是前一阶段，即模型给出的计算概率，它们实际上给出了在所有可能阈值上平均的二元分类器的聚合性能。因此，ROC和AUC对最终部署的模型几乎没有什么可说的，该模型始终包括上述决策阈值，ROC曲线本身对所选阈值没有任何说明（参见更详细的说明）

更新（在评论中进行了长时间的讨论后，不幸的是，这无助于澄清问题）：

为了让自己相信情况如我所解释的那样，试着执行你的1型简历，但报告准确性，而不是ROC；这将恢复此类调查所需的所有其他同等条件。您将看到，精度将确实与您的模型2相当

如果我做错了什么，请纠正我

---

你不能说我没有试过…

你似乎有点困惑

为什么model2的性能低于model1

事实并非如此；准确地说，你的结果中没有任何东西表明它是低的还是高的

2个相同的模型，但评估方法不同

您不仅使用不同的评估方法（CV vs validation set），还使用不同的指标：比较ROC曲线下的面积，即AUC（模型1）与准确度（模型2）完全类似于将苹果与橙子进行比较

这些指标不仅不同，而且根本不同，用于完全不同的目的：

• 准确度隐含地涉及应用于计算概率的阈值；粗略地说，对于二进制分类，当样本的计算概率高于此阈值时，样本被分类为

  1

  ，否则它被分类为

  0

  。应用此阈值后计算精度，结果为

  0

  或

  1

  （我的同事详细解释了程序）。通常（在这里的例子中），该阈值隐式设置为0.5

• ROC曲线（和AUC）不涉及最终的“硬”分类（

  0/1

  ），而是前一阶段，即模型给出的计算概率，它们实际上给出了在所有可能阈值上平均的二元分类器的聚合性能。因此，ROC和AUC对最终部署的模型几乎没有什么可说的，该模型始终包括上述决策阈值，ROC曲线本身对所选阈值没有任何说明（参见更详细的说明）

更新（在评论中进行了长时间的讨论后，不幸的是，这无助于澄清问题）：

为了让自己相信情况如我所解释的那样，试着执行你的1型简历，但报告准确性，而不是ROC；这将恢复此类调查所需的所有其他同等条件。您将看到，精度将确实与您的模型2相当

如果我做错了什么，请纠正我

---

你不能说我没有尝试…

好吧，我的回答可能听起来很愚蠢，但这不是K-fold验证的目的吗

8988/8988 [==============================] - 0s - loss: 0.3517 - acc: 0.8249 - val_loss: 0.3701 - val_acc: 0.7954
Epoch 997/1000
8988/8988 [==============================] - 0s - loss: 0.3516 - acc: 0.8238 - val_loss: 0.3699 - val_acc: 0.8059
Epoch 998/1000
8988/8988 [==============================] - 0s - loss: 0.3516 - acc: 0.8250 - val_loss: 0.3694 - val_acc: 0.8038
Epoch 999/1000
8988/8988 [==============================] - 0s - loss: 0.3512 - acc: 0.8241 - val_loss: 0.3692 - val_acc: 0.7975
Epoch 1000/1000
8988/8988 [==============================] - 0s - loss: 0.3504 - acc: 0.8247 - val_loss: 0.3696 - val_acc: 0.7975