Tensorflow 多类分类的错误ROC曲线
我训练了一名CNN,将图像分为5类。但是,当我试图绘制每个类别相对于其他类别的Tensorflow 多类分类的错误ROC曲线,tensorflow,scikit-learn,roc,multiclass-classification,Tensorflow,Scikit Learn,Roc,Multiclass Classification,我训练了一名CNN,将图像分为5类。但是,当我试图绘制每个类别相对于其他类别的ROC曲线时,所有5个类别几乎都有一条对角线曲线,其AUC约为0.5。我不知道出了什么问题 该模型的准确率应该在86%左右 代码如下: import os, shutil import matplotlib.pyplot as plt import numpy as np import tensorflow as tf from tensorflow.keras import models, layers, optim
ROC
曲线时,所有5个类别几乎都有一条对角线曲线,其AUC
约为0.5。我不知道出了什么问题
该模型的准确率应该在86%左右
代码如下:
import os, shutil
import matplotlib.pyplot as plt
import numpy as np
import tensorflow as tf
from tensorflow.keras import models, layers, optimizers
from tensorflow.keras.preprocessing.image import ImageDataGenerator
from sklearn.metrics import plot_confusion_matrix, accuracy_score
from sklearn.metrics import roc_curve, auc, roc_auc_score, RocCurveDisplay
from sklearn.preprocessing import label_binarize
import random
model = tf.keras.models.load_model('G:/Myxoid lesion/Myxoid_EN3_finetune4b')
model.summary()
data_dir='G:/Myxoid lesion/Test/'
batch_size = 64
img_height = 300
img_width = 300
test_ds = tf.keras.preprocessing.image_dataset_from_directory(
data_dir,
seed = 123,
image_size=(img_height, img_width),
batch_size=batch_size)
model.compile(optimizer = optimizers.Adam(lr=0.00002),
loss = tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
metrics = ['sparse_categorical_accuracy'])
correct = np.array([], dtype='int32')
# Get the labels of test_ds
for x, y in test_ds:
correct = np.concatenate([correct, y.numpy()])
# Get the prediction probabilities for each class for each test image
prediction_prob = tf.nn.softmax(model.predict(test_ds))
num_class = 5
fpr = dict()
tpr = dict()
roc_auc = dict()
for i in range(num_class):
fpr[i], tpr[i], _ = roc_curve(correct, prediction_prob[:,i], pos_label=i)
roc_auc[i] = auc(fpr[i], tpr[i])
plt.figure()
lw = 2
for i in range(num_class):
plt.plot(fpr[i],tpr[i],
color=(random.random(),random.random(),random.random()),
label='{0} (AUC = {1:0.2f})'''.format(labels[i], roc_auc[i]))
plt.plot([0, 1], [0, 1], 'k--', lw=lw)
plt.legend(loc="lower right")
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('ROC analysis')
plt.show()
“预测概率”变量包含:
array([[6.3877934e-09, 6.3617526e-06, 5.5736535e-07, 4.9789862e-05,
9.9994326e-01],
[6.5260068e-08, 8.8882577e-03, 3.9350948e-06, 9.9110776e-01,
4.0252076e-11],
[2.7514220e-04, 2.9315910e-05, 1.6688553e-04, 9.9952865e-01,
3.5938730e-10],
...,
[1.1131389e-09, 9.8325908e-01, 3.4283744e-06, 1.6737511e-02,
7.3243338e-12],
[1.4697845e-08, 4.7125661e-05, 1.4077022e-03, 6.4052530e-02,
9.3449265e-01],
[9.9999940e-01, 1.3071107e-07, 4.3149896e-07, 4.7902233e-08,
9.2861301e-09]], dtype=float32)>
“correct”变量包含每个测试图像的正确标签:
array([0, 1, 4, ..., 4, 2, 4])
我想我遵循了scikit-learn
网站上提到的内容
生成的tpr[i]和fpr[i]变量变为线性相关,因此AUC变为0.5
我认为在生成tpr[I]和fpr[I]时存在问题?有人能解决这个问题吗
谢谢 如果我以这种方式生成标签和预测,那么我可以得到正确的ROC曲线:
prediction_prob = np.array([]).reshape(0,5)
correct = np.array([], dtype='int32')
for x, y in test_ds:
correct = np.concatenate([correct, y.numpy()])
prediction_prob = np.vstack([prediction_prob, tf.nn.softmax(model.predict(x))])
但是,如果我从model.predict(testds)中得到预测,那么预测的顺序与原始数据集不同,因此它与原始标签不匹配。我不确定这是否是tensorflow中的“bug”,或者对此有其他解释
此外,我无法获得微平均值(尽管这对我的目标并不重要)
它给出了以下错误:
raise ValueError("{0} format is not supported".format(y_type))
ValueError: multiclass format is not supported
代码应该没问题。。仅查看您的输出中的概率和真实标签,它们并不相符,您可以使用混淆矩阵进行检查吗?似乎model.predict将给出与原始测试不同顺序的结果。如果我在测试中使用prediction=np.array([])表示x,y,则测试中的x:prediction=np.concatenate([prediction,tf.nn.softmax(model.predict(x)))它将返回:ValueError:所有输入数组必须具有相同的维度数,但索引0处的数组具有1个维度,而索引1处的数组具有2个维度。是否有方法获取测试的标签?我在测试中使用:for x,y\u ds:correct=np.concatenate([correct,y.numpy()])@StupidWolf,混淆是可以的。当我生成如下的预测和标签时:对于测试中的x,y,ds:prediction=np.concatenate([prediction,np.argmax(tf.nn.softmax(model.predict(x)),axis=-1)])correct=np.concatenate([correct,y.numpy())
raise ValueError("{0} format is not supported".format(y_type))
ValueError: multiclass format is not supported