Tensorflow 训练准确率高，但评价差

我训练了一个DNN模型，得到了较好的训练精度，但评估精度较差

def DNN_Metrix(shape, dropout):
    model = tf.keras.Sequential()
    print(shape)
    model.add(tf.keras.layers.Flatten(input_shape=shape))
    model.add(tf.keras.layers.Dense(10,activation=tf.nn.relu))
    for i in range(0,2):
        model.add(tf.keras.layers.Dense(10,activation=tf.nn.relu))
    model.add(tf.keras.layers.Dense(8,activation=tf.nn.tanh))
    model.add(tf.keras.layers.Dense(1, activation=tf.nn.sigmoid))
    model.compile(loss='binary_crossentropy',
                      optimizer=tf.keras.optimizers.Adam(),
                      metrics=['accuracy'])
    return model

model_dnn = DNN_Metrix(shape=(28,20,1), dropout=0.1)
model_dnn.fit(
    train_dataset, 
    steps_per_epoch=1000, 
    epochs=10, 
    verbose=2
)

以下是我的培训过程和结果：

纪元10/10 -55s-损耗：0.4763-附件：0.7807

但当我使用测试数据集进行评估时，我得到：

result = model_dnn.evaluate(np.array(X_test), np.array(y_test), batch_size=len(X_test))

损失，准确度=[0.9485417604446411,0.3649936616420746] 这是一个二元分类，正标签：负标签是关于 0.37:0.63

我不认为这是过度装修的结果，我训练时有700k个实例，形状为28*20，我的DNN模型简单，参数很少

以下是生成测试数据和培训数据时的代码：

def parse_function(example_proto):
    dics = {
            'feature': tf.FixedLenFeature(shape=(), dtype=tf.string, default_value=None),
            'label': tf.FixedLenFeature(shape=(2), dtype=tf.float32),
            'shape': tf.FixedLenFeature(shape=(2), dtype=tf.int64)
            }
    parsed_example = tf.parse_single_example(example_proto, dics)
    parsed_example['feature'] = tf.decode_raw(parsed_example['feature'], tf.float64)
    parsed_example['feature'] = tf.reshape(parsed_example['feature'], [28,20,1])
    label_t = tf.cast(parsed_example['label'], tf.int32)

    parsed_example['label'] = parsed_example['label'][1]

    return parsed_example['feature'], parsed_example['label']


def read_tfrecord(train_tfrecord):
    dataset = tf.data.TFRecordDataset(train_tfrecord)
    dataset = dataset.map(parse_function)
    dataset = dataset.shuffle(buffer_size=10000)
    dataset = dataset.repeat(100)
    dataset = dataset.batch(670)
    return dataset


def read_tfrecord_test(test_tfrecord):
    dataset = tf.data.TFRecordDataset(test_tfrecord)
    dataset = dataset.map(parse_function)
    return dataset


# tf_record_target = 'train_csv_temp_norm_vx.tfrecords'
train_files = 'train_baseline.tfrecords'
test_files = 'test_baseline.tfrecords'

train_dataset = read_tfrecord(train_files)
test_dataset  = read_tfrecord_test(test_files)


it_test_dts = test_dataset.make_one_shot_iterator()
it_train_dts = train_dataset.make_one_shot_iterator()


X_test = []
y_test = []

el = it_test_dts.get_next()

count = 1 
with tf.Session() as sess:
    while True:
        try:
            x_t, y_t = sess.run(el)
            X_test.append(x_t)
            y_test.append(y_t)
        except tf.errors.OutOfRangeError:
            break

---

从测试集中的数据分布为[37%-63%]和最终精度为0.365这一事实判断，我首先检查测试集中预测的标签

最有可能的是，您所有的预测都是0类的，前提是0类占数据集的37%。在这种情况下，这意味着你的神经网络无法在训练集中学习任何东西，你有大量的过度拟合的情况

---

我建议您始终使用验证集，以便在每个历元结束时，检查您的神经网络是否学到了任何东西。在这种情况下（比如你的情况），你会很快发现过度拟合的问题。

训练的准确性并不意味着什么。神经网络可以拟合任意一组随机的输入和输出，即使它们是不相关的。这就是为什么要使用验证数据

训练结束后，看看你的损失曲线，这会让你更好地了解哪里出了问题

NN默认只猜测分类问题训练数据中最流行的类。这通常是当您没有正确设置实验时发生的情况

---

由于您处理的是二进制分类，您可能希望查看StratifiedKFold之类的东西，如果样本%保持不变，它将提供训练/测试数据的折叠。

我终于找到了原因：我使用不同的函数来构造训练和测试数据的tfrecord文件，在构造训练数据时，我使用了df.fillna（0），但对于测试数据，我使用了df.fillna（0.01）。在我重建了测试数据之后，一切正常。谢谢所有帮助我的人。