Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/image-processing/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Image processing 当测试数据集和训练数据集来自不同的源时,为什么测试精度保持不变,并且在二进制分类中不会增加_Image Processing_Machine Learning_Classification_Deep Learning_Theano - Fatal编程技术网

Image processing 当测试数据集和训练数据集来自不同的源时,为什么测试精度保持不变,并且在二进制分类中不会增加

Image processing 当测试数据集和训练数据集来自不同的源时,为什么测试精度保持不变,并且在二进制分类中不会增加,image-processing,machine-learning,classification,deep-learning,theano,Image Processing,Machine Learning,Classification,Deep Learning,Theano,我有来自两个不同来源的训练数据集和测试数据集。我的意思是,它们来自两个不同的实验,但它们的结果都是相同的生物图像。我想用深度CNN做二元分类,我有以下关于测试精度和训练精度的结果。蓝线显示了列车的准确度,红线显示了近250个历次后的测试准确度。为什么测试精度几乎不变而没有提高?这是因为测试和训练数据集来自不同的分布吗 编辑: 在我添加了退出层、调节项和平均减法之后,我仍然得到以下奇怪的结果,即模型从一开始就过拟合了 可能有两个原因。首先,您对培训数据进行了过度拟合。这可以通过使用验证分数作为测

我有来自两个不同来源的训练数据集和测试数据集。我的意思是,它们来自两个不同的实验,但它们的结果都是相同的生物图像。我想用深度CNN做二元分类,我有以下关于测试精度和训练精度的结果。蓝线显示了列车的准确度,红线显示了近250个历次后的测试准确度。为什么测试精度几乎不变而没有提高?这是因为测试训练数据集来自不同的分布吗

编辑: 在我添加了退出层、调节项和平均减法之后,我仍然得到以下奇怪的结果,即模型从一开始就过拟合了


可能有两个原因。首先,您对培训数据进行了过度拟合。这可以通过使用验证分数作为测试数据的比较指标来验证。如果是这样的话,你可以使用标准技术来对抗过度拟合,比如体重衰减和体重下降

第二个问题是,您的数据差异太大,无法像这样学习。这更难解决。您应该首先查看两个图像的值分布。它们都正常化了吗。Matplotlib会自动对打印图像进行规格化。如果这仍然不起作用,您可能希望研究增强,使您的培训数据更类似于测试数据。在这里,我不能告诉你使用什么,没有看到列车组和测试集

编辑:

对于标准化,测试集和训练集应具有相似的值分布。若你们进行数据集标准化,你们就可以计算训练集上的平均值和标准差。但您还需要使用测试集上的计算值,而不是从测试集中计算测试集值。只有当训练集和测试集的值分布相似时,这才有意义。如果不是这种情况,您可能希望首先对每个样本进行规范化


通常用于每个数据集的其他增强包括过采样、随机通道移动、随机旋转、随机平移和随机缩放。这使您对这些操作不变性。

是的,数据扩充部分就是这样。这是一个好的机器学习模型的关键。我正在使用平均值和标准偏差值对火车数据集进行均值减法归一化。我执行以下程序缩放列车=(列车-列车平均值)/列车标准偏差我还能做什么来增加数据?缩放测试=(测试-训练平均值)/训练标准偏差编辑了我的答案。谢谢@Thomaspinez!我洗牌了数据,我做了减法,我给我的CNN添加了退出层,我也添加了正则化器!但训练损失减少,而验证损失增加,其准确性也增加。我不知道为什么测试损耗会减少!我不知道如何处理这个问题!你的验证损失增加了吗?损失应该在减少。无论如何,从启用了colorbar的验证集和启用了colorbar的测试集打印自己的图像。这通常会提供额外的见解。