Tensorflow 不同的输入图像大小/分辨率如何影响语义图像分割网络的输出质量?

Tensorflow 不同的输入图像大小/分辨率如何影响语义图像分割网络的输出质量?,tensorflow,machine-learning,computer-vision,deep-learning,image-segmentation,Tensorflow,Machine Learning,Computer Vision,Deep Learning,Image Segmentation,在尝试对来自一个数据集()的图像进行图像分割时,我意识到在主观感知的输出质量上存在很大差异(可能在对(m)IoU进行基准测试时也是如此) 这就提出了我的问题,输入图像的大小/分辨率是否以及如何影响语义图像分割网络的输出,语义图像分割网络已针对与输入图像大小或分辨率不同的图像进行训练 我从这个网络中附加了两个图像及其相应的输出图像:(使用提供的权重) 第一幅图像来自CityScapes数据集(测试集),宽度和高度为(20481024)。已使用此数据集中的培训和验证图像对网络进行了培训 第二幅图

在尝试对来自一个数据集()的图像进行图像分割时,我意识到在主观感知的输出质量上存在很大差异(可能在对(m)IoU进行基准测试时也是如此)

这就提出了我的问题,输入图像的大小/分辨率是否以及如何影响语义图像分割网络的输出,语义图像分割网络已针对与输入图像大小或分辨率不同的图像进行训练

我从这个网络中附加了两个图像及其相应的输出图像:(使用提供的权重)

第一幅图像来自CityScapes数据集(测试集),宽度和高度为(20481024)。已使用此数据集中的培训和验证图像对网络进行了培训

第二幅图像来自KITTI数据集,宽度和高度为(1242375):


可以看出,第一个分割图像中的形状是明确定义的,而在第二个分割图像中,对象的详细分离是不可能的。

一般来说,神经网络对尺度变化非常鲁棒,但它们肯定不是完美的。虽然我没有现成的参考资料,但有许多论文表明,量表确实会影响准确性

事实上,使用具有不同比例图像的数据集训练您的网络几乎肯定会改善它

此外,今天使用的许多图像分割网络明确地将构造构建到网络中,以在网络体系结构的级别上改进这一点

由于您可能不知道这些网络是如何训练的,我建议您调整图像大小,以匹配您正在使用的网络训练的大致形状。使用普通图像大小调整函数调整图像大小是一个非常正常的预处理步骤

因为您引用的图像很大,所以我还要说,无论您通过什么数据输入管道,都已经代表您调整了图像的大小。这种类型的大多数神经网络都是在256x256左右的图像上训练的。在训练或预测之前,根据需要对输入图像进行裁剪和居中。处理如此大的图像需要大量的计算,而且还没有发现能大大提高精度