Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/vba/15.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Deep learning 在caffe中创建数据时,val数据与列车数据是否不同?_Deep Learning_Caffe - Fatal编程技术网

Deep learning 在caffe中创建数据时,val数据与列车数据是否不同?

Deep learning 在caffe中创建数据时,val数据与列车数据是否不同?,deep-learning,caffe,Deep Learning,Caffe,我制作了3组图像数据: 1-包含130523个图像的列车。 2-验证控制14503张图像。 3-包含94500个图像的测试。 现在我想为用于培训的数据创建.lmdb格式。 在本教程中,它说将数据分组为train和val。 那么这是否意味着我应该只使用train和val数据集,而不使用测试? 稍后,当我想测试我的模型时,测试数据集会发生什么变化?它们不应该再次转换为.lmdb吗? 我想确保我已经理解了这些差异。很抱歉,如果一个问题非常基本,但我没有找到任何答案。有三种类型的数据集 训练集-这是网络

我制作了3组图像数据:

1-包含130523个图像的列车。 2-验证控制14503张图像。 3-包含94500个图像的测试。 现在我想为用于培训的数据创建.lmdb格式。 在本教程中,它说将数据分组为train和val。 那么这是否意味着我应该只使用train和val数据集,而不使用测试? 稍后,当我想测试我的模型时,测试数据集会发生什么变化?它们不应该再次转换为.lmdb吗?
我想确保我已经理解了这些差异。很抱歉,如果一个问题非常基本,但我没有找到任何答案。

有三种类型的数据集

训练集-这是网络训练的数据

测试集-此数据集用于验证网络是否过度拟合到训练集,以及是否已正则化

验证集-由于我们在培训期间实际使用测试集(检查正则化),因此建议保留一个单独的测试集,该测试集的数据到目前为止还没有看到。在这个设备上运行网络将告诉我们在现实世界中测试网络时网络将如何运行


在您的情况下,您应该为这三个文件创建lmdb文件。在培训期间,使用培训和测试集。培训后,使用验证集确认培训后的网络是否准确

有时,术语验证和测试可以互换(至少在caffe中是如此)。然而,从每一组数据的大小来看,我认为验证集(包含14K图像)应该被用来检查您所训练模型的准确性,然后才真正将模型测试到不可见的真实世界数据。 因此,您的测试数据集(~94k个图像)将被视为看不见的真实世界数据


为了深入了解如何进行train val测试过程,还可以查看caffe目录中提供的示例
00分类.ipynb
01学习lenet.ipynb
就足够了。

你在说什么教程?这一个[只谈训练和val而不是测试。我想确保我不应该在创建.lmdb文件时使用测试数据。还有这一个[dennis chen的解释**感谢您的回答。因此,30%的数据应保留用于测试数据或验证?10%的dta如何?保留一个较小的数据集用于验证。例如,10%@malreddysid-对于
BVLC Caffe
所示的示例模型具有
培训
验证
培训阶段。测试根本不用。你确定上面的解释吗?