Python 是否可以将培训数据加载器(和数据集)拆分为培训和验证数据集?

Python 是否可以将培训数据加载器(和数据集)拆分为培训和验证数据集?,python,pytorch,torch,Python,Pytorch,Torch,torchvision软件包可轻松访问常用数据集: 显然,您只能在train=True和train=False之间切换。委员会解释说: train(bool,可选)–如果为True,则从training.pt创建数据集, 否则从test.pt 但这与三方分割的惯例背道而驰。对于严肃的工作,我需要另一个带有验证集的DataLoader。另外,最好自己指定分割比例。他们并没有说数据集中保留了多少百分比用于测试,也许我想改变这一点 我认为这是一个有意识的设计决策。处理其中一个数据集的每个人都应该使用相

torchvision软件包可轻松访问常用数据集:

显然,您只能在
train=True
train=False
之间切换。委员会解释说:

train(bool,可选)–如果为True,则从training.pt创建数据集, 否则从test.pt

但这与三方分割的惯例背道而驰。对于严肃的工作,我需要另一个带有验证集的
DataLoader
。另外,最好自己指定分割比例。他们并没有说数据集中保留了多少百分比用于测试,也许我想改变这一点


我认为这是一个有意识的设计决策。处理其中一个数据集的每个人都应该使用相同的测试集。这使得结果具有可比性。但是我仍然需要得到
trainloader
的验证集。是否可以将
数据加载器
拆分为两个独立的数据流

与此同时,我偶然发现了这个方法。因此,您不拆分
数据加载器
,而是拆分
数据集

torch.utils.data.random_split(dataset, lengths)
torch.utils.data.random_split(dataset, lengths)