Pytorch Torchtext TABLARDATASET:data.Field不';不包含实际导入的数据?

Pytorch Torchtext TABLARDATASET:data.Field不';不包含实际导入的数据?,pytorch,torchtext,Pytorch,Torchtext,我从Torchtext文档中了解到,导入csv文件的方法是通过TablerDataset。我是这样做的: train = data.TabularDataset(path='./data.csv', format='csv', fields=[("label",data.Field(use_vocab=True,include_lengths=False)),

我从Torchtext文档中了解到,导入csv文件的方法是通过TablerDataset。我是这样做的:

train = data.TabularDataset(path='./data.csv', 
                        format='csv', 
                        fields=[("label",data.Field(use_vocab=True,include_lengths=False)),
                                ("statement",data.Field(use_vocab=True,include_lengths=True))],  
                        skip_header=True)

“标签”和“声明”是我的csv文件中两列的标题名。我将它们定义为data.Field,但是“label”和“statement”似乎实际上并不包含我的csv文件中的数据,尽管控制台可以毫无问题地将它们识别为数据字段对象。当我试图用statement.build_vocab(train,max_size=25000)构建一个歌手列表时,我发现了这个问题。我打印了len(statement.vocab),返回值是“2”,这显然没有反映csv文件中的实际数据。导入csv数据时我是否做错了什么,或者我的vocab构建是否做错了?是否有单独的方法将数据放入字段对象中?谢谢

必须像这样单独定义字段

    TEXT = data.Field(sequential=True,tokenize=tokenize, lower=True, include_lengths=True)
    LABEL = data.Field(sequential=True,tokenize=tokenize, lower=True)
    train = data.TabularDataset(path='./data.csv', 
                        format='csv', 
                        fields=[("label",LABEL),
                                ("statement",TEXT)],  
                        skip_header=True)
    test = data.TabularDataset(path='./test.csv', 
                        format='csv', 
                        fields=[("label",LABEL),
                                ("statement",TEXT)],  
                        skip_header=True)