Pytorch Torchtext TABLARDATASET:data.Field不';不包含实际导入的数据?
我从Torchtext文档中了解到,导入csv文件的方法是通过TablerDataset。我是这样做的:Pytorch Torchtext TABLARDATASET:data.Field不';不包含实际导入的数据?,pytorch,torchtext,Pytorch,Torchtext,我从Torchtext文档中了解到,导入csv文件的方法是通过TablerDataset。我是这样做的: train = data.TabularDataset(path='./data.csv', format='csv', fields=[("label",data.Field(use_vocab=True,include_lengths=False)),
train = data.TabularDataset(path='./data.csv',
format='csv',
fields=[("label",data.Field(use_vocab=True,include_lengths=False)),
("statement",data.Field(use_vocab=True,include_lengths=True))],
skip_header=True)
“标签”和“声明”是我的csv文件中两列的标题名。我将它们定义为data.Field,但是“label”和“statement”似乎实际上并不包含我的csv文件中的数据,尽管控制台可以毫无问题地将它们识别为数据字段对象。当我试图用statement.build_vocab(train,max_size=25000)构建一个歌手列表时,我发现了这个问题。我打印了len(statement.vocab),返回值是“2”,这显然没有反映csv文件中的实际数据。导入csv数据时我是否做错了什么,或者我的vocab构建是否做错了?是否有单独的方法将数据放入字段对象中?谢谢 必须像这样单独定义字段
TEXT = data.Field(sequential=True,tokenize=tokenize, lower=True, include_lengths=True)
LABEL = data.Field(sequential=True,tokenize=tokenize, lower=True)
train = data.TabularDataset(path='./data.csv',
format='csv',
fields=[("label",LABEL),
("statement",TEXT)],
skip_header=True)
test = data.TabularDataset(path='./test.csv',
format='csv',
fields=[("label",LABEL),
("statement",TEXT)],
skip_header=True)