Python TensorFlow按唯一CSV行标记化,而不是按行中的唯一单词标记化

Python TensorFlow按唯一CSV行标记化,而不是按行中的唯一单词标记化,python,tensorflow,machine-learning,tokenize,one-hot-encoding,Python,Tensorflow,Machine Learning,Tokenize,One Hot Encoding,我正在尝试使用标记器将自由文本分类为选定的类别 对于功能,我使用以下方法: x_tokenizer = Tokenizer() x_tokenizer.fit_on_texts(x) x_train = x_tokenizer.texts_to_matrix(x_train, mode='count') x_test = x_tokenizer.texts_to_matrix(x_test, mode='count') 和x\u标记器。word\u docs返回如下内容: defaultdic

我正在尝试使用标记器将自由文本分类为选定的类别

对于功能,我使用以下方法:

x_tokenizer = Tokenizer()
x_tokenizer.fit_on_texts(x)
x_train = x_tokenizer.texts_to_matrix(x_train, mode='count')
x_test = x_tokenizer.texts_to_matrix(x_test, mode='count')
x\u标记器。word\u docs
返回如下内容:

defaultdict(<class 'int'>, {'name': 1, 'releasing': 1, 'one': 4, 'vehicle': 101, 'air': 3, 'vhel': 1, 'recently': 2})
defaultdict(<class 'int'>, {'a': 2, 'c': 2, 'language': 1, 'settings': 203, 'audio': 7, 'volume': 1})
并返回如下内容:

defaultdict(<class 'int'>, {'name': 1, 'releasing': 1, 'one': 4, 'vehicle': 101, 'air': 3, 'vhel': 1, 'recently': 2})
defaultdict(<class 'int'>, {'a': 2, 'c': 2, 'language': 1, 'settings': 203, 'audio': 7, 'volume': 1})
defaultdict(,{'a':2,'c':2,'language':1,'settings':203,'audio':7,'volume':1})
但我想要这个:

defaultdict(<class 'int'>, {'a/c': 2, 'language settings': 1, 'audio volume': 7})
defaultdict(,{'a/c':2,‘语言设置’:1,‘音频音量’:7})
因此,标签列中的每个唯一值都将表示为唯一标记。我怎样才能做到这一点

提前谢谢你