Python 文本序列到整型,Keras中有许多整型类

Python 文本序列到整型,Keras中有许多整型类,python,tensorflow,machine-learning,keras,neural-network,Python,Tensorflow,Machine Learning,Keras,Neural Network,我正在获取字符串,例如“一百二十三”,或“九百九十九”,并使用Keras文本预处理标记器将其编码为长度为4的单词标记序列,并将其用作具有4个节点的输入,并将许多整数类作为输出,例如0 1 2。。。1000个,带有1001个输出节点,带有tensorflow后端 我使用一个嵌入输入层,然后是一个扁平层,然后是一个密集的输出层,通过softmax激活将输入序列分类为一个数字 这种方法适用于0-1000等数字,但使用“八万七千四百二十三”这样的字符串将数字放大到100000个证明是一个训练时间很长的问

我正在获取字符串,例如“一百二十三”,或“九百九十九”,并使用Keras文本预处理标记器将其编码为长度为4的单词标记序列,并将其用作具有4个节点的输入,并将许多整数类作为输出,例如0 1 2。。。1000个,带有1001个输出节点,带有tensorflow后端

我使用一个嵌入输入层,然后是一个扁平层,然后是一个密集的输出层,通过softmax激活将输入序列分类为一个数字

这种方法适用于0-1000等数字,但使用“八万七千四百二十三”这样的字符串将数字放大到100000个证明是一个训练时间很长的问题,因为有100000个输出神经元


有没有更好的方法可以在不牺牲效率的情况下为可能数百万的数字构造NN?

也许你可以将其表述为使用RNN的序列预测问题或具有N位数输出节点的回归问题。

也许你可以将其表述为使用RNN的序列预测问题或具有N位数输出的回归问题节点。

我最初尝试过类似的方法,但没有成功。我将再次尝试,并在最初制作NN时报告,我将文本序列作为输入,另一个序列包含输出编号的数字。结果没有成功,因为损失从未完全收敛,而且精度也不是很好。这一次,我将输出设置为一个包含10列和N行的数组,其中N是输出编号的最大位数。输出层具有softmax激活,因此行中的最高数字具有预测数字的索引。这种方法最终很好地应用于亿万富翁的数字。我最初尝试过类似的方法,但没有成功。我将再次尝试,并在最初制作NN时报告,我将文本序列作为输入,另一个序列包含输出编号的数字。结果没有成功,因为损失从未完全收敛,而且精度也不是很好。这一次,我将输出设置为一个包含10列和N行的数组,其中N是输出编号的最大位数。输出层具有softmax激活,因此行中的最高数字具有预测数字的索引。这种方法最终非常适用于数以十亿计的数字