Python 对于序列型模型,如何处理非常多的目标语音?
我目前正在处理一个语言模型,即顺序模型,我要预测的目标词汇量非常高Python 对于序列型模型,如何处理非常多的目标语音?,python,tensorflow,keras,deep-learning,seq2seq,Python,Tensorflow,Keras,Deep Learning,Seq2seq,我目前正在处理一个语言模型,即顺序模型,我要预测的目标词汇量非常高 x = Dense(80000000, activation='softmax') 我无法计算所有词汇表中的softmax,因此我使用了tf.nn.sampled\u softmax来训练模型,但对于验证评估,我们仍然必须计算softmax,不是吗?但我不能这样做,它抛出的错误,它不适合在gpu内存时,试图在tensorflow它 我使用的批量大小为32。在这种情况下,我有什么选择?你如何处理这个问题?请按顺序帮助我最好使用字
x = Dense(80000000, activation='softmax')
我无法计算所有词汇表中的softmax,因此我使用了tf.nn.sampled\u softmax
来训练模型,但对于验证评估,我们仍然必须计算softmax,不是吗?但我不能这样做,它抛出的错误,它不适合在gpu内存时,试图在tensorflow它
我使用的批量大小为32。在这种情况下,我有什么选择?你如何处理这个问题?请按顺序帮助我最好使用字符作为目标,例如,每个具有最大问题的字符都将被输入到模型中,以生成具有最大问题的预测下一个字符等等,但我不能将字符用作目标,它实际上是一个连续实体|问题的分类类型,我必须使用单词。您的数据具有
8000000
唯一类别标签,我想你可能弄错了,你的数据集是什么?不,我是肯定的,我有那么多目标词汇要预测。这是一个非常庞大的私人数据集。当你说vocal
时,你的意思是单词,对吗?如果是,则是字符级模型的情况