Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/363.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 对于序列型模型,如何处理非常多的目标语音?_Python_Tensorflow_Keras_Deep Learning_Seq2seq - Fatal编程技术网

Python 对于序列型模型,如何处理非常多的目标语音?

Python 对于序列型模型,如何处理非常多的目标语音?,python,tensorflow,keras,deep-learning,seq2seq,Python,Tensorflow,Keras,Deep Learning,Seq2seq,我目前正在处理一个语言模型,即顺序模型,我要预测的目标词汇量非常高 x = Dense(80000000, activation='softmax') 我无法计算所有词汇表中的softmax,因此我使用了tf.nn.sampled\u softmax来训练模型,但对于验证评估,我们仍然必须计算softmax,不是吗?但我不能这样做,它抛出的错误,它不适合在gpu内存时,试图在tensorflow它 我使用的批量大小为32。在这种情况下,我有什么选择?你如何处理这个问题?请按顺序帮助我最好使用字

我目前正在处理一个语言模型,即顺序模型,我要预测的目标词汇量非常高

x = Dense(80000000, activation='softmax')
我无法计算所有词汇表中的softmax,因此我使用了
tf.nn.sampled\u softmax
来训练模型,但对于验证评估,我们仍然必须计算softmax,不是吗?但我不能这样做,它抛出的错误,它不适合在gpu内存时,试图在tensorflow它


我使用的批量大小为32。在这种情况下,我有什么选择?你如何处理这个问题?请按顺序帮助我

最好使用字符作为目标,例如,每个具有最大问题的字符都将被输入到模型中,以生成具有最大问题的预测下一个字符等等,但我不能将字符用作目标,它实际上是一个连续实体|问题的分类类型,我必须使用单词。您的数据具有
8000000
唯一类别标签,我想你可能弄错了,你的数据集是什么?不,我是肯定的,我有那么多目标词汇要预测。这是一个非常庞大的私人数据集。当你说
vocal
时,你的意思是单词,对吗?如果是,则是字符级模型的情况