Machine learning tensorflow中的大词嵌入矩阵更新_Machine Learning_Tensorflow_Nlp_Deep Learning_Word Embedding

Machine learning tensorflow中的大词嵌入矩阵更新

machine-learning tensorflow nlp deep-learning

Machine learning tensorflow中的大词嵌入矩阵更新,machine-learning,tensorflow,nlp,deep-learning,word-embedding,Machine Learning,Tensorflow,Nlp,Deep Learning,Word Embedding,最近，我使用CNN进行文本分类，如中所述我的数据集相当大，词汇量超过100万个单词。当词汇量变大时，我的训练算法会变慢。有一条警告消息说“…tensorflow/python/ops/gradients.py:87:UserWarning:将稀疏索引转换为包含145017088个元素的密集张量。这可能会消耗大量内存。” 我认为这可能是由嵌入矩阵上的密集梯度更新引起的。有人对此有什么想法吗？有一篇帖子讨论了类似的问题。上面的答案表示tensorflow只更新特定的行。为什么我的情况会改变谢谢

最近，我使用CNN进行文本分类，如中所述

我的数据集相当大，词汇量超过100万个单词。当词汇量变大时，我的训练算法会变慢。有一条警告消息说“…tensorflow/python/ops/gradients.py:87:UserWarning:将稀疏索引转换为包含145017088个元素的密集张量。这可能会消耗大量内存。”

我认为这可能是由嵌入矩阵上的密集梯度更新引起的。有人对此有什么想法吗？有一篇帖子讨论了类似的问题。上面的答案表示tensorflow只更新特定的行。为什么我的情况会改变

谢谢