使用Keras对Youtube评论进行LSTM情绪分析

使用Keras对Youtube评论进行LSTM情绪分析,youtube,deep-learning,keras,recurrent-neural-network,imdb,Youtube,Deep Learning,Keras,Recurrent Neural Network,Imdb,我的目标是通过使用LSTM缓慢缩放来弄脏我的手。然而,在现在的初始阶段,我正试图使用Keras实现一个youtubelstm情绪分析器。在搜索可用于帮助我的资源时,我遇到了IMDB情绪分析数据集和LSTM代码。虽然它对较长的输入效果很好,但较短的输入效果不太好。代码在这里 保存Keras模型并使用此代码为此数据构建预测模块后 model = load_model('ytsentanalysis.h5') print("Enter text") text=input() list=text

我的目标是通过使用LSTM缓慢缩放来弄脏我的手。然而,在现在的初始阶段,我正试图使用Keras实现一个youtubelstm情绪分析器。在搜索可用于帮助我的资源时,我遇到了IMDB情绪分析数据集和LSTM代码。虽然它对较长的输入效果很好,但较短的输入效果不太好。代码在这里

保存Keras模型并使用此代码为此数据构建预测模块后

 model = load_model('ytsentanalysis.h5')
 print("Enter text")
 text=input()
 list=text_to_word_sequence(text,filters='!"#$%&()*+,-./:;<=>?@[\\]^_`{|}~\t\n',lower=True,split=" ")
 print(list)
 word_index = imdb.get_word_index()
 x_test = [[word_index[w] for w in list if w in word_index]]
 prediction=model.predict(x_test)
 print(prediction)
model=load\u model('ytsentlanalysis.h5')
打印(“输入文本”)
text=input()
list=text\u to\u word\u序列(text,filters='!“\$%&()*+,-./:?@[\]^{\}~\t\n',lower=True,split=“”)
打印(列表)
word\u index=imdb.get\u word\u index()
x_测试=[[word_索引中的w表示列表中的w,如果word_索引中的w表示w]]
预测=模型预测(x_检验)
打印(预测)
我输入了各种输入,如“糟糕的视频”、“精彩绝伦”或“很棒”、“糟糕极了”。对于类似的糟糕主题输入,输出范围从接近1到接近1,对于良好主题输入,我已经看到了0.3ish的预测。我预计正面输入应该接近1,负面输入应该接近0

为了解决这个问题,我在训练和预测时限制了maxlen=20,因为Youtube的评论要短得多,同样的代码会再次运行。这次预测过程中的概率都是e^insert大的负幂

我没有办法调整和重用现有的数据集吗?如果没有,因为标记的Youtube评论数据集没有那么广泛,我是否应该使用类似于Twitter评论数据集的东西,以牺牲Keras中预构建的IMDB输入模块的效率为代价?我有没有办法看到这些模块的代码


提前感谢您回答所有这些问题。

IMDb数据集和YouTube评论之间的区别非常不同,因为与评论和推文相比,电影评论非常长且广泛

在公开的数据集上训练模型可能更有帮助(例如,Tweets,可能更符合YT评论)。然后,您可以使用预先训练的模型,并在YT评论数据集上对其进行微调。利用一些预先训练的单词嵌入也很有用,例如globe和word2vec

或者,你也可以研究使用来分析评论。

正如你所说,我一直在努力,但这让我在tweet中的每个字都有自己的情感输出。将其与LSTM IMDB网络相结合能解决这个问题吗?