Deep learning Doc2vec LSTM精度没有提高_Deep Learning_Neural Network_Nlp_Lstm_Doc2vec

Deep learning Doc2vec LSTM精度没有提高

deep-learning neural-network nlp

Deep learning Doc2vec LSTM精度没有提高,deep-learning,neural-network,nlp,lstm,doc2vec,Deep Learning,Neural Network,Nlp,Lstm,Doc2vec,我有这个形状X，y这是Doc2vec矩阵我尝试了LogisticReturnal，MLPClassizer这提供了大约80%的准确率 print(X.shape,y.shape) (2591, 300) (2591,) 但是，当我尝试LSTM时，精确度没有提高 Epoch 1/100 2591/2591[==========================================]-5s 2ms/步- 损失：1.5062-精度：0.3547历元2/100 2591/2591 [===

我有这个形状X，y
这是Doc2vec矩阵

我尝试了LogisticReturnal，MLPClassizer这提供了大约80%的准确率

print(X.shape,y.shape)
(2591, 300) (2591,)

但是，当我尝试LSTM时，精确度没有提高

Epoch 1/100 2591/2591[==========================================]-5s 2ms/步- 损失：1.5062-精度：0.3547历元2/100 2591/2591 [=========================]-4s 2ms/步-损耗：1.5079-
精度：0.3551历元3/100 2591/2591 [===============================]-4s 2ms/步-损耗：1.5057-
精度：0.3547历元4/100 2591/2591 [=================================]-4s 2ms/步-损耗：1.5089-
精度：0.3547历元5/100 2591/2591 [=========================]-5s 2ms/步-损耗：1.5062- 精度：0.3547历元6/100

在这种情况下，问题出在哪里？

2591文档对于

Doc2Vec

–来说是一个相当小的语料库&我怀疑对于LSTM网络来说是非常小的，据我所知，它需要大量的数据来训练。（看起来你也在比较基于300维

Doc2Vec

的嵌入与基于LSTM方法的100维嵌入，这可能是一个因素。我没有试过transformer或bert。所以小数据对LSTM或bert不好？使用分类或逻辑回归更好？所有这些技术都是可行的。）有更多的培训数据，更大/更深的模型需要更多的数据和培训时间。

I choose to build 3 hidden layers
EMBEDDING_DIM = 100
model = Sequential()
model.add(Embedding(unknown, EMBEDDING_DIM, input_length=300))
model.add(LSTM(units=128, dropout=0.2, recurrent_dropout=0.2 ))
model.add(Dense(len(dic), activation='softmax'))
model.compile(loss='sparse_categorical_crossentropy', optimizer='adam', metrics=['accuracy'])