Python NLP情绪分析网没有学习

我想训练一个用于情绪分析的神经网络。我遵循了keras网页上的教程，但我必须根据我的用例调整代码，以便以后能够使用网络

为此，我将imdb数据集中的文本从keras从数字解码回文本，然后对文本进行词干化，因为我需要使用词干化的文本。在那之后，因为我想控制我做单词嵌入的方式，而不是使用文本序列和pad序列，所以我正在训练一个doc2vec嵌入，并在训练集中使用它，这样我就可以从我想要分类的文本中获得嵌入

问题是，网络没有学到任何东西，准确性没有提高，我无法减少损失函数。我尝试过很多东西，比如网络的结构，所有的超参数，把最后一层从2个网络改成1个，从稀疏的分类熵改成二进制交叉熵。让我们看看是否有人能帮我解决问题。我在这里插入代码，并提前表示感谢

from keras.datasets import imdb
max_features = 40000
(training_data, training_targets), (testing_data, testing_targets) = imdb.load_data(num_words=max_features)

import numpy as np
data = np.concatenate((training_data, testing_data), axis=0)
targets = np.concatenate((training_targets, testing_targets), axis=0)


index = imdb.get_word_index()
reverse_index = dict([(value, key) for (key, value) in index.items()])
decoded = " ".join([reverse_index.get(i - 3, "") for i in data[0]])

import nltk
from nltk .stem import LancasterStemmer

toke_corpus = list()
lan = LancasterStemmer()

from tqdm import tqdm
lista_reviews = list()

for review in tqdm(data):
  lista_reviews.append(np.array([lan.stem(reverse_index.get(i - 3, '')) for i in review][1:]))

train_x, test_x = lista_reviews[10000:], lista_reviews[:10000]
train_y, test_y = targets[10000:], targets[:10000]

 from gensim.models.callbacks import CallbackAny2Vec

 class EpochLogger(CallbackAny2Vec):
     '''Callback to log information about training'''
     def __init__(self):
         self.epoch = 0
     def on_epoch_begin(self, model):
         print("Epoch #{} start".format(self.epoch))
     def on_epoch_end(self, model):
         print("Epoch #{} end".format(self.epoch))
         self.epoch += 1


from gensim.models.doc2vec import Doc2Vec, TaggedDocument

documents = [TaggedDocument(doc, [i]) for i, doc in enumerate(lista_reviews)]
print("DOcuments already built")
epoch_logger = EpochLogger()
model = Doc2Vec(documents, vector_size=512, window=5, min_count=3, workers=8, epochs = 7, callbacks=[epoch_logger])


encoded_x_train, encoded_x_test = list(), list()
from tqdm import tqdm
for i in tqdm(train_x):
    encoded_x_train.append(model.infer_vector(i))
for k in tqdm(test_x):
    encoded_x_test.append(model.infer_vector(k))

import keras

reduce_lr = keras.callbacks.callbacks.ReduceLROnPlateau(monitor='val_loss', factor=0.50, patience=2, verbose=1, mode='auto', cooldown=0, min_lr=0.00001)

early = keras.callbacks.EarlyStopping(monitor='val_loss', min_delta=0, patience=4, verbose=1, mode='auto')

from keras import models
from keras.models import Sequential
from keras import layers
from keras.layers import Embedding, Bidirectional, Dense, LSTM, Conv1D, MaxPooling1D, Flatten

model1 = Sequential()
model1.add(Embedding(input_dim = max_features, input_length=512, output_dim=128, trainable=False))

model1.add(Conv1D(filters=64,
                 kernel_size=5,
                 padding='valid',
                 activation='linear',
                 strides=1))
model1.add(MaxPooling1D(pool_size=4))
model1.add(Dense(64, activation='linear'))
model1.add(LSTM(32, activation='tanh'))
# model1.add(Dense(32, activation='relu'))
# model1.add(Flatten())
# model1.add(Dense(1, activation='sigmoid'))
model1.add(Dense(2, activation='softmax'))
model1.summary()


from keras import optimizers
# sgd = optimizers.SGD(lr=0.001, decay=1e-6, momentum=0.9, nesterov=True)
adam = optimizers.Adam(learning_rate=0.01, beta_1=0.9, beta_2=0.999, amsgrad=False)


model1.compile(loss='sparse_categorical_crossentropy',
              optimizer=adam,
              metrics=['accuracy'])

history  = model1.fit( np.array(encoded_x_train), np.array(train_y),
 epochs= 20,
 batch_size = 500,
 validation_data = (np.array(encoded_x_test), np.array(test_y)), callbacks = [reduce_lr, early]
)

---

您可以使用Doc2Vec创建示例嵌入。因此，我认为嵌入层、Conv1D层和maxpoolg1d层在您的网络中并不有用。它们对于word2vec非常有用，在word2vec中，您可以提取每个令牌的嵌入并在网络中使用它们

尝试用这种方式直接向网络中嵌入内容

model1 = Sequential()
model1.add(Dense(128, activation='relu', input_shape=(512,)))
# ....
model1.add(Dense(2, activation='softmax'))

adam = optimizers.Adam(learning_rate=0.01, beta_1=0.9, beta_2=0.999, amsgrad=False)

model1.compile(loss='sparse_categorical_crossentropy',
              optimizer=adam,
              metrics=['accuracy'])

history  = model1.fit( np.array(encoded_x_train), np.array(train_y),
 epochs= 20,
 batch_size = 500,
 validation_data = (np.array(encoded_x_test), np.array(test_y)), callbacks = [reduce_lr, early]
)

---

数组（encoded_x_test）是浮点值的2D数组吗？是为数据集中的每个样本提取的嵌入矩阵正确吗？正确。这是（10000，512）的形状你好，现在网络确实可以工作了。但我不明白你为什么说我应该删除conv1D和MaxPooling层。你认为我的方法是解决这个问题的好方法吗？非常感谢您的帮助，我认为Doc2Vec加上密集网络是一个很好的方法。emb、maxpool和conv1d在您的案例中没有用处，因为您在创建句子/文档嵌入之前就已经创建了它们，所以您不需要在网络中创建它们。您直接在2d空间中工作，而maxpool和conv1d强制您在3d空间中工作，这在您的案例中是无用的Hello@Marco Cerliani，非常感谢。但由于我需要向神经网络输入数字，您认为什么时候使用和嵌入层加上更困难的架构是一种好方法？您可以使用D2V、W2V+嵌入或keras可训练嵌入。。。最好的方法是在测试集上最有效的方法是的，但是如果我只有原始文本的话。您的意思是使用DOC2vec为嵌入提供信息，或者在W2V嵌入模型之前进行训练，然后通过平均每个单词的嵌入来进行嵌入，然后使用可训练为True的嵌入层进行嵌入？或者最后两个步骤对您来说是不同的方法？非常感谢你的意见