Python 使用lstm和keras训练模型

我有如下输入数据：

x_train = [
    [0,0,0,1,-1,-1,1,0,1,0,...,0,1,-1],
    [-1,0,0,-1,-1,0,1,1,1,...,-1,-1,0]
    ...
    [1,0,0,1,1,0,-1,-1,-1,...,-1,-1,0]
]
y_train = [1,1,1,0,-1,-1,-1,0,1...,0,1]

它是一个数组，每个数组的大小为83。 y_序列是每个阵列的标签。 所以

len（x\u列）

等于

len（y\u列）

。 我从keras和theano后端使用以下代码对此类数据进行培训：

def train(x, y, x_test, y_test):
    x_train = np.array(x)
    y_train = np.array(y)
    print x_train.shape
    print y_train.shape
    model = Sequential()
    model.add(Embedding(x_train.shape[0], output_dim=256))
    model.add(LSTM(128))
    model.add(Dropout(0.5))
    model.add(Dense(1, activation='sigmoid'))
    model.compile(loss='binary_crossentropy',
            optimizer='rmsprop',
            metrics=['accuracy'])
    model.fit(x_train, y_train, batch_size=16)
    score = model.evaluate(x_test, y_test, batch_size=16)
    print score

但我的网络不适合，结果是：

Epoch 1/10
1618/1618 [==============================] - 4s - loss: -1.6630 - acc: 0.0043     
Epoch 2/10
1618/1618 [==============================] - 4s - loss: -2.5033 - acc: 0.0012         
Epoch 3/10
1618/1618 [==============================] - 4s - loss: -2.6150 - acc: 0.0012         
Epoch 4/10
1618/1618 [==============================] - 4s - loss: -2.6297 - acc: 0.0012         
Epoch 5/10
1618/1618 [==============================] - 4s - loss: -2.5731 - acc: 0.0012            
Epoch 6/10
1618/1618 [==============================] - 4s - loss: -2.6042 - acc: 0.0012         
Epoch 7/10
1618/1618 [==============================] - 4s - loss: -2.6257 - acc: 0.0012          
Epoch 8/10
1618/1618 [==============================] - 4s - loss: -2.6303 - acc: 0.0012         
Epoch 9/10
1618/1618 [==============================] - 4s - loss: -2.6296 - acc: 0.0012         
Epoch 10/10
1618/1618 [==============================] - 4s - loss: -2.6298 - acc: 0.0012         
283/283 [==============================] - 0s     
[-2.6199024279631482, 0.26501766742328875]

---

我想进行这项训练并取得好成绩。

负损失应该是一个巨大的危险信号。损失应始终为正数，接近零。你说你的y是

y_train = [1,1,1,0,-1,-1,-1,0,1...,0,1]

由于你的损失是二元的交叉熵，我不得不假设目标是一个2类的分类问题。当您查看y值时，您有-1、0和1。这意味着有三类。大问题，你应该只有1和0。您需要更正数据。我对数据一无所知，所以我忍不住把它浓缩成两类。负1是负损失的原因。sigmoid激活基于范围为0-1的CDF，因此您的类必须适合此函数的任一端

---

编辑

根据下面评论中的描述，我建议采用3级结构。下面是转换为分类值的输出数据示例

from keras.utils import to_categorical

y_train = np.random.randint(-1,2,(10))

print(y_train)

[-1  0 -1 -1 -1  0 -1  1  1  0]

print(to_categorical(y_train,num_classes=3))

[[ 0.  0.  1.]
 [ 1.  0.  0.]
 [ 0.  0.  1.]
 [ 0.  0.  1.]
 [ 0.  0.  1.]
 [ 1.  0.  0.]
 [ 0.  0.  1.]
 [ 0.  1.  0.]
 [ 0.  1.  0.]
 [ 1.  0.  0.]]

现在，每个可能的输出都存储在单独的列中。您可以看到如何为-1,0和1分配一个二进制值，即

-1=[0.0.1.]

，

0=[1.0.0.]

，以及

1=[0.1.0.]

现在您只需要更新loss函数、输出节点的数量和输出层上的激活

model.add(Dense(3, activation='softmax'))
model.compile(loss='categorical_crossentropy',
        optimizer='rmsprop',
        metrics=['accuracy'])

---

你只训练10个短时期。如果你再多训练会怎么样？@JonasAdler即使有100个纪元，我也会得到同样的结果。@JonasAdler我怎么能只用tensorflow来训练呢？谢谢你的回答。我的数据中的1，0，-1表示某些度量的增加和减少，y是这83个度量在一个度量上的结果。我的意思是，度量x的增加和度量y和z的减少，以及度量t，m的变化对特定单个度量的影响。我应该使用哪种损失函数？我得到了我的答案，我应用了你的笔记，我将我的y_序列转换为分类数据，并且不改变我的输入。使用

RMSprop

作为我的优化器，使用

0.5

作为

learning rate

和上面代码中的所有其他选项，我的损失率为9！！！准确率45%