Machine learning 了解LSTM autoencoder的输出,并使用它检测序列中的异常值

Machine learning 了解LSTM autoencoder的输出,并使用它检测序列中的异常值,machine-learning,keras,lstm,autoencoder,anomaly-detection,Machine Learning,Keras,Lstm,Autoencoder,Anomaly Detection,我试图建立LSTM模型,作为输入接收整数序列,并输出每个整数出现的概率。如果该概率较低,则应将该整数视为异常。我试图遵循本教程,尤其是我的模型来自这里。我的输入如下所示: [[[3] [1] [2] [0]] [[3] [1] [2] [0]] [[3] [1] [2] [0]] 然而,我不能理解我作为一个输出得到了什么 [[[ 2.7052343 ] [ 1.0618575 ] [ 1.8257084 ] [-0.54579014]]

我试图建立LSTM模型,作为输入接收整数序列,并输出每个整数出现的概率。如果该概率较低,则应将该整数视为异常。我试图遵循本教程,尤其是我的模型来自这里。我的输入如下所示:

[[[3]
  [1]
  [2]
  [0]]

 [[3]
  [1]
  [2]
  [0]]

 [[3]
  [1]
  [2]
  [0]]
然而,我不能理解我作为一个输出得到了什么

[[[ 2.7052343 ]
  [ 1.0618575 ]
  [ 1.8257084 ]
  [-0.54579014]]

 [[ 2.9069736 ]
  [ 1.0850943 ]
  [ 1.9787762 ]
  [ 0.01915958]]

 [[ 2.9069736 ]
  [ 1.0850943 ]
  [ 1.9787762 ]
  [ 0.01915958]]  
是重建错误吗?或者每个整数的概率?如果是,为什么它们不在0-1的范围内?如果有人能解释这一点,我将不胜感激

模型:

time_steps = 4
features = 1

train_keys_reshaped = train_integer_encoded.reshape(91, time_steps, features)
test_keys_reshaped = test_integer_encoded.reshape(25, time_steps, features)

model = Sequential()
model.add(LSTM(32, activation='relu', input_shape=(time_steps, features), return_sequences=True))
model.add(LSTM(16, activation='relu', return_sequences=False))
model.add(RepeatVector(time_steps)) # to convert 2D output into expected by decoder 3D
model.add(LSTM(16, activation='relu', return_sequences=True))
model.add(LSTM(32, activation='relu', return_sequences=True))
model.add(TimeDistributed(Dense(features)))

adam = optimizers.Adam(0.0001)
model.compile(loss='mse', optimizer=adam)

model_history = model.fit(train_keys_reshaped, train_keys_reshaped,
                          epochs=700,
                          validation_split=0.1)

predicted_probs = model.predict(test_keys_reshaped) 

正如你所说,这是一个自动编码器。自动编码器尝试重建输入。 如您所见,输出值与输入值非常接近,没有大的错误。因此,自动编码器训练有素

现在,如果要检测数据中的异常值,可以计算重构误差,即输入和输出之间的均方误差,并设置阈值

如果重建误差大于阈值,它将是一个异常值,因为自动编码器没有训练重建异常值数据

这个模式更好地代表了这个想法:


我希望这有帮助

正如你所说,这是一个自动编码器。自动编码器尝试重建输入。 如您所见,输出值与输入值非常接近,没有大的错误。因此,自动编码器训练有素

现在,如果要检测数据中的异常值,可以计算重构误差,即输入和输出之间的均方误差,并设置阈值

如果重建误差大于阈值,它将是一个异常值,因为自动编码器没有训练重建异常值数据

这个模式更好地代表了这个想法:


我希望这有帮助

谢谢你,那确实有帮助:谢谢你,那确实有帮助: