Machine learning 了解LSTM autoencoder的输出,并使用它检测序列中的异常值
我试图建立LSTM模型,作为输入接收整数序列,并输出每个整数出现的概率。如果该概率较低,则应将该整数视为异常。我试图遵循本教程,尤其是我的模型来自这里。我的输入如下所示:Machine learning 了解LSTM autoencoder的输出,并使用它检测序列中的异常值,machine-learning,keras,lstm,autoencoder,anomaly-detection,Machine Learning,Keras,Lstm,Autoencoder,Anomaly Detection,我试图建立LSTM模型,作为输入接收整数序列,并输出每个整数出现的概率。如果该概率较低,则应将该整数视为异常。我试图遵循本教程,尤其是我的模型来自这里。我的输入如下所示: [[[3] [1] [2] [0]] [[3] [1] [2] [0]] [[3] [1] [2] [0]] 然而,我不能理解我作为一个输出得到了什么 [[[ 2.7052343 ] [ 1.0618575 ] [ 1.8257084 ] [-0.54579014]]
[[[3]
[1]
[2]
[0]]
[[3]
[1]
[2]
[0]]
[[3]
[1]
[2]
[0]]
然而,我不能理解我作为一个输出得到了什么
[[[ 2.7052343 ]
[ 1.0618575 ]
[ 1.8257084 ]
[-0.54579014]]
[[ 2.9069736 ]
[ 1.0850943 ]
[ 1.9787762 ]
[ 0.01915958]]
[[ 2.9069736 ]
[ 1.0850943 ]
[ 1.9787762 ]
[ 0.01915958]]
是重建错误吗?或者每个整数的概率?如果是,为什么它们不在0-1的范围内?如果有人能解释这一点,我将不胜感激
模型:
time_steps = 4
features = 1
train_keys_reshaped = train_integer_encoded.reshape(91, time_steps, features)
test_keys_reshaped = test_integer_encoded.reshape(25, time_steps, features)
model = Sequential()
model.add(LSTM(32, activation='relu', input_shape=(time_steps, features), return_sequences=True))
model.add(LSTM(16, activation='relu', return_sequences=False))
model.add(RepeatVector(time_steps)) # to convert 2D output into expected by decoder 3D
model.add(LSTM(16, activation='relu', return_sequences=True))
model.add(LSTM(32, activation='relu', return_sequences=True))
model.add(TimeDistributed(Dense(features)))
adam = optimizers.Adam(0.0001)
model.compile(loss='mse', optimizer=adam)
model_history = model.fit(train_keys_reshaped, train_keys_reshaped,
epochs=700,
validation_split=0.1)
predicted_probs = model.predict(test_keys_reshaped)
正如你所说,这是一个自动编码器。自动编码器尝试重建输入。 如您所见,输出值与输入值非常接近,没有大的错误。因此,自动编码器训练有素 现在,如果要检测数据中的异常值,可以计算重构误差,即输入和输出之间的均方误差,并设置阈值 如果重建误差大于阈值,它将是一个异常值,因为自动编码器没有训练重建异常值数据 这个模式更好地代表了这个想法:
我希望这有帮助 正如你所说,这是一个自动编码器。自动编码器尝试重建输入。 如您所见,输出值与输入值非常接近,没有大的错误。因此,自动编码器训练有素 现在,如果要检测数据中的异常值,可以计算重构误差,即输入和输出之间的均方误差,并设置阈值 如果重建误差大于阈值,它将是一个异常值,因为自动编码器没有训练重建异常值数据 这个模式更好地代表了这个想法:
我希望这有帮助 谢谢你,那确实有帮助:谢谢你,那确实有帮助: