Python 带Scikitlearn的MLP：人工神经网络在预测中的应用

我有交通数据，我想通过向模型显示这些输入来预测下一个小时的车辆数量：这个小时的车辆数量和这个小时的平均速度值。 这是我的密码：

dataset=pd.read_csv('/content/final - Sayfa5.csv',delimiter=',') 
dataset=dataset[[ 'MINIMUM_SPEED', 'MAXIMUM_SPEED', 'AVERAGE_SPEED','NUMBER_OF_VEHICLES','1_LAG_NO_VEHICLES']]
X = np.array(dataset.iloc[:,1:4])
L = len(dataset)
Y = np.array([dataset.iloc[:,4]])
Y= Y[:,0:L]
Y = np.transpose(Y)

#scaling with MinMaxScaler
scaler = MinMaxScaler()
scaler.fit(X)
X = scaler.transform(X)
 
scaler.fit(Y)
Y = scaler.transform(Y)
print(X,Y)

X_train , X_test, Y_train, Y_test = train_test_split(X,Y,test_size=0.3)
from sklearn.neural_network import MLPRegressor
from sklearn.metrics import mean_squared_error 
mlp = MLPRegressor(activation='logistic')
mlp.fit(X_train,Y_train)
predictions = mlp.predict(X_test)
predictions1=mlp.predict(X_train)
print("mse_test :" ,mean_squared_error(Y_test,predictions), "mse_train :",mean_squared_error(Y_train,predictions1))

我得到了良好的mse值，例如mse_测试：0.005467816018933008 mse_序列：0.005072774796622158

但我对两点感到困惑：

如果我要缩放y值，我读了很多博客，以至于人们不应该缩放y，而应该缩放X_序列和X_测试。但是我的mse成绩很差，比如49,50100甚至更多

我如何获得对未来的预测，而不是比例值。 例如，我写道：

但我得到了缩放值，比如：该输入的预测值是

[0.08533431 0.1402755 0.19497315]

应该是这样的

[81115102]

无法比较这两个模型之间的MSE，因为它取决于比例。很明显，当您缩放y时，MSE更小，因为y（在您的情况下）通过应用MinMaxScaler变得更小。当您“取消缩放”预测和实际y值，然后再次计算MSE时，它应该与具有原始y值的模型相同（但不是100%确定）

主要收获：不要仅在模型内比较模型之间的MSE。MSE的绝对值很难解释

我不确定我是否明白你的问题。我想你是在问那些你用缩放y值训练模型的人，你怎么能预测y，因为缩放就是车辆数量。如果这是一个问题，这就是为什么你不应该缩放y

MinMaxScaler所做的是计算以下内容：

X_std = (X - X.min(axis=0)) / (X.max(axis=0) - X.min(axis=0))
X_scaled = X_std * (max - min) + min

另见。你可以尝试在事后反向计算预测，但我认为这没有意义

因为这是一个回归问题，所以在这种情况下，您可能不希望缩放目标/响应变量。您将需要缩放某些特征，特别是考虑到与其他特征（例如二进制特征）配对的较大数量。但在没有看到完整数据集的情况下，我无法确定这是否是解决问题的方法。此外，您应该将其与基线模型进行比较。45000的MSE可能看起来很糟糕，但是如果基线的MSE是10倍，那么您的模型只是在基线MSE上改进了1000%

TL；DR仅在特征的大小或位置不同时才尝试缩放 是给定特征中的大异常值。 在这里输入代码

如果不缩放目标变量，则不需要尝试“重新缩放”。但是，如果您需要/想要，您可以考虑使用TransformedTargetRegressor

---

祝贺您使用了

[sklearn的MLPrepressor][1]

，介绍神经网络总是一件好事

缩放输入数据对于神经网络至关重要。考虑复习。这一点在本文中也有详细介绍。简单地说，缩放输入数据非常关键，这样您的模型就可以了解如何以输出为目标

在英语中，这种情况下，

scaling

表示将数据转换为

0和1之间的值（包括）。这方面的一个好例子描述了缩放方面的差异。对于最小-最大缩放，您保持数据的相同分布，包括对异常值敏感。在
sklearn
中确实存在更健壮的方法（在那篇文章中描述），例如

以这样一个非常基本的数据集为例：

| Feature 1 | Feature 2 | Feature 3 | Feature 4 | Feature 5 | Target |
|:---------:|:---------:|:---------:|:---------:|:---------:|:------:|
|     1     |     17    |     22    |     3     |     3     |   53   |
|     2     |     18    |     24    |     5     |     4     |   54   |
|     1     |     11    |     22    |     2     |     5     |   96   |
|     5     |     20    |     22    |     7     |     5     |   59   |
|     3     |     10    |     26    |     4     |     5     |   66   |
|     5     |     14    |     30    |     1     |     4     |   63   |
|     2     |     17    |     30    |     9     |     5     |   93   |
|     4     |     5     |     27    |     1     |     5     |   91   |
|     3     |     20    |     25    |     7     |     4     |   70   |
|     4     |     19    |     23    |     10    |     4     |   81   |
|     3     |     13    |     8     |     19    |     5     |   14   |
|     9     |     18    |     3     |     67    |     5     |   35   |
|     8     |     12    |     3     |     34    |     7     |   25   |
|     5     |     15    |     6     |     12    |     6     |   33   |
|     2     |     13    |     2     |     4     |     8     |   21   |
|     4     |     13    |     6     |     28    |     5     |   46   |
|     7     |     17    |     7     |     89    |     6     |   21   |
|     4     |     18    |     4     |     11    |     8     |    5   |
|     9     |     19    |     7     |     21    |     5     |   30   |
|     6     |     14    |     6     |     17    |     7     |   73   |

我可以稍微修改您的代码来处理此问题：

import pandas as pd, numpy as np
from sklearn.neural_network import MLPRegressor
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import RobustScaler
from sklearn.metrics import mean_squared_error 

df = pd.read_clipboard()

# Build data
y = df['Target'].to_numpy()
scaled_y = df['Target'].values.reshape(-1, 1) #returns a numpy array
df.drop('Target', inplace=True, axis=1)
X = df.to_numpy()

#scaling with RobustScaler
scaler = RobustScaler()
X = scaler.fit_transform(X)

# Scaling y just to show you the difference
scaled_y = scaler.fit_transform(scaled_y)

# Set random_state so we can replicate results
X_train , X_test, y_train, y_test = train_test_split(X,y,test_size=0.2, random_state=8)
scaled_X_train , scaled_X_test, scaled_y_train, scaled_y_test = train_test_split(X,scaled_y,test_size=0.2, random_state=8)

mlp = MLPRegressor(activation='logistic')
scaled_mlp = MLPRegressor(activation='logistic')

mlp.fit(X_train, y_train)
scaled_mlp.fit(scaled_X_train, scaled_y_train)

preds = mlp.predict(X_test)
scaled_preds = mlp.predict(scaled_X_test)

for pred, scaled_pred, tar, scaled_tar in zip(preds, scaled_preds, y_test, scaled_y_test):
    print("Regular MLP:")
    print("Prediction: {} | Actual: {} | Error: {}".format(pred, tar, tar-pred))
    
    print()
    print("MLP that was shown scaled labels: ")
    print("Prediction: {} | Actual: {} | Error: {}".format(scaled_pred, scaled_tar, scaled_tar-scaled_pred))

简而言之，缩小目标会自然缩小误差，因为您的模型没有学习实际值，而是学习0到1之间的值。

这就是为什么我们不缩放我们的目标变量，因为误差自然较小，因为我们将值强制放入
0…1
空间。
一个经典的缩放不变度量是平均绝对缩放误差，它是专为预测方法设计的：非常有启发性，谢谢！我有点困惑，但现在我看得更清楚了。准确度、F1分数、召回率和精确度适用于分类，而不是回归模型。我认为@blacksite建议的MASE是一个更好的建议谢谢！还没喝过早咖啡哈哈，混乱矩阵只适用于分类。这是一个完美的解释。我真的很感谢你的时间和努力。关于第二部分，你是对的。数据集值变化不大，所以我最好不要缩放它们。我现在明白了。我希望你有一个完美的一天@史蒂文·巴纳德（Stevenbarnard）作为旁注：通常滞后变量意味着查看前一个周期。当变量的命名正确时，y应该是
dataset.iloc[3]
。谢谢你的纠正学习这样的新事物是非常令人兴奋的！我非常感谢你！：）我正在努力。实际上，我的数据集变化不大，但也与您的示例类似。所以我会试试看结果！祝你有一个完美的一天！当然如果你觉得这回答了你的问题，请随意接受我的答案，这样其他人也可以使用它。
import pandas as pd, numpy as np
from sklearn.neural_network import MLPRegressor
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import RobustScaler
from sklearn.metrics import mean_squared_error 

df = pd.read_clipboard()

# Build data
y = df['Target'].to_numpy()
scaled_y = df['Target'].values.reshape(-1, 1) #returns a numpy array
df.drop('Target', inplace=True, axis=1)
X = df.to_numpy()

#scaling with RobustScaler
scaler = RobustScaler()
X = scaler.fit_transform(X)

# Scaling y just to show you the difference
scaled_y = scaler.fit_transform(scaled_y)

# Set random_state so we can replicate results
X_train , X_test, y_train, y_test = train_test_split(X,y,test_size=0.2, random_state=8)
scaled_X_train , scaled_X_test, scaled_y_train, scaled_y_test = train_test_split(X,scaled_y,test_size=0.2, random_state=8)

mlp = MLPRegressor(activation='logistic')
scaled_mlp = MLPRegressor(activation='logistic')

mlp.fit(X_train, y_train)
scaled_mlp.fit(scaled_X_train, scaled_y_train)

preds = mlp.predict(X_test)
scaled_preds = mlp.predict(scaled_X_test)

for pred, scaled_pred, tar, scaled_tar in zip(preds, scaled_preds, y_test, scaled_y_test):
    print("Regular MLP:")
    print("Prediction: {} | Actual: {} | Error: {}".format(pred, tar, tar-pred))
    
    print()
    print("MLP that was shown scaled labels: ")
    print("Prediction: {} | Actual: {} | Error: {}".format(scaled_pred, scaled_tar, scaled_tar-scaled_pred))