Python XGB性能优于神经网络
我正在研究ETA预测问题。问题是，虽然我的xgb模型在mae为1.12时是最好的，但对于同一个数据集，我还应用了一个简单的3层网络，在隐藏时使用relu激活，在密集时使用adam进行线性激活，默认值为beta1和beta2，但lr=0.00001（因为这稍微好一些）。问题是xgb的性能比nn好得多，3,4,5层高达9层，尽管在5层之后，性能会饱和，但也测试了带有辍学和批量标准化的组合。下面是一些情节 xgb建模 神经网络建模。。。 正如您所看到的，xgb建模非常准确。问题是，管理层不接受这种性能，因此我需要提高性能，我没有尝试过LSTM或任何rnn，因为我认为这样做太过分了。任何建议都有助于Python XGB性能优于神经网络,python,tensorflow,machine-learning,data-science,xgboost,Python,Tensorflow,Machine Learning,Data Science,Xgboost,我正在研究ETA预测问题。问题是，虽然我的xgb模型在mae为1.12时是最好的，但对于同一个数据集，我还应用了一个简单的3层网络，在隐藏时使用relu激活，在密集时使用adam进行线性激活，默认值为beta1和beta2，但lr=0.00001（因为这稍微好一些）。问题是xgb的性能比nn好得多，3,4,5层高达9层，尽管在5层之后，性能会饱和，但也测试了带有辍学和批量标准化的组合。下面是一些情节 xgb建模 神经网络建模。。。 正如您所看到的，xgb建模非常准确。问题是，管理层不接受这种
谢谢您可以首先使用selu而不是relu来更改取消激活。事实上，你的神经网络没有表现得更好，即使你添加层，使我认为你有一个消失梯度的问题。SELU激活可以避免这种情况。记住用乐坤标准开始你的体重。根据管理层的说法，你的意思是xgb型号的分数太低了吗？是什么让你认为NN应该表现得更好？对于大多数应用来说，NN并不是天生就更好，并且众所周知在推广方面存在问题。你的问题是什么？@LukaszTracewski，xgboost的MAE约为1.074（天），这是很高的，因为我们希望MAE接近0.7-0.8（天）。是的，甚至我也没想到NN的性能会超过xgb，因为基于树的结构在解决这些问题方面非常好，但同时我不知道这是否是性能最好的NN。请编辑您的帖子，明确包括这一点；但无论如何，这个问题听起来太宽泛了