Python 神经网络与随机森林绩效差异
我想用Pytork做一些神经网络实验,所以我试了一个简单的热身练习,结果我不太清楚 本练习试图从变量数量、最大子句长度等问题的各种统计数据中预测1000个TPTP问题的评级。数据文件非常简单,1000行,最后一列是评级,从大约几十个输入列开始,所有数字都缩放到0-1的范围,我逐步删除了一些特性,看看结果是否仍然有效,它确实有效,一直到一个输入列;其他版本在Git历史中的早期版本中 我开始使用单独的训练集和测试集,但暂时将测试集放在一边,因为关于训练性能是否可以推广到测试的问题,在首先获得训练性能之前不会出现 该数据集上的简单线性回归的均方误差约为0.14 我实现了一个简单的前馈神经网络,代码如下,经过几百次训练后,其均方误差为0.14 因此,我尝试将隐藏层的数量从1改为2改为3,使用一些不同的优化器,调整学习速度,将激活函数从relu改为tanh改为两者的混合,将历元数增加到5000,将隐藏单元数增加到1000。在这一点上,它应该能够轻松地记住整个数据集。(在这一点上,我并不担心过度拟合。我只是想让训练数据的均方误差不是0.14。)没有任何区别。仍然是0.14。我会说它一定是陷入了局部最优,但当你有几百万个权重时,这是不应该发生的;对于所有参数,同时处于局部最优几乎是不可能的。每次跑步我都会得到稍微不同的数字序列。但它总是收敛到0.14 现在一个明显的结论是0.14对于这个问题来说是最好的,除了它保持不变,即使网络有足够的内存来存储所有的数据。但关键是我还尝试了一个随机森林 。。。在原始数据集上,随机森林的均方误差为0.01,随着特征的删除,均方误差逐渐降低,而在只有一个特征的数据上,均方误差仍为0.05 在机器学习的知识中,没有任何地方说“随机森林的表现远远优于神经网络”,所以我想必是做错了什么,但我看不出它是什么。也许这很简单,只是少了一面旗帜,或者你需要在PyTorch中设置一些东西。如果有人能看一下,我将不胜感激Python 神经网络与随机森林绩效差异,python,machine-learning,neural-network,pytorch,random-forest,Python,Machine Learning,Neural Network,Pytorch,Random Forest,我想用Pytork做一些神经网络实验,所以我试了一个简单的热身练习,结果我不太清楚 本练习试图从变量数量、最大子句长度等问题的各种统计数据中预测1000个TPTP问题的评级。数据文件非常简单,1000行,最后一列是评级,从大约几十个输入列开始,所有数字都缩放到0-1的范围,我逐步删除了一些特性,看看结果是否仍然有效,它确实有效,一直到一个输入列;其他版本在Git历史中的早期版本中 我开始使用单独的训练集和测试集,但暂时将测试集放在一边,因为关于训练性能是否可以推广到测试的问题,在首先获得训练性能
import numpy as np
import pandas as pd
import torch
import torch.nn as nn
# data
df = pd.read_csv("test.csv")
print(df)
print()
# separate the output column
y_name = df.columns[-1]
y_df = df[y_name]
X_df = df.drop(y_name, axis=1)
# numpy arrays
X_ar = np.array(X_df, dtype=np.float32)
y_ar = np.array(y_df, dtype=np.float32)
# torch tensors
X_tensor = torch.from_numpy(X_ar)
y_tensor = torch.from_numpy(y_ar)
# hyperparameters
in_features = X_ar.shape[1]
hidden_size = 100
out_features = 1
epochs = 500
# model
class Net(nn.Module):
def __init__(self, hidden_size):
super(Net, self).__init__()
self.L0 = nn.Linear(in_features, hidden_size)
self.N0 = nn.ReLU()
self.L1 = nn.Linear(hidden_size, hidden_size)
self.N1 = nn.Tanh()
self.L2 = nn.Linear(hidden_size, hidden_size)
self.N2 = nn.ReLU()
self.L3 = nn.Linear(hidden_size, 1)
def forward(self, x):
x = self.L0(x)
x = self.N0(x)
x = self.L1(x)
x = self.N1(x)
x = self.L2(x)
x = self.N2(x)
x = self.L3(x)
return x
model = Net(hidden_size)
criterion = nn.MSELoss()
optimizer = torch.optim.Adam(model.parameters(), lr=0.1)
# train
print("training")
for epoch in range(1, epochs + 1):
# forward
output = model(X_tensor)
cost = criterion(output, y_tensor)
# backward
optimizer.zero_grad()
cost.backward()
optimizer.step()
# print progress
if epoch % (epochs // 10) == 0:
print(f"{epoch:6d} {cost.item():10f}")
print()
output = model(X_tensor)
cost = criterion(output, y_tensor)
print("mean squared error:", cost.item())
你能把输入的形状打印出来吗? 我想先检查一下这些东西:
- 你的目标y的形状是
,我不知道pytorch在这种情况下是否会抛出错误。您可以使用(-1,1)
,如果它不是2 dimy.reforme(-1,1)
- 你的学习率很高。通常在使用Adam时,默认值足够好,或者只是尝试降低您的学习率。0.1对于学习率来说是一个很高的值
- 将optimizer.zero_grad放在for循环内的第一行
- 规范化/标准化数据(这通常对NNs有好处)
- 删除数据中的异常值(我的意见:我认为这不会对随机林造成太大影响,但会严重影响NNs)
- 使用交叉验证(也许skorch可以在这里帮助您。这是pytorch的scikit学习包装器,如果您了解keras,它很容易使用)
请注意,在某些情况下,随机森林回归器或任何其他回归器都可以优于神经网络。在某些领域,神经网络是HERO(图像分类)或NLP(自然语言处理),但您需要知道,简单的回归算法可以胜过它们。通常是当您的数据不够大时。您可以打印输入的形状吗? 我想先检查一下这些东西:
- 你的目标y的形状是
,我不知道pytorch在这种情况下是否会抛出错误。您可以使用(-1,1)
,如果它不是2 dimy.reforme(-1,1)
- 你的学习率很高。通常在使用Adam时,默认值足够好,或者只是尝试降低您的学习率。0.1对于学习率来说是一个很高的值
- 将optimizer.zero_grad放在for循环内的第一行
- 规范化/标准化数据(这通常对NNs有好处)
- 删除数据中的异常值(我的意见:我认为这不会对随机林造成太大影响,但会严重影响NNs)
- 使用交叉验证(也许skorch可以在这里帮助您。这是pytorch的scikit学习包装器,如果您了解keras,它很容易使用)
请注意,在某些情况下,随机森林回归器或任何其他回归器都可以优于神经网络。在某些领域,神经网络是HERO(图像分类)或NLP(自然语言处理),但您需要知道,简单的回归算法可以胜过它们。通常是当你的数据不够大时。随机森林可以胜过神经网络!当然可以。即使是简单的回归也能胜过神经网络。如果您没有大数据集或许多特征,那么使用随机林的回归肯定会优于神经网络。随机林可以优于神经网络!当然可以。即使是简单的回归也能胜过神经网络。如果你没有大的数据集或许多特征,那么使用随机森林进行回归肯定会比神经网络的性能更好。在其前面加上
y\u ar.reformate(-1,1)
会使打印的形状保持不变,同时程序的性能也会保持不变