Neural network 什么';神经网络模型的通常成功率是多少?

Neural network 什么';神经网络模型的通常成功率是多少?,neural-network,Neural Network,我正在用经过分类培训的神经网络构建一个系统 我感兴趣的是您所构建的系统的错误率是多少 Iris数据集就是一个典型的例子。 在此基础上训练的神经网络几乎是完美的-错误率为0-1%;然而,它是一个非常基本的数据集 我的网络结构如下:80in,208hid,2out。 我的结果是测试数据集的错误率为8% 基本上在这个问题上,我想问一下你们遇到的各种研究成果, 在你的工作、论文等方面 补充1: 错误率当然取决于测试数据,而不是训练数据。因此,它是网络的全新数据集 补充2(根据我在问题下的评论): 我的新

我正在用经过分类培训的神经网络构建一个系统

我感兴趣的是您所构建的系统的错误率是多少

Iris数据集就是一个典型的例子。 在此基础上训练的神经网络几乎是完美的-错误率为0-1%;然而,它是一个非常基本的数据集

我的网络结构如下:80in,208hid,2out。 我的结果是测试数据集的错误率为8%

基本上在这个问题上,我想问一下你们遇到的各种研究成果, 在你的工作、论文等方面

补充1: 错误率当然取决于测试数据,而不是训练数据。因此,它是网络的全新数据集

补充2(根据我在问题下的评论):
我的新结果。1200份参赛作品,900份培训,300份测试。一班85人,二班1115人。在85个测试组中,44个在测试组中。错误率-6%。这并不坏,因为44是300的15%。因此,我的成绩提高了2.5倍。

例如,参见本文:

Danilo p.Mandic和Jonathon A.Chanbers(2000年)。学习者的最优学习率 反向传播,神经处理字母11:1-5


模型性能完全是特定于问题的。即使在开发数据质量和数量相似、目标变量定义相同的情况下,性能也会有很大差异。显然,问题定义越相似,不同模型的性能就越可能匹配


另一个要考虑的是技术性能和业务绩效之间的差异。在某些应用中,52%的准确率是非常有利的,而在其他领域,98%的准确率将是令人绝望的低。

我还要补充一点,除了预测器提到的内容之外,在训练集上衡量你的表现通常对于确定你的分类器在以前看不到的数据上的表现是无用的。很多时候,使用相对简单的分类器,您可以在训练集上获得0%的错误率,而无需学习任何有用的东西(这称为过度拟合)

更常用的(并且在确定分类器如何工作时更有用的)是保留数据或交叉验证,如果将数据分为三部分:培训、验证和测试,效果会更好


此外,很难从一个阈值和仅给出真正+真负的情况下了解分类器的工作情况。人们也倾向于评估假阳性和假阴性,并绘制ROC曲线来查看/评估权衡。因此,说“2.5倍更好”,你应该清楚,你的比较与将所有事物分类为C2的分类器相比,这是一个相当糟糕的基线。

这不是一个很容易回答的问题。错误率高度依赖于数据、神经网络的复杂性、训练量等。其中一些因素也是可变的,基本上允许在低错误率不是唯一目标的情况下调整错误率。我在问你最后的最佳成绩。我不会问如何修复我的网络。这是一种研究结果聚合器问题。这里的大多数问题更多的是“我如何修复这个错误?”而不是“研究结果聚合器”,所以我不知道你会得到多少有用的输入。听起来你的问题可以通过问“现实世界NN的合理错误率是多少?”来适应这种格式,但答案是“这取决于你使用它的目的”。你是否有一个特定的分类问题,你想根据它来判断你的结果?是的。。你是对的。是的,我当然有这样的问题,但这有点难以解释。一般来说,我在非常罕见的数据集中使用了分类器。1类-100个实体,2类-900个实体。所以,我想知道,我能从中得到什么。有了这些数字,你最好比90%的成功率要好得多,这就是你总是分配给2班的结果。这是一个很好的例子,说明了性能是如何依赖于数据的。事实上,现在我已经重新阅读了原始问题,我认为这是一个很好的观点。您的解决方案有80个输入变量,这太多了!此外,隐藏层有200多个节点。假设网络完全连接,这意味着要设置16000多个权重!表面性能(培训数据的性能)毫无意义:您的网络在坚持数据方面表现如何?@carlosdc-我意识到过度拟合。我总是将我的数据集划分为训练和测试,所以我给你的错误率是测试运行的错误率。如果我的网络安装过度,那将是巨大的。请参阅我在问题下的评论和最新结果。@Predictor-我的问题没有说明错误率来自测试运行,而不是培训。您是对的,这将是无用的,但在这种情况下它从未发生过。@user425720您仍然说“我的结果是训练数据集上的8%错误率”,我觉得有点困惑。真的,真的,我的英语。我没有注意到。将在一秒钟内编辑:(对不起。