Machine learning 提出了哪些算法来学习深层神经网络的结构？

Yoshua Benhgio的书提到了这一点

我们应该[…]努力开发使用数据确定最终架构深度的学习算法

有谁知道迄今为止为实现这一目标而提出的算法吗

这个问题不是关于成功的算法——事实上，目前似乎没有。这个问题的目的是汇总曾经提出过的每一个算法，这样对这个主题感兴趣的人就不需要花费数月的时间来寻找它们

到目前为止，我遇到了：

---

• • 优点：添加图层和单位
  • 警告：仅用于学习布尔函数，这与应用问题无关

---

• 遗传算法（用户提供）：
  • 优点：学习连续函数（与应用问题相关）
  • 警告：计算上非常昂贵

---

我使用自己的程序（称为TSAGANN）成功地使用遗传算法搜索神经网络（单位和级别）的最佳配置

这里有（对不起，是西班牙语的）

我的工作重点是：

• 研究了一种基于神经网络的前向神经网络的结构（单元数和隐层）

• 模拟退火（SA）（而非人工神经网络）的研究

结果表明，对于研究中的问题，SA的性能比ANN好，并且计算强度较低

进一步的工作（从未完成）是直接使用GA优化ANN的结构和权重。在这种情况下，不需要反向传播，因为权重是通过GA而不是ANN优化的。训练集仅用于计算任何特定配置的误差。遗传算法使二次误差的变量最小化。这方面的初步研究非常有希望（目标是避免人工神经网络的训练算法，速度非常慢）

本文报告了PROBEN1的结果，PROBEN1是一个涵盖分类和近似问题的基准

---

“全局优化”（包括权重）似乎在时间序列分析中非常有前景，以便在不使用递归神经网络的情况下进行预测。

可以说，学习神经网络结构最常用的算法是由Scott Fahlman和Christian Lebiere开发的级联相关

---

你可以找到描述，我以前也在某处看到过C实现，但不记得在哪里。

还有其他流行的遗传算法，如NEAT和EANT，它们都是“成长”神经网络。搜索最近关于它们的论文，以获得其他方法（相关工作）的良好概述

除了增长，另一种方法是从一个巨大的完全连接的网络开始，删减连接，直到健康受到影响。米切尔关于机器学习的书给出了一个很好的概述

---

当然，有各种各样的算法同时使用增长和修剪。它们有时涉及“固定”网络的某些已建立部分，以便不再需要考虑固定权重进行优化

太棒了，你应该把你的论文翻译成西班牙语，这样我们都可以从中学习！你的网络有多大？（层数，神经元数，参数数）当然。翻译需要一些时间，但我会做的。然而，表格报告了最佳网络的结构和参数，以及对结果的统计研究。这部分只包含数字数据，并且足够清楚地理解它们的有效性。请在数据出来时告诉我们！在我的回复中给出的论文链接上，你可以找到一个英文版本。翻译是用谷歌翻译工具完成的，但并不完美。也许你必须使用原始的，以遵循讨论和方程编号。链接不再工作了。是这个吗？