Wolfram mathematica Wolfram Mathematica中的神经网络包不是并行的吗？

我刚刚创建了一个非常大的神经网络，尽管是在非常强大的硬件上。当我意识到NeuralNetworks软件包中的NeuralFit[]似乎只使用了一个核心，甚至没有达到其最大容量时，我感到震惊和失望。我很伤心。我真的必须从头开始编写整个NN实现吗？还是我错过了一些简单的东西

我的网络将200个输入输入到2个隐藏层的300个神经元中，产生100个输出。我知道我们谈论的是数万亿次的计算，但只要我知道我的硬件是弱点——可以升级。如果让它单独呆一段时间，它应该可以很好地处理这样一个网络的培训（4Ghz 8线程机器，24Gb 2000Mhz CL7内存，在SATA-III上运行RAID-0 SSD驱动器，我敢肯定）

---

想法？建议？提前感谢您的输入。

您可以直接与软件包的作者联系，他是一个非常平易近人的人，可能会提出一些建议。

我不确定您是如何编写代码的，也不确定您使用的软件包中是如何编写代码的；尝试使用矢量化，它确实加快了线性代数的计算速度。在课程中，你可以看到它是如何制作的

我是神经网络软件包的作者。在给定输入的情况下，很容易将神经网络的评估并行化。也就是说，在给定输入（以及所有权重、网络参数）的情况下，计算网络的输出。然而，这种评估并不十分耗时，而且对大多数问题进行并行化也不是很有趣。另一方面，网络的训练通常非常耗时，不幸的是，不容易并行化。训练可以用不同的算法完成，最好的算法不容易并行化。我的联系方式可以在Wolfram网站上的产品主页上找到。欢迎提出改进建议

如果关闭建议栏（在“首选项”下），软件包的最后一个版本可以正常工作—版本9和10。原因是该软件包对文档使用旧的HelpBrowser，并且它与建议栏一起崩溃

---

您的Jonas

+1如果您能在您的response@berniethejet：你有联系方式吗？该软件包由wolfram出售，未提及作者。我很乐意与作者联系，与他讨论对软件包的一些更改和补充。甚至愿意为代码贡献代码或时间。@Gregory:作者的名字是Jonas Sjöberg。你说得对，他没有宣传他对包裹的所有权。他在几年前的一次会议上提出：谢谢。我看看能不能找到他。如果有什么有用的东西，我会在这里更新。作者可以在这里找到《震惊》、《失望》、《心碎》。嗯，如果你问我的话，听起来有点过头了。无论如何，我想知道NN是否可以很容易地并行化。有了所有这些互连，可能需要在内核之间进行大量通信，这将对速度产生相当大的影响。你可能想阅读关于使用Mathematica实现NN的博客（）“如果你问我的话，听起来有点像过激的反应”-如果你花钱从一家在高端数学解决方案方面有着良好记录的公司购买了一个软件包，然后你抛出了一个现实世界中的问题，而这个问题无法在24小时内完成一次迭代训练，是的，我认为这是一个有点情绪化的好理由。：-）此外，我对我所做的事充满激情，对我来说，这不仅仅是数字，这不是我的工作，这是我个人的“孩子”。我很欣赏这个链接，我一定会阅读它，如果实现我自己的想法是可行的，我会认真对待它，并尽我所能做到最好。我也可以用C实现它，而不是用Mathematica。如果有人已经为您进行了优化，那么使用包的全部目的就是避免实现我自己的包。在这个特定的包中，性能似乎不是优化的，这很好，只是希望它能更好地“在标签上”披露。“想知道NN是否可以轻松并行化”-NNs是一些最容易并行化的算法，因为它们涉及大量独立的求和/求导，其中，单个操作的结果不必在分支之间共享，并且可以分为独立的集合，这些集合可以提供给多个内核，甚至远程内核。这就是所有超大型人工神经网络的工作原理。您认为IBM是如何实现其1.6x10^9神经元网络的？在单核上？