Arm 树莓Pi聚类、神经网络与脑模拟

Arm 树莓Pi聚类、神经网络与脑模拟,arm,cluster-computing,supercomputers,raspberry-pi,Arm,Cluster Computing,Supercomputers,Raspberry Pi,由于RBPI(覆盆子Pi)具有非常低的功耗和非常低的生产价格,这意味着可以用它们构建一个非常大的集群。我不确定,但10万个RBPI集群只需要很少的电力和空间 现在,我认为它在失败或其他类型的计算测量方面可能不如现有的超级计算机强大,但它能允许更好的神经网络模拟吗 我不确定说“1CPU=1Neuron”是否合理,但它似乎足够有效 那么,这是否意味着这样一个集群对于神经元网络模拟更为有效,因为它比其他经典集群更为并行?对我来说,似乎不太可能是一个好的/便宜的系统。 考虑一个现代的Xeon CPU。它

由于RBPI(覆盆子Pi)具有非常低的功耗和非常低的生产价格,这意味着可以用它们构建一个非常大的集群。我不确定,但10万个RBPI集群只需要很少的电力和空间

现在,我认为它在失败或其他类型的计算测量方面可能不如现有的超级计算机强大,但它能允许更好的神经网络模拟吗

我不确定说“1CPU=1Neuron”是否合理,但它似乎足够有效


那么,这是否意味着这样一个集群对于神经元网络模拟更为有效,因为它比其他经典集群更为并行?

对我来说,似乎不太可能是一个好的/便宜的系统。 考虑一个现代的Xeon CPU。它有8个内核,运行速度是时钟速度的5倍,因此在此基础上可以做40倍的工作。此外,它还有一个SSE,它似乎适合这个应用程序,可以让它并行计算4件事情。所以我们的工作量可能是原来的160倍。然后它有多线程,可以做64位计算,重叠指令等。我想这类工作至少会快200倍

最后,至少200个本地“神经元”的结果将在本地内存中,但在树莓pi网络上,您必须在200个神经元之间进行通信。。。这会慢得多

我认为raspberry pi非常棒,并且肯定计划至少获得一个:p,但是你不打算建立一个便宜、快速的网络来与“真正的”计算机网络竞争:p


无论如何,对于这类事情来说,最快的硬件可能是图形卡GPU,因为它被设计成并行运行一个小程序的多个副本。或者只是用几百个“硬件”神经元的副本来编程一个fpga。

使用Raspberry Pi本身并不能解决构建大规模并行超级计算机的整个问题:如何有效地将所有计算核心连接在一起是一个非常大的问题,这就是为什么超级计算机是专门设计的,不仅仅是由商品零件制成的。这就是说,研究单位真的开始将ARM核视为一种高效的方式,将计算能力应用到这个问题上:例如,这个项目旨在用一百万个ARM核模拟人脑

“百万核手臂机器旨在模拟大脑”

“100万个ARM内核托管大脑模拟器”


它是非常专业的定制硬件,但从概念上讲,它离你建议的树莓式Pis网络不远。不要忘记,ARM内核具有JohnB提到的Xeon所具有的所有功能(高级SIMD而非SSE,可以进行64位计算、重叠指令等),但每瓦特MIPS的最佳位置非常不同:对于包含的功能,您有不同的选项(如果你不想要浮点,就买一个没有浮点的芯片)所以我可以理解为什么它是一个吸引人的选择,尤其是当你认为使用功率是超级计算机最大的花费时。

P> GPU和FPU比CPU更能做这种思考,支持CDUA编程的英伟达GPU实际上有100个独立的处理单元,或者至少它可以使用像素的演变。流水线(卡可以并行渲染多个像素)可以大大提高速度。CPU允许几个内核可以执行相对复杂的步骤。GPU允许100个线程可以执行简单的步骤

因此,对于有简单线程的任务,像一个GPU这样的东西将形成一个强大的CPU集群

然而,为了创建一个运行“condor”之类的东西的集群,它可以用于疾病爆发建模,在这种情况下,您可以在不同的起点上运行相同的数学模型数百万次。(爆发的大小、风向、疾病的传染性等)所以像Pi这样的东西将是理想的。因为您一般都在寻找一个能够运行标准代码的成熟CPU。http://research.cs.wisc.edu/condor/

这种方法的一些众所周知的用法是“Seti”或“在家折叠”(搜索外星人和癌症研究)

很多大学都有这样的集群,所以我可以看到一些大学在尝试mutipl Raspberry Pi的方法

但是,为了模拟大脑中的神经细胞,节点之间的延迟非常低——它们是特殊的操作系统和应用程序,使多个系统成为一个整体。您还需要特殊的网络将其连接在一起,使节点之间的延迟小于1毫秒

覆盆子无论如何也无法做到这一点

所以,是的,我认为人们会用它们组成集群,我认为他们会非常高兴。但我认为更多的大学和小型组织。它们不会与顶级超级计算机竞争


说我们将得到一些,并针对集群中当前的节点对它们进行测试,看看它们与具有双核3.2ghz CPU且成本为650英镑的台式机相比如何!我估计我们可以得到25个树莓,它们将使用更少的电能,因此比较起来会很有趣。这将用于疾病爆发建模。

我在混沌时间序列预测(回声状态网络)领域进行了大量的神经网络研究。 虽然我认为以这种方式使用raspberry PI与强大的cpu或GPU相比几乎没有任何好处,但我一直在使用raspberry PI来管理将模拟作业分配到多台机器的过程。大型内核的处理能力优势将使raspberry PI实现这一点,不仅仅是这样,而是在内存中运行多个PI这种配置将产生大量的等待同步、数据传输等开销。 由于PI的低成本和健壮性,我将它作为th的源代码