Cuda &引用;“初学者”;分布式处理项目

Cuda &引用;“初学者”;分布式处理项目,cuda,parallel-processing,cluster-computing,Cuda,Parallel Processing,Cluster Computing,自从我对人工智能研究非常感兴趣以来,我一直有兴趣构建一个异构节点集群,试图拥有一台家用超级计算机 然而,问题是,即使我有无数的硬件(2台双机架安装服务器、8台285GTX GPU、6台PS3s、2台黑客360(它们可以运行linux)访问成吨的普通PC机和一些工作站),我也没有需要处理的大型数据集,甚至没有任何可以分布式运行的软件。我已经把分布式代码编译弄得一团糟,但它最多只能让我的内核构建从10分钟(最坏的情况)变为30秒(我认为其中20秒只是设置时间) 那么我应该从哪里开始呢?我对Obj-C

自从我对人工智能研究非常感兴趣以来,我一直有兴趣构建一个异构节点集群,试图拥有一台家用超级计算机

然而,问题是,即使我有无数的硬件(2台双机架安装服务器、8台285GTX GPU、6台PS3s、2台黑客360(它们可以运行linux)访问成吨的普通PC机和一些工作站),我也没有需要处理的大型数据集,甚至没有任何可以分布式运行的软件。我已经把分布式代码编译弄得一团糟,但它最多只能让我的内核构建从10分钟(最坏的情况)变为30秒(我认为其中20秒只是设置时间)


那么我应该从哪里开始呢?我对Obj-C/C/C++有相当的了解,所以写一些东西应该不会太难,但是我应该写什么呢?

我认为最好确定您将为哪些可用硬件子集开发应用程序。PS3的软件需要特别注意,并且需要与为在典型linux服务器上运行而构建的软件分开开发

您可能还需要研究如何为360开发应用程序;老实说,我不确定它是否真的能满足你的需求

一旦你决定了你需要开发的硬件的子集,那么从一些基本的开发开始就可以保证你可以建立一个基础来进行通信。有了坚实的基础,你就可以扩展你的代码来支持各种分布式项目。 我希望我正确理解了你的问题


干杯

好吧,我认为最好确定您将为哪些可用硬件子集开发应用程序。PS3的软件需要特别注意,并且需要与为在典型linux服务器上运行而构建的软件分开开发

您可能还需要研究如何为360开发应用程序;老实说,我不确定它是否真的能满足你的需求

一旦你决定了你需要开发的硬件的子集,那么从一些基本的开发开始就可以保证你可以建立一个基础来进行通信。有了坚实的基础,你就可以扩展你的代码来支持各种分布式项目。 我希望我正确理解了你的问题


干杯

如果你想处理数据,有很多:


至于“我应该建造什么”,真正的问题是,你感兴趣的是什么

如果你想处理数据,有很多:


至于“我应该建造什么”,真正的问题是,你感兴趣的是什么

如果你真的喜欢冒险,你可以尝试将/both(Unix-y)或/and(非常奇怪)移植到你拥有的每种风格的硬件上(Plan 9已经在PC上运行)。

如果你真的喜欢冒险,你可以尝试将/both(Unix-y)或/and(非常奇怪)移植到你拥有的每种风格的硬件上(计划9已在PC上运行).

虽然有数据集有帮助,但我仍然不确定我应该尝试使用这个系统处理什么。请看,我希望数据能够得出结论性的答案,以便我可以对我的系统进行基准测试,但是正如我在OP中提到的,我没有发现任何需要几秒钟以上时间的问题。我同意,我主要是回应了您之前关于n的评论没有大型数据集。如果你想要解决问题的想法,可以尝试之前的KDD杯挑战(它们不是严格分布的问题,但通常与分析大型数据集有关)。典型的“困难”问题是因子分解和素性测试;可能运行mprime或其他什么?或者可能计算Pi?(如果您想要一个已知答案问题…)虽然有一个数据集很有帮助,但我仍然不确定我应该用这个系统尝试和处理什么。看,我希望数据能够得出结论性的答案,这样我就可以对我的系统进行基准测试,但是正如我在OP中提到的,我没有发现任何需要几秒钟以上时间的东西。同意,我主要是回应你之前关于不是h的评论保存任何大型数据集。如果您想要解决问题的想法,可以尝试以前的KDD杯挑战(它们不是严格分布的问题,但通常与分析大型数据集有关。)典型的“困难”问题是因子分解和素性测试;可能运行mprime或其他什么?或者可能是计算Pi?(如果你想要一个已知的答案问题…)我认为你的想法有点偏离了正轨。我想写一些软件,在所有这些设备上运行,作为一种研究“工作原理”的方法在分布式处理方面,我认为你的想法有点偏离了轨道。我想写一些软件,在所有这些设备上运行,作为研究分布式处理“有效”的一种手段