Parallel processing Julia在具有不同数据的多台计算机上运行

Parallel processing Julia在具有不同数据的多台计算机上运行,parallel-processing,julia,Parallel Processing,Julia,我有一个大数据,我不能在一台机器的内存。因此,我希望将它们划分为不同大小的子集,将每个子集放在不同的机器上(或直接在该机器上加载该子集),然后在每台机器上执行相同的代码。主节点应该只收集数据 这项任务可能适合SPARK,但我很好奇是否有一个框架可以让我在Julia中轻松完成这项任务。我认为分布式阵列(DArray)正是您要寻找的,请检查,相关部分->我认为这是一个公平的问题,不应该搁置,它不是要求提供关于“最佳框架”的建议,只是想知道是否有工具、库等来实现上述功能。Julia语言通常通过模块进行

我有一个大数据,我不能在一台机器的内存。因此,我希望将它们划分为不同大小的子集,将每个子集放在不同的机器上(或直接在该机器上加载该子集),然后在每台机器上执行相同的代码。主节点应该只收集数据


这项任务可能适合SPARK,但我很好奇是否有一个框架可以让我在Julia中轻松完成这项任务。

我认为分布式阵列(DArray)正是您要寻找的,请检查,相关部分->我认为这是一个公平的问题,不应该搁置,它不是要求提供关于“最佳框架”的建议,只是想知道是否有工具、库等来实现上述功能。Julia语言通常通过模块进行扩展。尽管如此,@RezaAfzalan已经回答了你的问题,而这正是你想要的。它曾经是朱莉娅的一部分,但现在已经搬出去了。