Julia导入大量内存不足的csv数据

我想知道Julia是否有一个类似Sparkyr in R的包，可以处理内存不足的数据。我的数据是11 GB的csv格式

---

我在Julia中安装了HPAT包，但我不确定它是否有助于处理大数据。此外，我注意到Julia中有一个Spark软件包，它是否有任何功能使我能够导入本地数据，如SparkyR中的Spark_read_csv功能？

您可以尝试。这个软件包非常新，还在开发中，但它能够加载比内存大的CSV数据集。

Julia有非常好的跨语言接口，请查看PyCall、RCall和JavaCall的明显用途。此外，只读取一部分数据并将其转换为比CSV更紧凑的格式可以节省开发/研究时间。@DanGetz是否有类似Sparkyr的Julia软件包？我的意思是，这能让我使用Spark或类似的大数据工具吗？这个问题太模糊了。最好解释一下您想要应用什么样的处理/算法，应用于什么样的数据。如果你对Spark感兴趣，那么用一个详细的例子询问Spark。有一个包叫做。也许你可以检查一下（我没有这方面的经验）。