Julia中的流数据

Julia中的流数据,julia,Julia,目前,有没有一种好方法可以以流式方式读取Julia中的数据 例如,假设我有一个CSV文件太大,无法放入内存。目前是否有内置的函数或库可以方便地使用它 我知道DataFrames中的原型数据流功能,但目前还没有通过公共API公开。eachline函数将IO源转换为行的迭代器。这应该允许您一次读取一行文件。如果将每一行转换为IOBuffer,readcsv和readdlm函数可以从中读取每一行 for ln in eachline(open("file.csv")) data = readcsv

目前,有没有一种好方法可以以流式方式读取Julia中的数据

例如,假设我有一个CSV文件太大,无法放入内存。目前是否有内置的函数或库可以方便地使用它


我知道DataFrames中的原型数据流功能,但目前还没有通过公共API公开。

eachline函数将IO源转换为行的迭代器。这应该允许您一次读取一行文件。如果将每一行转换为IOBuffer,readcsv和readdlm函数可以从中读取每一行

for ln in eachline(open("file.csv"))
  data = readcsv(IOBuffer(ln))
  # do something with this data
end

自己动手还是不错的,但步骤不多,所以也不算太糟。

不幸的是,最好的方法是清理数据流代码。它出人意料地接近完成,但需要大约一天的工作才能准备好使用。