Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/sql-server-2005/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Julia中的流数据_Julia - Fatal编程技术网

Julia中的流数据

Julia中的流数据,julia,Julia,目前,有没有一种好方法可以以流式方式读取Julia中的数据 例如,假设我有一个CSV文件太大,无法放入内存。目前是否有内置的函数或库可以方便地使用它 我知道DataFrames中的原型数据流功能,但目前还没有通过公共API公开。eachline函数将IO源转换为行的迭代器。这应该允许您一次读取一行文件。如果将每一行转换为IOBuffer,readcsv和readdlm函数可以从中读取每一行 for ln in eachline(open("file.csv")) data = readcsv

目前,有没有一种好方法可以以流式方式读取Julia中的数据

例如,假设我有一个CSV文件太大,无法放入内存。目前是否有内置的函数或库可以方便地使用它


我知道DataFrames中的原型数据流功能,但目前还没有通过公共API公开。

eachline函数将IO源转换为行的迭代器。这应该允许您一次读取一行文件。如果将每一行转换为IOBuffer,readcsv和readdlm函数可以从中读取每一行

for ln in eachline(open("file.csv"))
  data = readcsv(IOBuffer(ln))
  # do something with this data
end

自己动手还是不错的,但步骤不多,所以也不算太糟。

不幸的是,最好的方法是清理数据流代码。它出人意料地接近完成,但需要大约一天的工作才能准备好使用。