Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/database/9.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
使用RSQLite和R在本地数据库中编写大型固定宽度数据集_R_Database_Bigdata_Rsqlite - Fatal编程技术网

使用RSQLite和R在本地数据库中编写大型固定宽度数据集

使用RSQLite和R在本地数据库中编写大型固定宽度数据集,r,database,bigdata,rsqlite,R,Database,Bigdata,Rsqlite,我有一个多Gb的固定宽度数据集,我想使用RSQLite将其写入本地数据库,因为我无法将其加载到RAM内存中。有人知道怎么做吗 首选的软件包是: DBI 白云石 odbc dbWriteTable是否在chuncks中写入大型数据集?dbWriteTable能处理固定宽度的数据集吗?一种策略是确定总行数N,通过使用readr::read\u fwf读取固定宽度的文件块,并使用dbAppendTable迭代保存它。在循环的第一次迭代中,您可能首先使用dbWriteTable创建数据库。亲爱的@c

我有一个多Gb的固定宽度数据集,我想使用RSQLite将其写入本地数据库,因为我无法将其加载到RAM内存中。有人知道怎么做吗

首选的软件包是:

  • DBI
  • 白云石
  • odbc

dbWriteTable是否在chuncks中写入大型数据集?dbWriteTable能处理固定宽度的数据集吗?

一种策略是确定总行数
N
,通过使用
readr::read\u fwf
读取固定宽度的文件块,并使用
dbAppendTable
迭代保存它。在循环的第一次迭代中,您可能首先使用
dbWriteTable
创建数据库。亲爱的@cimentadaj,非常感谢您的建议!你的建议让我想到使用LaF和chunked包:LaF::LaF_open_fwf()和chunked::read_chunkwise()和write_chunkwise()函数