使用RSQLite和R在本地数据库中编写大型固定宽度数据集
我有一个多Gb的固定宽度数据集,我想使用RSQLite将其写入本地数据库,因为我无法将其加载到RAM内存中。有人知道怎么做吗 首选的软件包是:使用RSQLite和R在本地数据库中编写大型固定宽度数据集,r,database,bigdata,rsqlite,R,Database,Bigdata,Rsqlite,我有一个多Gb的固定宽度数据集,我想使用RSQLite将其写入本地数据库,因为我无法将其加载到RAM内存中。有人知道怎么做吗 首选的软件包是: DBI 白云石 odbc dbWriteTable是否在chuncks中写入大型数据集?dbWriteTable能处理固定宽度的数据集吗?一种策略是确定总行数N,通过使用readr::read\u fwf读取固定宽度的文件块,并使用dbAppendTable迭代保存它。在循环的第一次迭代中,您可能首先使用dbWriteTable创建数据库。亲爱的@c
- DBI
- 白云石
- odbc
dbWriteTable是否在chuncks中写入大型数据集?dbWriteTable能处理固定宽度的数据集吗?一种策略是确定总行数
N
,通过使用readr::read\u fwf
读取固定宽度的文件块,并使用dbAppendTable
迭代保存它。在循环的第一次迭代中,您可能首先使用dbWriteTable
创建数据库。亲爱的@cimentadaj,非常感谢您的建议!你的建议让我想到使用LaF和chunked包:LaF::LaF_open_fwf()和chunked::read_chunkwise()和write_chunkwise()函数