使用R将large data.frame保存到PostgreSQL中

使用R将large data.frame保存到PostgreSQL中,r,postgresql,dplyr,R,Postgresql,Dplyr,我正在从R将非常大的data.frame(3000万行)保存到PostgreSQL数据库,这会杀死我的电脑。由于这是dplyr生成的计算结果,我想使用此软件包的一些内置功能,但复制到不适用于如此大的表。有什么建议吗 能否将数据帧复制到csv或制表符分隔的文本文件中,然后使用copy FROM命令[1]将其加载到PostgreSQL中?这实现了一种执行速度更快的批量加载方法 在某些情况下,可以使用RScript以流的形式发送数据,并将其直接导入psql: <RScript output ta

我正在从R将非常大的data.frame(3000万行)保存到PostgreSQL数据库,这会杀死我的电脑。由于这是dplyr生成的计算结果,我想使用此软件包的一些内置功能,但复制到不适用于如此大的表。有什么建议吗

能否将数据帧复制到csv或制表符分隔的文本文件中,然后使用copy FROM命令[1]将其加载到PostgreSQL中?这实现了一种执行速度更快的批量加载方法

在某些情况下,可以使用RScript以流的形式发送数据,并将其直接导入psql:

<RScript output tab delmited rows> | psql -c "COPY <tablename> (columnlist, ...) FROM STDIN WITH (FORMAT text)"
| psql-c“使用(格式文本)从STDIN复制(列列表…)

在长时间运行的情况下,我将“强”>PV</START>中间跟踪进度()。


[1]

一次将其循环1000次(或多或少),以批量插入?谢谢,拆分是最好的解决方案。