Sql Postgres从大表中选择*

Sql Postgres从大表中选择*,sql,postgresql,Sql,Postgresql,使用包含近700万条大记录的Postgres表。我知道SELECT*FROM table的大小足以容纳内存,因此在等待查询结果的长时间延迟后,数据库连接丢失(只能执行SELECT*FROM table LIMIT n) 我需要按顺序处理每条记录,直到最后一条。这样做的方法是什么 您可以获得n条记录的块。 select * from table where tableId>currentTableId and tableId<currentTableId*chunk_size 从ta

使用包含近700万条大记录的Postgres表。我知道
SELECT*FROM table
的大小足以容纳内存,因此在等待查询结果的长时间延迟后,数据库连接丢失(只能执行
SELECT*FROM table LIMIT n


我需要按顺序处理每条记录,直到最后一条。这样做的方法是什么

您可以获得n条记录的块。

select * from table where tableId>currentTableId and tableId<currentTableId*chunk_size
从tableId>currentTableId和tableId0的表格中选择*){

executeQuery('从tableId>currentTableId和tableId的表格中选择*,您可以获得n条记录的数据块。

select * from table where tableId>currentTableId and tableId<currentTableId*chunk_size
从tableId>currentTableId和tableId0的表格中选择*){

executeQuery('从tableId>currentTableId和tableId的表中选择*您应该看看是否可以在数据库中执行此工作。为什么需要在应用程序中单独处理每条记录?@GordonLinoff我想获取每条记录并发送(到应用程序)作为JSON。当您运行该语句时,您得到的确切错误消息是什么?您使用的是哪种编程语言?您计划如何在应用程序中处理700万个JSON值?@a_horse_with_no_name这是以前收集的环境数据集的一次性上载,我想在不同的平台上执行此操作(FIWARE)。因为数据集不在FIWARE标准中,所以在转发到FIWARE平台上的发布/订阅应用程序之前,每个记录都应该经过处理以符合FIWARE模型。我认为延迟不是由等待查询结果引起的,而是由应用程序处理前几次记录引起的rds,而不是读取其余的。您可以通过转储到.csv或.tsv来测试这一点,然后从那里开始工作。您应该看看是否可以在数据库中完成这项工作。为什么需要在应用程序中单独处理每条记录?@GordonLinoff我想获取每条记录并发送(到应用程序)作为JSON。当您运行该语句时,您得到的确切错误消息是什么?您使用的是哪种编程语言?您计划如何在应用程序中处理700万个JSON值?@a_horse_with_no_name这是以前收集的环境数据集的一次性上载,我想在不同的平台上执行此操作(FIWARE)。因为数据集不在FIWARE标准中,所以在转发到FIWARE平台上的发布/订阅应用程序之前,每个记录都应该经过处理以符合FIWARE模型。我认为延迟不是由等待查询结果引起的,而是由应用程序处理前几次记录引起的rds,而不是阅读其余部分。您可以通过转储到.csv或.tsv来测试这一点,然后从那里开始工作。谢谢您的回答。您能对此添加一点解释吗?谢谢您的回答。您能添加一点解释吗?