Python 如果查询结果太大怎么办

我正在使用python3的mysql连接器从mysql数据库进行查询。我有如此多的数据，如果我收集最近7天的数据，查询的大小将超过10GB，因此迫使我的python脚本被终止。我认为通常我们可以对结果进行流式处理，但是我没有找到在mysql Concetor中对查询结果进行流式处理的方法。有没有其他方法可以解决这个问题？

不要一次性获取结果集。您可以执行以下操作之一或这些操作的组合：

使用

LIMIT，OFFSET

生成多个文件，使用

SELECT into

使用日期/小时功能生成多个文件，使用

SELECT-into

---

cat

使用

cat hugedata_*>hugedata.csv将所有生成的文件合并为一个文件

@Anthony Kong的评论是正确的。为了解决这个问题，我们可以从

---

在深入研究代码之后，我发现

fetchmany

函数调用many

fetchone

来实现“fetchmany”。所以我最终决定使用fetchone。另外，fetchone在文档中提供了一个示例

也许可以通过

选择进入

将其插入到一个文件中。也就是说，在进入一个新的领域之前，你到底想完成什么？你可以使用连接器光标和

fetchmany

函数