Python 大数据集上的查询

我在excel中有数据（~10000+行），我需要匹配SQL表（~20000+）中的每一行。 查询将如下所示

select field1, field2, case 
when condition 1 then 'Output 1'
when condition 2 then 'Output 2'
5-6 more such when conditions
End as Title
from Table

由于这两个数据集的数据都非常庞大，我应该通过python将所有数据加载到一个数组中（一次选择，然后用python代码执行操作），还是通过sql选择（迭代每一行）

---

哪一个性能最好，还有其他有效的解决方案吗？

老实说，10000行甚至20000行都很小，除非您有10000列。我建议您将其加载到本地数据帧中，并在那里进行所有转换。

在MySQL上创建临时表。将excel的数据复制（插入）到其中。执行查询以获得所需的输出。“巨大的”？几乎没有。