Python 合并特定列上的两个大数据帧，并显示进度条

我有两个大数据集，一个2.6GB，另一个1GB。我已设法将它们作为数据帧读入

接下来，我想创建一个新的数据帧，在该数据帧中，我想在两个数据集的唯一ID上匹配两个数据集，并丢弃两个数据集之间没有匹配ID的行

我尝试过合并少量行，我认为它是有效的，但我想合并整个内容，还想显示一个进度条。我正在使用Python3的Jupyter笔记本

Matrikkel2019是两个相同数据集中的唯一ID，我希望保留两个数据集中的列，但只保留具有相同Matrikkel2019 ID的值

代码 我曾尝试在

progress\u apply

函数中使用

lambda x:x**2

，但出现错误：

TypeError:**或pow（）不支持的操作数类型：'list'和'int'以及无效参数错误

---

主要问题是合并操作花费的时间太长，而且我的8Gb内存的电脑出现故障，因此我不知道需要多长时间，也不知道它是否会完成。

tqdm

确实支持合并操作的进度条

代码取自此问题

对于您的代码以及导入，它应该是：

tqdm.pandas()
merge = energydata.merge(dwellingData, left_on = "matrikkel2019", right_on="matrikkel2019").progress_apply(lambda x: x)

---

tqdm

不支持合并操作的进度条

代码取自此问题

对于您的代码以及导入，它应该是：

tqdm.pandas()
merge = energydata.merge(dwellingData, left_on = "matrikkel2019", right_on="matrikkel2019").progress_apply(lambda x: x)

---

非常确定

tqdm

只适用于for循环：（@prp它适用于某些panda操作，但文档中没有说明哪个操作：[link]（）因此，我希望它对合并有效，但我的主要问题是合并操作耗时太长，而且我的电脑正在运行，所以我不知道需要多长时间。非常确定

tqdm

只在for循环中有效：（@prp它对一些panda操作有效，但文档没有说明是哪种操作：[link]（）.所以我希望它对合并有效，但我的主要问题是合并操作需要太长时间，而且我的电脑正在挣扎，所以我不知道需要多长时间。

tqdm.pandas()
merge = energydata.merge(dwellingData, left_on = "matrikkel2019", right_on="matrikkel2019").progress_apply(lambda x: x)