Python将两个数组类型的数据帧合并为一个

我有两个数据帧，如下图所示

数据帧1

0                                 [1, 50]
2                               [7, 8, 9]
5    [20, 21, 22, 23, 24, 25, 26, 27, 28]
1        [60, 61, 62, 63, 66, 64, 65, 67]
3                        [80, 81, 72, 83]
4                            [90, 91, 92]
6                              [200, 201]
7                              [301, 300]

数据帧2

0                         [1, 2]
1                         [3, 4]
2                         [5, 6]
3    [7, 71, 72, 73, 74, 75, 76]
4                   [10, 11, 12]
6                       [30, 31]
7                       [40, 41]
5                [100, 100, 102]

最好的方法是什么，或者如何获得这样的数据帧或列表

[1, 50, 2]
[3,4]
[5,6]
[7,8,9,71,72,73,74,75,76,80,81,83]
[10,11,12]
[20,21,22,23,24,25,26,27,28]
.......
....
"

---

基本上，如果数组/列表中的一个元素包含在另一个数据帧中，我希望合并这些数组。我有两个包含一百万条记录的数据帧，因此我需要一种有效的方法

您可以创建一个函数

添加数据帧（d1，d2）

代码类似于：

add_dataframes(d1, d2):
    d3 = d1 + d2
    //Check for duplicates here (I can do this later if you want, don't have time right now)
   return d3

然后，只需迭代所有行并创建新行，如：

dataframe = add_dataframes(//first data , //second data)

---

我采用了类似的方法，但为了检查值是否在数组中，我每次都必须遍历一个完整的数据帧，因此它会消耗大量的时间