Python 如何比较Pyspark中的两个数据帧

Python 如何比较Pyspark中的两个数据帧,python,pyspark,Python,Pyspark,如何在PySpark中编写相同的表达式?如果你问“给我df中的所有行,其中CUSTOMER\u EMAIL\u ID字段与CUSTOMER\u EMAIL\u ID字段中的ID字段具有匹配值”,那么我认为你的问题可以用a来回答,特别是: c = df[df['CUSTOMER_EMAIL_ID'].isin(d.CUSTOMER_EMAIL_ID)] 左(右)半联接在概念上可以看作是一个内部联接,然后删除右(左)列 你想做什么?你能详细解释一下吗?是否要比较或检查是否存在? c = df.jo

如何在PySpark中编写相同的表达式?

如果你问“给我
df
中的所有行,其中
CUSTOMER\u EMAIL\u ID
字段与
CUSTOMER\u EMAIL\u ID
字段中的
ID
字段具有匹配值”,那么我认为你的问题可以用a来回答,特别是:

c = df[df['CUSTOMER_EMAIL_ID'].isin(d.CUSTOMER_EMAIL_ID)]

左(右)半联接在概念上可以看作是一个内部联接,然后删除右(左)列

你想做什么?你能详细解释一下吗?是否要比较或检查是否存在?
c = df.join(b, 'CUSTOMER_EMAIL_ID', 'leftsemi')