Apache spark &引用；已解析的属性缺失“；在pySpark上执行联接时

我有以下两个pySpark数据帧：

> df_lag_pre.columns
['date','sku','name','country','ccy_code','quantity','usd_price','usd_lag','lag_quantity']

> df_unmatched.columns
['alt_sku', 'alt_lag_quantity', 'country', 'ccy_code', 'name', 'usd_price']

现在我想在公共列上连接它们，因此我尝试以下操作：

> df_lag_pre.join(df_unmatched, on=['name','country','ccy_code','usd_price'])

我得到以下错误消息：

AnalysisException: u'resolved attribute(s) price#3424 missing from country#3443,month#801,price#808,category#803,subcategory#804,page#805,date#280,link#809,name#806,quantity#807,ccy_code#3439,sku#3004,day#802 in operator !EvaluatePython PythonUDF#<lambda>(ccy_code#3439,price#3424), pythonUDF#811: string;'

AnalysisException:u'解析属性price#3424从国家/地区丢失#3443，月#801，price#808，category#803，subcategory#804，page#805，date#280，link#809，name#806，quantity#807，ccy#u代码3539，sku 354，dayŦ802！评估Python PythonUDF#（ccy#U代码#3439，价格#3424），PythonUDF#811:string；'

---

此错误中显示的一些列（如price）是另一个数据帧的一部分，而

df_lag

就是从该数据帧生成的。我找不到有关如何解释此消息的任何信息，因此非常感谢您的帮助。

您可以在pyspark中以这种方式执行加入，请查看这是否对您有用：

df_lag_pre.alias("df1")
df_unmatched.alias("df2")
join_both = df1.join(df2, (col("df1.name") == col("df2.name")) & (col("df1.country") == col("df2.country")) & (col("df1.ccy_code") == col("df2.ccy_code")) & (col("df1.usd_price") == col("df2.usd_price")), 'inner')

更新：如果您收到col not defined错误，请使用下面的导入

from pyspark.sql.functions import col

---

《代码》的来源是什么！EvaluatePython PythonUDF？您能提供一个简单的代码示例吗？似乎df_lag_pre的沿袭中存在一个问题。如果您能够提供完整的转换集，我们就能够纠正这个问题。您可以使用：from pyspark.sql.functions import col和df1作为别名。无需定义和df_lag_pre和df_unmatched（已定义）。希望这会有帮助！