Apache spark 通过数组列连接Dataframe
我有两个带有列Apache spark 通过数组列连接Dataframe,apache-spark,hive,Apache Spark,Hive,我有两个带有列字段数组(字符串)的数据帧。因此,执行以下操作是否安全: df1.join(df2, "field"); 类似地,在具有数组列的配置单元表上的SQL查询中,配置单元中的类似查询 SELECT * FROM table1 as df1 JOIN SELECT * FROM table2 as df2 ON (df1.field = df2.field) 参考资料:是的,相等运算符是安全的,并且对顺序敏感。您可以使用Pablo建议的方法在SQL中工作
字段数组(字符串)的数据帧。因此,执行以下操作是否安全:
df1.join(df2, "field");
类似地,在具有数组列的配置单元表上的SQL查询中,配置单元中的类似查询
SELECT * FROM table1 as df1
JOIN SELECT * FROM table2 as df2
ON (df1.field = df2.field)
参考资料:是的,相等运算符是安全的,并且对顺序敏感。您可以使用Pablo建议的方法在SQL中工作