Apache spark 在sql查询中调用数据帧

Apache spark 在sql查询中调用数据帧,apache-spark,apache-spark-sql,Apache Spark,Apache Spark Sql,有没有办法在sql查询中包含数据帧?实际上,我试图打破一个巨大的sql查询,放入多个数据帧,并在原始查询中调用这些数据帧 select*from DFlike?您可以使用可以在Spark Sql中使用的Dataframe创建临时视图 例如,如果您有数据帧“df”,则可以运行此命令以创建具有任何名称的临时视图,例如“my_table” 现在,您可以在此基础上运行查询,使用以下命令将其加载为较新的数据帧: df2 = spark.sql("select * from my_table&qu

有没有办法在sql查询中包含数据帧?实际上,我试图打破一个巨大的sql查询,放入多个数据帧,并在原始查询中调用这些数据帧


select*from DF
like?

您可以使用可以在Spark Sql中使用的Dataframe创建临时视图

例如,如果您有数据帧“df”,则可以运行此命令以创建具有任何名称的临时视图,例如“my_table”

现在,您可以在此基础上运行查询,使用以下命令将其加载为较新的数据帧:

df2 = spark.sql("select * from my_table")

您可以使用可以在Spark Sql中使用的Dataframe创建临时视图

例如,如果您有数据帧“df”,则可以运行此命令以创建具有任何名称的临时视图,例如“my_table”

现在,您可以在此基础上运行查询,使用以下命令将其加载为较新的数据帧:

df2 = spark.sql("select * from my_table")