Apache spark 将数据帧注册为临时视图的目的是什么?

Apache spark 将数据帧注册为临时视图的目的是什么?,apache-spark,pyspark,apache-spark-sql,Apache Spark,Pyspark,Apache Spark Sql,我试图理解为什么我要在pyspark中将数据帧注册为临时视图 这里有一个虚拟的例子 # Create spark dataframe spark_df = spark.createDataFrame([(1, 'foo'),(2, 'bar'),],['id', 'txt']) # Pull data using the dataframe spark_df.selectExpr("id + 1") # Register spark_df as a temporary v

我试图理解为什么我要在pyspark中将数据帧注册为临时视图

这里有一个虚拟的例子

# Create spark dataframe
spark_df = spark.createDataFrame([(1, 'foo'),(2, 'bar'),],['id', 'txt'])

# Pull data using the dataframe
spark_df.selectExpr("id + 1")

# Register spark_df as a temporary view to the catalog
spark_df.createOrReplaceTempView("temp")

# Pull data using the view
spark.sql("select id + 1 from temp")
是否将数据帧注册为临时视图:

  • 只能在此live spark会话中访问数据
  • 在这两种情况下,我都可以使用sql语句查询数据
  • 提取数据几乎需要相同的时间(10K模拟,但我还没有spark群集,只有我的本地机器)

  • 我没有看到将数据帧存储为临时视图的好处,但我在pyspark的每个入门类中都看到了它。我错过了什么?Tks

    > P> SQL是一种非常强大的语言,很多人认为它在某些情况下是有益的。

    < P> SQL是一种非常强大的语言,很多人认为它在某些情况下是有益的。

    SQL本身对某些人是有益的。SQL本身对某人是有益的。好的,所以没有其他区别,它是关于使用SQL语句的能力。谢谢你的回答。好的,没有其他区别,这是关于是否能够使用SQL语句。谢谢你的回答。