Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 三角洲湖是否由spark2.xx支撑_Apache Spark_Pyspark_Apache Spark Sql_Delta Lake - Fatal编程技术网
Fatal编程技术网
  • apache-spark/
  • Apache spark 三角洲湖是否由spark2.xx支撑

Apache spark 三角洲湖是否由spark2.xx支撑

apache-spark pyspark

Apache spark 三角洲湖是否由spark2.xx支撑,apache-spark,pyspark,apache-spark-sql,delta-lake,Apache Spark,Pyspark,Apache Spark Sql,Delta Lake,所以我尝试使用delta-lake-writedf_-concat.write.format（“delta”）.mode（“overwrite”）.save（“file”）它给了我这个错误： java.lang.NoClassDefFoundError:org/apache/spark/sql/connector/catalog/TableProvider delta lake doc说要更新spark3，所以我想确认我们是否可以在spark2.xx上运行deltalake 您可以使用-支持Sp

所以我尝试使用delta-lake-write
df_-concat.write.format（“delta”）.mode（“overwrite”）.save（“file”）它给了我这个错误：

java.lang.NoClassDefFoundError:org/apache/spark/sql/connector/catalog/TableProvider
delta lake doc说要更新spark3，所以我想确认我们是否可以在spark2.xx上运行deltalake

您可以使用-支持Spark 2.x的最新版本。您至少需要有Spark 2.4.2才能运行它。只需使用包io.delta:delta-core_2.11:0.6.1运行您的代码，或将其链接到您可以使用的应用程序
——支持Spark 2.x的最新版本。您至少需要有Spark 2.4.2才能运行它。只需使用
——packages io.delta:delta-core_2.11:0.6.1运行代码，或将其链接到应用程序