Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/sql-server-2005/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 火花雪花连接器是否仅适用于databricks spark？_Apache Spark_Databricks_Snowflake Cloud Data Platform - Fatal编程技术网
Fatal编程技术网
  • apache-spark/
  • Apache spark 火花雪花连接器是否仅适用于databricks spark？

Apache spark 火花雪花连接器是否仅适用于databricks spark？

apache-spark snowflake-cloud-data-platform

Apache spark 火花雪花连接器是否仅适用于databricks spark？,apache-spark,databricks,snowflake-cloud-data-platform,Apache Spark,Databricks,Snowflake Cloud Data Platform,使用databricks spark，可以使用spark snowflake连接器将数据写入snowflake（spark-snowflake_2.11-2.3.0.jar，snowflake-jdbc-2.8.1.jar），而不使用jdbc连接。但如果没有databricks，当我尝试在安装spark的本地机器中应用相同的代码时，我无法使用spark snowflake连接器将代码写入snowflake。错误i面是雪花的classnotfoundexception.DefaultSource。

使用databricks spark，可以使用spark snowflake连接器将数据写入snowflake（spark-snowflake_2.11-2.3.0.jar，snowflake-jdbc-2.8.1.jar），而不使用jdbc连接。但如果没有databricks，当我尝试在安装spark的本地机器中应用相同的代码时，我无法使用spark snowflake连接器将代码写入snowflake。错误i面是雪花的classnotfoundexception.DefaultSource。
但是可以使用JDBC连接从本地安装spark的本地计算机写入snowflake。

spark中不包括
spark snowflake
包。在运行spark时，您应将其包括在内：

$SPARK_HOME/bin/spark-shell --packages net.snowflake:spark-snowflake_2.11:2.4.5
或者像这样将其添加到依赖项中（在sbt中）：

详情请参见此处：

libraryDependencies += "net.snowflake" %% "spark-snowflake" % "2.4.5"