Apache spark 无法解析Spark结构化流式kafka依赖项
我试过了Apache spark 无法解析Spark结构化流式kafka依赖项,apache-spark,apache-kafka,apache-spark-sql,spark-streaming,Apache Spark,Apache Kafka,Apache Spark Sql,Spark Streaming,我试过了 ./spark-2.3.1-bin-hadoop2.7/bin/spark-submit --packages org.apache.spark:spark-sql-kafka-0-10_2.11:2.3.1 test.py 在我自己的电脑里,一切都很好。但在我尝试使用学校的服务器后,它出现了以下消息和错误。我在谷歌搜索了很长一段时间,对此一无所知。有人能帮我吗 常春藤默认缓存设置为:/home/zqwang/.ivy2/缓存 包存储在:/home/zqwang/.ivy2/jar
./spark-2.3.1-bin-hadoop2.7/bin/spark-submit --packages org.apache.spark:spark-sql-kafka-0-10_2.11:2.3.1 test.py
在我自己的电脑里,一切都很好。但在我尝试使用学校的服务器后,它出现了以下消息和错误。我在谷歌搜索了很长一段时间,对此一无所知。有人能帮我吗
常春藤默认缓存设置为:/home/zqwang/.ivy2/缓存
包存储在:/home/zqwang/.ivy2/jars::加载设置::url中
=jar:file:/data/opt/tmp/zqwang/spark-2.3.1-bin-hadoop2.7/jars/ivy-2.4.0.jar/org/apache/ivy/core/settings/ivysettings.xml
org.apache.spark#spark-sql-kafka-0-10_2.11作为依赖项添加::
解析依赖项::
org.apache.spark#spark-submit-parent-26b526c6-0535-4007-8428-e38188af5709;1
confs:[默认]::解析报告::解析966ms::工件
dl 0ms::正在使用的模块:
||模块| |工件| |形态|编号|搜索| dwnlded |驱逐|编号| dwnlded|
|默认值| 1 | 0 | 0 | 0 | 0|
::问题摘要:::未找到警告模块: org.apache.spark#spark-sql-kafka-0-10_2.11;2.3.1 ==本地m2缓存:已尝试 文件:/home/zqwang/.m2/repository/org/apache/spark/spark-sql-kafka-0-10_2.11/2.3.1/spark-sql-kafka-0-10_2.11-2.3.1.pom
-- artifact
org.apache.spark#spark-sql-kafka-0-10_2.11;2.3.1!spark-sql-kafka-0-10_2.11.jar:
文件:/home/zqwang/.m2/repository/org/apache/spark/spark-sql-kafka-0-10_2.11/2.3.1/spark-sql-kafka-0-10_2.11-2.3.1.jar
==本地常春藤缓存:已尝试
/home/zqwang/.ivy2/local/org.apache.spark/spark-sql-kafka-0-10_2.11/2.3.1/ivys/ivy.xml
-- artifact
org.apache.spark#spark-sql-kafka-0-10_2.11;2.3.1!spark-sql-kafka-0-10_2.11.jar:
/home/zqwang/.ivy2/local/org.apache.spark/spark-sql-kafka-0-10_2.11/2.3.1/jars/spark-sql-kafka-0-10_2.11.jar
==中心:已尝试
org.apache.spark#spark-sql-kafka-0-10_2.11;2.3.1!spark-sql-kafka-0-10_2.11.jar:
==spark软件包:已尝试
org.apache.spark#spark-sql-kafka-0-10_2.11;2.3.1!spark-sql-kafka-0-10_2.11.jar:
::错误url处的服务器访问错误
(java.net.ConnectException:连接被拒绝)
url处的服务器访问错误
(java.net.ConnectException:连接被拒绝)
url处的服务器访问错误
(java.net.ConnectException:连接被拒绝)
url处的服务器访问错误
(java.net.ConnectException:连接被拒绝)
::有关异常中的详细信息,请使用详细信息或调试消息级别
线程“main”java.lang.RuntimeException:[未解析的依赖项:
org.apache.spark#spark-sql-kafka-0-10_2.11;2.3.1:未找到]位于
org.apache.spark.deploy.SparkSubmitUtils$.resolveMavenCoordinates(SparkSubmit.scala:1303)
在
org.apache.spark.deploy.DependencyUtils$.resolveMavenDependencies(DependencyUtils.scala:53)
在
org.apache.spark.deploy.SparkSubmit$.doprepareResubitenEnvironment(SparkSubmit.scala:364)
在
org.apache.spark.deploy.SparkSubmit$.prepareSubmitEnvironment(SparkSubmit.scala:250)
位于org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:171)
位于org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:137)
位于org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
但在我尝试使用学校的服务器后,它出现了以下消息和错误
你们学校有防火墙,防止远程软件包被下载
例如,这个链接对我很有用
url处的服务器访问错误(java.net.ConnectException:连接被拒绝)
您需要在校外下载卡夫卡JAR,然后使用--jars
标志提交
-- artifact
-- artifact
::::::::::::::::::::::::::::::::::::::::::::::
:: UNRESOLVED DEPENDENCIES ::
::::::::::::::::::::::::::::::::::::::::::::::
:: org.apache.spark#spark-sql-kafka-0-10_2.11;2.3.1: not found
::::::::::::::::::::::::::::::::::::::::::::::