Apache spark 无法解析Spark结构化流式kafka依赖项

Apache spark 无法解析Spark结构化流式kafka依赖项,apache-spark,apache-kafka,apache-spark-sql,spark-streaming,Apache Spark,Apache Kafka,Apache Spark Sql,Spark Streaming,我试过了 ./spark-2.3.1-bin-hadoop2.7/bin/spark-submit --packages org.apache.spark:spark-sql-kafka-0-10_2.11:2.3.1 test.py 在我自己的电脑里,一切都很好。但在我尝试使用学校的服务器后,它出现了以下消息和错误。我在谷歌搜索了很长一段时间,对此一无所知。有人能帮我吗 常春藤默认缓存设置为:/home/zqwang/.ivy2/缓存 包存储在:/home/zqwang/.ivy2/jar

我试过了

./spark-2.3.1-bin-hadoop2.7/bin/spark-submit --packages org.apache.spark:spark-sql-kafka-0-10_2.11:2.3.1 test.py 
在我自己的电脑里,一切都很好。但在我尝试使用学校的服务器后,它出现了以下消息和错误。我在谷歌搜索了很长一段时间,对此一无所知。有人能帮我吗

常春藤默认缓存设置为:/home/zqwang/.ivy2/缓存 包存储在:/home/zqwang/.ivy2/jars::加载设置::url中 =jar:file:/data/opt/tmp/zqwang/spark-2.3.1-bin-hadoop2.7/jars/ivy-2.4.0.jar/org/apache/ivy/core/settings/ivysettings.xml org.apache.spark#spark-sql-kafka-0-10_2.11作为依赖项添加:: 解析依赖项:: org.apache.spark#spark-submit-parent-26b526c6-0535-4007-8428-e38188af5709;1 confs:[默认]::解析报告::解析966ms::工件 dl 0ms::正在使用的模块:


||模块| |工件| |形态|编号|搜索| dwnlded |驱逐|编号| dwnlded|


|默认值| 1 | 0 | 0 | 0 | 0|


::问题摘要:::未找到警告模块: org.apache.spark#spark-sql-kafka-0-10_2.11;2.3.1

==本地m2缓存:已尝试

文件:/home/zqwang/.m2/repository/org/apache/spark/spark-sql-kafka-0-10_2.11/2.3.1/spark-sql-kafka-0-10_2.11-2.3.1.pom

-- artifact
org.apache.spark#spark-sql-kafka-0-10_2.11;2.3.1!spark-sql-kafka-0-10_2.11.jar:

文件:/home/zqwang/.m2/repository/org/apache/spark/spark-sql-kafka-0-10_2.11/2.3.1/spark-sql-kafka-0-10_2.11-2.3.1.jar

==本地常春藤缓存:已尝试

/home/zqwang/.ivy2/local/org.apache.spark/spark-sql-kafka-0-10_2.11/2.3.1/ivys/ivy.xml

-- artifact
org.apache.spark#spark-sql-kafka-0-10_2.11;2.3.1!spark-sql-kafka-0-10_2.11.jar:

/home/zqwang/.ivy2/local/org.apache.spark/spark-sql-kafka-0-10_2.11/2.3.1/jars/spark-sql-kafka-0-10_2.11.jar

==中心:已尝试

org.apache.spark#spark-sql-kafka-0-10_2.11;2.3.1!spark-sql-kafka-0-10_2.11.jar:

==spark软件包:已尝试

org.apache.spark#spark-sql-kafka-0-10_2.11;2.3.1!spark-sql-kafka-0-10_2.11.jar:

::错误url处的服务器访问错误 (java.net.ConnectException:连接被拒绝)

url处的服务器访问错误 (java.net.ConnectException:连接被拒绝)

url处的服务器访问错误 (java.net.ConnectException:连接被拒绝)

url处的服务器访问错误 (java.net.ConnectException:连接被拒绝)

::有关异常中的详细信息,请使用详细信息或调试消息级别 线程“main”java.lang.RuntimeException:[未解析的依赖项: org.apache.spark#spark-sql-kafka-0-10_2.11;2.3.1:未找到]位于 org.apache.spark.deploy.SparkSubmitUtils$.resolveMavenCoordinates(SparkSubmit.scala:1303) 在 org.apache.spark.deploy.DependencyUtils$.resolveMavenDependencies(DependencyUtils.scala:53) 在 org.apache.spark.deploy.SparkSubmit$.doprepareResubitenEnvironment(SparkSubmit.scala:364) 在 org.apache.spark.deploy.SparkSubmit$.prepareSubmitEnvironment(SparkSubmit.scala:250) 位于org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:171) 位于org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:137) 位于org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

但在我尝试使用学校的服务器后,它出现了以下消息和错误

你们学校有防火墙,防止远程软件包被下载

例如,这个链接对我很有用

url处的服务器访问错误(java.net.ConnectException:连接被拒绝)

您需要在校外下载卡夫卡JAR,然后使用
--jars
标志提交

-- artifact
-- artifact
  ::::::::::::::::::::::::::::::::::::::::::::::

  ::          UNRESOLVED DEPENDENCIES         ::

  ::::::::::::::::::::::::::::::::::::::::::::::

  :: org.apache.spark#spark-sql-kafka-0-10_2.11;2.3.1: not found

  ::::::::::::::::::::::::::::::::::::::::::::::