Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 为什么我在通过spark submit运行spark代码时获得以下日志_Apache Spark_Pyspark_Apache Kafka - Fatal编程技术网

Apache spark 为什么我在通过spark submit运行spark代码时获得以下日志

Apache spark 为什么我在通过spark submit运行spark代码时获得以下日志,apache-spark,pyspark,apache-kafka,Apache Spark,Pyspark,Apache Kafka,我正在通过此命令运行脚本 spark-submit --packages org.apache.spark:spark-streaming-kafka-0-8_2.11:2.2.0 direct_kafka_wordcount.py localhost 9092 我无法连接我的卡夫卡主题并检索信息。我什么都试过了,但运气不好。我正在运行我的活卡夫卡流的这个简单的字数代码 常春藤默认缓存设置为:/home/sagar/.ivy2/Cache 存储在:/home/sagar/.ivy2/jars

我正在通过此命令运行脚本

spark-submit --packages org.apache.spark:spark-streaming-kafka-0-8_2.11:2.2.0 direct_kafka_wordcount.py localhost 9092 
我无法连接我的卡夫卡主题并检索信息。我什么都试过了,但运气不好。我正在运行我的活卡夫卡流的这个简单的字数代码

常春藤默认缓存设置为:/home/sagar/.ivy2/Cache 存储在:/home/sagar/.ivy2/jars中的包的jar ::加载设置::url=jar:file:/usr/local/spark-2.4.3-bin-hadoop2.7/jars/ivy-2.4.0.jar/org/apache/ivy/core/settings/ivysettings.xml org.apache.spark#spark-streaming-kafka-0-10_2.11作为依赖项添加 ::解析依赖项::org.apache.spark#spark-submit-parent-be411cc2-fb3f-4049-b222-e3eca55e020b;1 confs:[默认值] 找到org.apache.spark#spark-streaming-kafka-0-10_2.11;中环2.2.0 找到org.apache.kafka#kafka#u 2.11;中环0.10.0.1 发现com.101tec#zkclient;中环0.8 找到org.slf4j#slf4j api;1.7.16中环 找到org.slf4j#slf4j-log4j12;1.7.16中环 找到log4j#log4j;1.2.17位于中环 找到com.yammer.metrics#metrics核心;中环2.2.0 找到org.scala-lang.modules#scala-parser-combinators_2.11;中环1.0.4 找到org.apache.kafka#kafka客户端;中环0.10.0.1 找到net.jpountz.lz4#lz4;中环1.3.0 找到org.xerial.snappy#snappyjava;1.1.2.6位于中环 发现org.spark project.spark#未使用;中环1.0.0 ::解析报告::解析1491ms::工件dl 9ms ::正在使用的模块: com.101tec#zkclient;0.8从中央输入[默认值] com.yammer.metrics#metrics核心;2.2.0从中央输入[默认值] log4j#log4j;1.2.17从中央输入[默认] net.jpountz.lz4#lz4;1.3.0从中央输入[默认值] org.apache.kafka#kafka客户端;0.10.0.1从中央输入[默认值] org.apache.kafka#kafka#u 2.11;0.10.0.1从中央输入[默认值] org.apache.spark#spark-streaming-kafka-0-10_2.11;2.2.0从中央输入[默认值] org.scala-lang.modules#scala-parser-combinators_2.11;1.0.4从中央输入[默认] org.slf4j#slf4j api;1.7.16从中央输入[默认] org.slf4j#slf4j-log4j12;1.7.16从中央输入[默认] org.spark project.spark#未使用;1.0.0从中央输入[默认值] snappy#snappyjava;1.1.2.6从中央输入[默认] --------------------------------------------------------------------- ||模块| |工件| |形态|编号|搜索| dwnlded |驱逐|编号| dwnlded| --------------------------------------------------------------------- |默认值| 12 | 1 | 0 | 12 | 0| --------------------------------------------------------------------- ::检索::org.apache.spark#spark-submit-parent-be411cc2-fb3f-4049-b222-e3eca55e020b confs:[默认值] 已复制0个工件,已检索12个(0 KB/8毫秒) 19/07/09 14:28:08警告NativeCodeLoader:无法为您的平台加载本机hadoop库。。。使用内置java类 如适用 回溯(最近一次呼叫最后一次): 文件“/usr/local/spark-2.4.3-bin-hadoop2.7/examples/src/main/python/streaming/direct\u kafka\u wordcount.py”, 第48行,在 kvs=KafkaUtils.createDirectStream(ssc,[topic],{“metadata.broker.list”:brokers}) 文件“/usr/local/spark/python/lib/pyspark.zip/pyspark/streaming/kafka.py”, 第146行,在createDirectStream中 文件“/usr/local/spark/python/lib/py4j-0.10.7-src.zip/py4j/java_gateway.py”, 第1257行,在调用中 文件“/usr/local/spark/python/lib/py4j-0.10.7-src.zip/py4j/protocol.py”, 第328行,在get_return_值中 py4j.protocol.Py4JJavaError:调用o26.createDirectStreamWithoutMessageHandler时出错。 :org.apache.spark.SparkException:Broker的格式不正确:[localhost] 位于org.apache.spark.streaming.kafka.KafkaCluster$SimpleConsumerConfig$$anonfun$7.apply(KafkaCluster.scala:390) 位于org.apache.spark.streaming.kafka.KafkaCluster$SimpleConsumerConfig$$anonfun$7.apply(KafkaCluster.scala:387) 在scala.collection.TraversableLike$$anonfun$map$1.apply处(TraversableLike.scala:234) 在scala.collection.TraversableLike$$anonfun$map$1.apply处(TraversableLike.scala:234) 在scala.collection.IndexedSeqOptimized$class.foreach(IndexedSeqOptimized.scala:33) 位于scala.collection.mutable.ArrayOps$ofRef.foreach(ArrayOps.scala:186) 位于scala.collection.TraversableLike$class.map(TraversableLike.scala:234) 位于scala.collection.mutable.ArrayOps$ofRef.map(ArrayOps.scala:186) 在org.apache.spark.streaming.kafka.KafkaCluster$SimpleConsumerConfig上(KafkaCluster.scala:387) 在org.apache.spark.streaming.kafka.KafkaCluster$SimpleConsumerConfig$.apply上(KafkaCluster.scala:422) 位于org.apache.spark.streaming.kafka.KafkaCluster.config(KafkaCluster.scala:53) 位于org.apache.spark.streaming.kafka.KafkaCluster.getPartitionMetadata(KafkaCluster.scala:130) 位于org.apache.spark.streaming.kafka.KafkaCluster.getPartitions(KafkaCluster.scala:119) 在org.apache.spark.streaming.kafka.KafkaUtils$.getFromOffset上(KafkaUtils.scala:211) 在org.apache.spark.streaming.kafka.kafkautillspythonhelper.createDirectStream(KafkaUtils.scala:720) 在org.apache.spark.streaming.kafka.KafkaUtilsPythonHelper.createDirectStreamWithoutMessageHandler(KafkaUtils.scala:688)上 在sun.reflect.NativeMethodAccessorImpl.invoke0(本机方法)处 位于sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) 在sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)中 位于java.lang.reflect.Method.invoke(Method.java:498) 在py4j
spark-submit --packages org.apache.spark:spark-streaming-kafka-0-8_2.11:2.2.0 
direct_kafka_wordcount.py localhost:9092