Apache spark 为什么我在通过spark submit运行spark代码时获得以下日志
我正在通过此命令运行脚本Apache spark 为什么我在通过spark submit运行spark代码时获得以下日志,apache-spark,pyspark,apache-kafka,Apache Spark,Pyspark,Apache Kafka,我正在通过此命令运行脚本 spark-submit --packages org.apache.spark:spark-streaming-kafka-0-8_2.11:2.2.0 direct_kafka_wordcount.py localhost 9092 我无法连接我的卡夫卡主题并检索信息。我什么都试过了,但运气不好。我正在运行我的活卡夫卡流的这个简单的字数代码 常春藤默认缓存设置为:/home/sagar/.ivy2/Cache 存储在:/home/sagar/.ivy2/jars
spark-submit --packages org.apache.spark:spark-streaming-kafka-0-8_2.11:2.2.0 direct_kafka_wordcount.py localhost 9092
我无法连接我的卡夫卡主题并检索信息。我什么都试过了,但运气不好。我正在运行我的活卡夫卡流的这个简单的字数代码
常春藤默认缓存设置为:/home/sagar/.ivy2/Cache
存储在:/home/sagar/.ivy2/jars中的包的jar
::加载设置::url=jar:file:/usr/local/spark-2.4.3-bin-hadoop2.7/jars/ivy-2.4.0.jar/org/apache/ivy/core/settings/ivysettings.xml
org.apache.spark#spark-streaming-kafka-0-10_2.11作为依赖项添加
::解析依赖项::org.apache.spark#spark-submit-parent-be411cc2-fb3f-4049-b222-e3eca55e020b;1
confs:[默认值]
找到org.apache.spark#spark-streaming-kafka-0-10_2.11;中环2.2.0
找到org.apache.kafka#kafka#u 2.11;中环0.10.0.1
发现com.101tec#zkclient;中环0.8
找到org.slf4j#slf4j api;1.7.16中环
找到org.slf4j#slf4j-log4j12;1.7.16中环
找到log4j#log4j;1.2.17位于中环
找到com.yammer.metrics#metrics核心;中环2.2.0
找到org.scala-lang.modules#scala-parser-combinators_2.11;中环1.0.4
找到org.apache.kafka#kafka客户端;中环0.10.0.1
找到net.jpountz.lz4#lz4;中环1.3.0
找到org.xerial.snappy#snappyjava;1.1.2.6位于中环
发现org.spark project.spark#未使用;中环1.0.0
::解析报告::解析1491ms::工件dl 9ms
::正在使用的模块:
com.101tec#zkclient;0.8从中央输入[默认值]
com.yammer.metrics#metrics核心;2.2.0从中央输入[默认值]
log4j#log4j;1.2.17从中央输入[默认]
net.jpountz.lz4#lz4;1.3.0从中央输入[默认值]
org.apache.kafka#kafka客户端;0.10.0.1从中央输入[默认值]
org.apache.kafka#kafka#u 2.11;0.10.0.1从中央输入[默认值]
org.apache.spark#spark-streaming-kafka-0-10_2.11;2.2.0从中央输入[默认值]
org.scala-lang.modules#scala-parser-combinators_2.11;1.0.4从中央输入[默认]
org.slf4j#slf4j api;1.7.16从中央输入[默认]
org.slf4j#slf4j-log4j12;1.7.16从中央输入[默认]
org.spark project.spark#未使用;1.0.0从中央输入[默认值]
snappy#snappyjava;1.1.2.6从中央输入[默认]
---------------------------------------------------------------------
||模块| |工件|
|形态|编号|搜索| dwnlded |驱逐|编号| dwnlded|
---------------------------------------------------------------------
|默认值| 12 | 1 | 0 | 12 | 0|
---------------------------------------------------------------------
::检索::org.apache.spark#spark-submit-parent-be411cc2-fb3f-4049-b222-e3eca55e020b
confs:[默认值]
已复制0个工件,已检索12个(0 KB/8毫秒)
19/07/09 14:28:08警告NativeCodeLoader:无法为您的平台加载本机hadoop库。。。使用内置java类
如适用
回溯(最近一次呼叫最后一次):
文件“/usr/local/spark-2.4.3-bin-hadoop2.7/examples/src/main/python/streaming/direct\u kafka\u wordcount.py”,
第48行,在
kvs=KafkaUtils.createDirectStream(ssc,[topic],{“metadata.broker.list”:brokers})
文件“/usr/local/spark/python/lib/pyspark.zip/pyspark/streaming/kafka.py”,
第146行,在createDirectStream中
文件“/usr/local/spark/python/lib/py4j-0.10.7-src.zip/py4j/java_gateway.py”,
第1257行,在调用中
文件“/usr/local/spark/python/lib/py4j-0.10.7-src.zip/py4j/protocol.py”,
第328行,在get_return_值中
py4j.protocol.Py4JJavaError:调用o26.createDirectStreamWithoutMessageHandler时出错。
:org.apache.spark.SparkException:Broker的格式不正确:[localhost]
位于org.apache.spark.streaming.kafka.KafkaCluster$SimpleConsumerConfig$$anonfun$7.apply(KafkaCluster.scala:390)
位于org.apache.spark.streaming.kafka.KafkaCluster$SimpleConsumerConfig$$anonfun$7.apply(KafkaCluster.scala:387)
在scala.collection.TraversableLike$$anonfun$map$1.apply处(TraversableLike.scala:234)
在scala.collection.TraversableLike$$anonfun$map$1.apply处(TraversableLike.scala:234)
在scala.collection.IndexedSeqOptimized$class.foreach(IndexedSeqOptimized.scala:33)
位于scala.collection.mutable.ArrayOps$ofRef.foreach(ArrayOps.scala:186)
位于scala.collection.TraversableLike$class.map(TraversableLike.scala:234)
位于scala.collection.mutable.ArrayOps$ofRef.map(ArrayOps.scala:186)
在org.apache.spark.streaming.kafka.KafkaCluster$SimpleConsumerConfig上(KafkaCluster.scala:387)
在org.apache.spark.streaming.kafka.KafkaCluster$SimpleConsumerConfig$.apply上(KafkaCluster.scala:422)
位于org.apache.spark.streaming.kafka.KafkaCluster.config(KafkaCluster.scala:53)
位于org.apache.spark.streaming.kafka.KafkaCluster.getPartitionMetadata(KafkaCluster.scala:130)
位于org.apache.spark.streaming.kafka.KafkaCluster.getPartitions(KafkaCluster.scala:119)
在org.apache.spark.streaming.kafka.KafkaUtils$.getFromOffset上(KafkaUtils.scala:211)
在org.apache.spark.streaming.kafka.kafkautillspythonhelper.createDirectStream(KafkaUtils.scala:720)
在org.apache.spark.streaming.kafka.KafkaUtilsPythonHelper.createDirectStreamWithoutMessageHandler(KafkaUtils.scala:688)上
在sun.reflect.NativeMethodAccessorImpl.invoke0(本机方法)处
位于sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
在sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)中
位于java.lang.reflect.Method.invoke(Method.java:498)
在py4j
spark-submit --packages org.apache.spark:spark-streaming-kafka-0-8_2.11:2.2.0
direct_kafka_wordcount.py localhost:9092