使用python进行spark流时出错？

使用kafka_2.11-0.9.0.0和zookeeper-3.4.9

我已经开始了动物园管理员服务以及生产者和消费者服务。但当我运行spark submit命令时，它会抛出错误。 我正在使用以下命令提交spark作业：

spark-submit --packages org.apache.spark:spark-streaming-kafka_2.11:1.5.0 /usr/local/spark/examples/src/main/python/streaming/kafka_wordcount.py localhost:2181 Hello-Kafka

我的日志中有错误

这是我得到的日志：

17/10/18 02:44:59 INFO BlockManagerMaster: Registered BlockManager BlockManagerId(driver, 192.168.150.105, 44389)
Traceback (most recent call last):
  File "/usr/local/spark/examples/src/main/python/streaming/kafka_wordcount.py", line 48, in <module>
    kvs = KafkaUtils.createStream(ssc, zkQuorum, "spark-streaming-consumer", {topic: 1})
  File "/usr/local/spark/python/lib/pyspark.zip/pyspark/streaming/kafka.py", line 70, in createStream
  File "/usr/local/spark/python/lib/py4j-0.10.3-src.zip/py4j/java_gateway.py", line 1133, in __call__
  File "/usr/local/spark/python/lib/py4j-0.10.3-src.zip/py4j/protocol.py", line 319, in get_return_value
py4j.protocol.Py4JJavaError: An error occurred while calling o27.createStream.
: java.lang.NoClassDefFoundError: org/apache/spark/Logging
    at java.lang.ClassLoader.defineClass1(Native Method)
    at java.lang.ClassLoader.defineClass(ClassLoader.java:763)
    at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
    at java.net.URLClassLoader.defineClass(URLClassLoader.java:467)
    at java.net.URLClassLoader.access$100(URLClassLoader.java:73)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:368)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:362)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:361)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    at org.apache.spark.streaming.kafka.KafkaUtils$.createStream(KafkaUtils.scala:81)
    at org.apache.spark.streaming.kafka.KafkaUtils$.createStream(KafkaUtils.scala:151)
    at org.apache.spark.streaming.kafka.KafkaUtilsPythonHelper.createStream(KafkaUtils.scala:555)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:237)
    at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:357)
    at py4j.Gateway.invoke(Gateway.java:280)
    at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
    at py4j.commands.CallCommand.execute(CallCommand.java:79)
    at py4j.GatewayConnection.run(GatewayConnection.java:214)
    at java.lang.Thread.run(Thread.java:748)
Caused by: java.lang.ClassNotFoundException: org.apache.spark.Logging
    at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    ... 25 more

17/10/18 02:45:01 INFO SparkContext: Invoking stop() from shutdown hook
17/10/18 02:45:01 INFO SparkUI: Stopped Spark web UI at http://192.168.150.105:4040
17/10/18 02:45:01 INFO ContextCleaner: Cleaned accumulator 0
17/10/18 02:45:01 INFO MapOutputTrackerMasterEndpoint: MapOutputTrackerMasterEndpoint stopped!
17/10/18 02:45:01 INFO MemoryStore: MemoryStore cleared
17/10/18 02:45:01 INFO BlockManager: BlockManager stopped
17/10/18 02:45:01 INFO BlockManagerMaster: BlockManagerMaster stopped
17/10/18 02:45:01 INFO OutputCommitCoordinator$OutputCommitCoordinatorEndpoint: OutputCommitCoordinator stopped!
17/10/18 02:45:01 INFO SparkContext: Successfully stopped SparkContext
17/10/18 02:45:01 INFO ShutdownHookManager: Shutdown hook called
17/10/18 02:45:01 INFO ShutdownHookManager: Deleting directory /tmp/spark-ba22aed0-b62d-48b2-8796-12ae197a5b1c/pyspark-189ffe1d-160f-4b6c-8bb2-17a5b7dcb5b7
17/10/18 02:45:01 INFO ShutdownHookManager: Deleting directory /tmp/spark-ba22aed0-b62d-48b2-8796-12ae197a5b1c

17/10/18 02:44:59信息BlockManagerMaster:Registered BlockManager BlockManagerRID（驱动程序，192.168.150.105，44389）
回溯（最近一次呼叫最后一次）：
文件“/usr/local/spark/examples/src/main/python/streaming/kafka_wordcount.py”，第48行，在
kvs=KafkaUtils.createStream（ssc，zkQuorum，“火花流消费者”{topic:1}）
createStream中的文件“/usr/local/spark/python/lib/pyspark.zip/pyspark/streaming/kafka.py”，第70行
文件“/usr/local/spark/python/lib/py4j-0.10.3-src.zip/py4j/java_gateway.py”，第1133行，在__调用中__
文件“/usr/local/spark/python/lib/py4j-0.10.3-src.zip/py4j/protocol.py”，第319行，在get_return_值中
py4j.protocol.Py4JJavaError:调用o27.createStream时出错。
：java.lang.NoClassDefFoundError:org/apache/spark/Logging
位于java.lang.ClassLoader.defineClass1（本机方法）
位于java.lang.ClassLoader.defineClass（ClassLoader.java:763）
位于java.security.SecureClassLoader.defineClass（SecureClassLoader.java:142）
位于java.net.URLClassLoader.defineClass（URLClassLoader.java:467）
在java.net.URLClassLoader.access$100（URLClassLoader.java:73）
在java.net.URLClassLoader$1.run（URLClassLoader.java:368）
在java.net.URLClassLoader$1.run（URLClassLoader.java:362）
位于java.security.AccessController.doPrivileged（本机方法）
位于java.net.URLClassLoader.findClass（URLClassLoader.java:361）
位于java.lang.ClassLoader.loadClass（ClassLoader.java:424）
位于java.lang.ClassLoader.loadClass（ClassLoader.java:357）
位于org.apache.spark.streaming.kafka.KafkaUtils$.createStream（KafkaUtils.scala:81）
位于org.apache.spark.streaming.kafka.KafkaUtils$.createStream（KafkaUtils.scala:151）
在org.apache.spark.streaming.kafka.kafkautillspythonhelper.createStream（KafkaUtils.scala:555）
在sun.reflect.NativeMethodAccessorImpl.invoke0（本机方法）处
位于sun.reflect.NativeMethodAccessorImpl.invoke（NativeMethodAccessorImpl.java:62）
在sun.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:43）中
位于java.lang.reflect.Method.invoke（Method.java:498）
位于py4j.reflection.MethodInvoker.invoke（MethodInvoker.java:237）
位于py4j.reflection.ReflectionEngine.invoke（ReflectionEngine.java:357）
在py4j.Gateway.invoke处（Gateway.java:280）
位于py4j.commands.AbstractCommand.invokeMethod（AbstractCommand.java:132）
在py4j.commands.CallCommand.execute（CallCommand.java:79）
在py4j.GatewayConnection.run处（GatewayConnection.java:214）
运行（Thread.java:748）
原因：java.lang.ClassNotFoundException:org.apache.spark.Logging
位于java.net.URLClassLoader.findClass（URLClassLoader.java:381）
位于java.lang.ClassLoader.loadClass（ClassLoader.java:424）
位于java.lang.ClassLoader.loadClass（ClassLoader.java:357）
... 25多
18年10月17日02:45:01信息SparkContext：从关机挂钩调用stop（）
2018年10月17日02:45:01信息SparkUI:已在停止Spark web UIhttp://192.168.150.105:4040
18年10月17日02:45:01信息上下文清洁剂：清洁的蓄能器0
17/10/18 02:45:01信息MapOutputRackerMasterEndpoint:MapOutputRackerMasterEndpoint已停止！
2018年10月17日02:45:01信息内存存储：内存存储已清除
2018年10月17日02:45:01信息区块管理器：区块管理器已停止
2018年10月17日02:45:01信息BlockManagerMaster:BlockManagerMaster已停止
2018年10月17日02:45:01信息OutputCommitCoordinator$OutputCommitCoordinatorEndpoint:OutputCommitCoordinator已停止！
17/10/18 02:45:01信息SparkContext:已成功停止SparkContext
17/10/18 02:45:01信息关闭挂钩管理器：已调用关闭挂钩
18年10月17日02:45:01信息关机挂钩管理器：删除目录/tmp/spark-ba22aed0-b62d-48b2-8796-12ae197a5b1c/pyspark-189ffe1d-160f-4b6c-8bb2-17a5b7dcb7
18年10月17日02:45:01信息关机HookManager:正在删除目录/tmp/spark-ba22aed0-b62d-48b2-8796-12ae197a5b1c

---

有什么想法吗？？？

看起来您正试图将spark 2.X与spark 1.5中的库一起使用

修复通过有效库版本的

--packages

选项。您可以直接从获取可能的版本