Apache spark HDInsight上的PySpark Kafka流媒体-类型错误：'；JavaPackage'；对象不可调用

这是一个老问题，但没有一个答案解决了我的问题。我将Azure HDInsight用于Spark群集和Kafka message broker的事件中心

例如，我使用了完全相同的方法，如，但我仍然得到错误

'JavaPackage' object is not callable
Traceback (most recent call last):
  File "/usr/hdp/current/spark2-client/python/pyspark/streaming/kafka.py", line 78, in createStream
    helper = KafkaUtils._get_helper(ssc._sc)
  File "/usr/hdp/current/spark2-client/python/pyspark/streaming/kafka.py", line 217, in _get_helper
    return sc._jvm.org.apache.spark.streaming.kafka.KafkaUtilsPythonHelper()
TypeError: 'JavaPackage' object is not callable

我的代码是：

import os
sparkVersion = '2.3.2'  # update this accordingly 
os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages org.apache.spark:spark-streaming-kafka-0-8:{} pyspark-shell'.format(sparkVersion) 

# import Spark core 
from pyspark.sql import SparkSession 
from pyspark.streaming import StreamingContext
# import extra packages 
from pyspark.streaming.kafka import KafkaUtils

ssc = StreamingContext(sc, 60)
kafkaStream = KafkaUtils.createStream(ssc, 'hellos.servicebus.windows.net:9093', 'test-group', {'twitter':1})

这是我的spark版本：

sc.version
'2.3.2.2.6.5.3026-7'

---

Python的哪个版本？@AlexOtt它是Python 3.5，这是今天HDInsight中默认的Python 3安装。看起来您得到的kafka-08包的源代码中有错误。。。我建议你改用结构化流媒体