Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
如何在pyspark中安装kafka模块_Pyspark_Apache Kafka_Spark Streaming - Fatal编程技术网

如何在pyspark中安装kafka模块

如何在pyspark中安装kafka模块,pyspark,apache-kafka,spark-streaming,Pyspark,Apache Kafka,Spark Streaming,当导入KafkaUtils时,我遇到问题: 没有名为“pyspark.streaming.kafka”的模块,但我不知道如何安装kafka模块 我使用的是python 3.6.8、spark 2.2.0和kafka_2.12-2.5.0,事实证明,KafkaUtils已经被弃用,取而代之的是spark结构化流媒体。这意味着你有两条前进的道路: 重新设计应用程序,改用结构化流媒体(请参阅以获取入门资料) 将Spark的版本降级为仍然包含KafkaUtils作为发行版一部分的版本(您会发现Kafk

当导入KafkaUtils时,我遇到问题: 没有名为“pyspark.streaming.kafka”的模块,但我不知道如何安装kafka模块


我使用的是python 3.6.8、spark 2.2.0和kafka_2.12-2.5.0,事实证明,KafkaUtils已经被弃用,取而代之的是spark结构化流媒体。这意味着你有两条前进的道路:

  • 重新设计应用程序,改用结构化流媒体(请参阅以获取入门资料)

  • 将Spark的版本降级为仍然包含KafkaUtils作为发行版一部分的版本(您会发现KafkaUtils不需要单独安装)


  • 您对使用Spark流媒体有严格要求吗?为什么不使用Spark结构化流媒体:?