Kafka python API支持流处理吗?

Kafka python API支持流处理吗?,python,apache-kafka,apache-kafka-streams,confluent-platform,kafka-python,Python,Apache Kafka,Apache Kafka Streams,Confluent Platform,Kafka Python,我在Java中使用了Kafka流。我在python中找不到类似的API。 Apache Kafka支持python中的流处理吗?Kafka Streams仅作为JVM库提供,但至少有两种python实现 (似乎没有得到维持) 理论上,您可以尝试使用Jython或Py4j来支持JVM实现,但如果不是这样,您就只能使用consumer/producer或调用KSQL REST接口 除了这些选项之外,您还可以尝试Apache Beam、Flink或Spark,但它们都需要外部群集调度程序进行扩展

我在Java中使用了Kafka流。我在python中找不到类似的API。
Apache Kafka支持python中的流处理吗?

Kafka Streams仅作为JVM库提供,但至少有两种python实现

  • (似乎没有得到维持)
理论上,您可以尝试使用Jython或Py4j来支持JVM实现,但如果不是这样,您就只能使用consumer/producer或调用KSQL REST接口


除了这些选项之外,您还可以尝试Apache Beam、Flink或Spark,但它们都需要外部群集调度程序进行扩展。

如果您使用的是Apache Spark,则可以使用Kafka作为生产者和消费者。不需要依赖像浮士德这样的第三方库

要使用Spark中的Kafka数据流,请使用

请记住,在使用
spark submit
时,必须附加
spark sql kafka
包:

spark提交——包org.apache.spark:spark-sql-kafka-0-10_2.12:3.0.1 StructuredStreaming.py

此解决方案已使用Spark 3.0.1Kafka 2.7.0进行了测试


资源也很有用。

有——这不是ApacheKafka的一部分。我不知道它有多稳定,是否适合生产。还有一些例子或教程可以用于faust streaming?KSQL是用Java实现的,所以我不确定我是否理解question@circket_007,KSQL在python中不可用。这就是你的意思。我说的对吗?@Maha KSQL服务器有一个restapi,所以你可以从任何语言提交查询