Kafka python API支持流处理吗?
我在Java中使用了Kafka流。我在python中找不到类似的API。Kafka python API支持流处理吗?,python,apache-kafka,apache-kafka-streams,confluent-platform,kafka-python,Python,Apache Kafka,Apache Kafka Streams,Confluent Platform,Kafka Python,我在Java中使用了Kafka流。我在python中找不到类似的API。 Apache Kafka支持python中的流处理吗?Kafka Streams仅作为JVM库提供,但至少有两种python实现 (似乎没有得到维持) 理论上,您可以尝试使用Jython或Py4j来支持JVM实现,但如果不是这样,您就只能使用consumer/producer或调用KSQL REST接口 除了这些选项之外,您还可以尝试Apache Beam、Flink或Spark,但它们都需要外部群集调度程序进行扩展
Apache Kafka支持python中的流处理吗?Kafka Streams仅作为JVM库提供,但至少有两种python实现
- (似乎没有得到维持)
除了这些选项之外,您还可以尝试Apache Beam、Flink或Spark,但它们都需要外部群集调度程序进行扩展。如果您使用的是Apache Spark,则可以使用Kafka作为生产者和消费者。不需要依赖像浮士德这样的第三方库 要使用Spark中的Kafka数据流,请使用 请记住,在使用
spark submit
时,必须附加spark sql kafka
包:
spark提交——包org.apache.spark:spark-sql-kafka-0-10_2.12:3.0.1 StructuredStreaming.py
此解决方案已使用Spark 3.0.1和Kafka 2.7.0进行了测试
资源也很有用。有——这不是ApacheKafka的一部分。我不知道它有多稳定,是否适合生产。还有一些例子或教程可以用于faust streaming?KSQL是用Java实现的,所以我不确定我是否理解question@circket_007,KSQL在python中不可用。这就是你的意思。我说的对吗?@Maha KSQL服务器有一个restapi,所以你可以从任何语言提交查询