Google cloud platform GCP数据流中的流式数据处理支持哪些数据源？

在阅读了大量关于数据流的内容后，我发现只有PubSub&bigquery作为数据源支持GCP数据流中的流数据处理

支持哪些其他数据源

---

我可以使用数据流完成所有流任务吗？这些任务可以使用其他ETL工具（如Spark或Kafka）完成吗？

Apache Beam提供可扩展的支持，为任何类型的流源构建IO。SDK中有用于、Kinesis、MQTT的实现

---

考虑到Beam中传输、格式和下游捆绑体系结构的分离，只要底层格式是可序列化的，您就应该能够与任何类型的流源进行交互。

感谢Eric Schmidt，所有这些转换都可以通过Python sdk实现吗？历史上，Python只支持PubSub，但目前正在努力使用新的跨语言功能包装所有Java连接器（请参阅），例如，最新版本中支持Kafka:。Python还支持转换的完整模型（ParDo、窗口、分组、状态和计时器等）。