Google cloud platform Apache Beam将数据从Kafka流式传输到GCS Bucket（不使用pubsub）

我已经看过很多ApacheBeam的例子，其中您从PubSub读取数据并写入GCS bucket，但是有没有使用KafkaIO并将其写入GCS bucket的例子？ 我可以在哪里解析消息并根据消息内容将其放入适当的bucket中

例如

message = {type="type_x", some other attributes....}
message = {type="type_y", some other attributes....}

type_x --> goes to bucket x
type_y --> goes to bucket y

我的用例是将数据从Kafka流式传输到GCS bucket，因此，如果有人建议在GCP中使用更好的方法，也会受到欢迎

谢谢。 当做

---

Anant.

您可以看看这里的示例-

---

读取数据元素后，如果要基于特定数据值写入多个目的地，可以使用

TupleTagList

查看多个输出，其详细信息可在此处找到-

可用于将消息加载到GCS存储桶。Secor还能够解析传入的消息，并将它们放在同一个存储桶中的不同路径下。

谢谢@khalid-k，这看起来很有希望，我会看一看。