Apache kafka 在谷歌云上运行卡夫卡消费者

Apache kafka 在谷歌云上运行卡夫卡消费者,apache-kafka,google-kubernetes-engine,google-cloud-run,Apache Kafka,Google Kubernetes Engine,Google Cloud Run,我有一个大型应用程序,其中包含许多通过Kafka进行通信的微服务。现在它正在GKE上工作 我们正在将Kafka迁移到confluent.io,并计划将一些微服务迁移到Google Cloud Run(完全管理) 但是,。。。看起来Google Cloud Run(完全管理)不支持监听卡夫卡事件,对吗?有什么计划支持它吗?有解决办法吗 编辑: 这一点由andres-s分享,表明您可以实现自己的云运行,并将其连接到Anthos中的confluent kafka 如果在完全管理的谷歌云运行服务中有这个

我有一个大型应用程序,其中包含许多通过Kafka进行通信的微服务。现在它正在GKE上工作

我们正在将Kafka迁移到confluent.io,并计划将一些微服务迁移到Google Cloud Run(完全管理)

但是,。。。看起来Google Cloud Run(完全管理)不支持监听卡夫卡事件,对吗?有什么计划支持它吗?有解决办法吗

编辑:

这一点由andres-s分享,表明您可以实现自己的云运行,并将其连接到Anthos中的confluent kafka

如果在完全管理的谷歌云运行服务中有这个选项,那就太好了


但与此同时,问题是:是否有可能在一个常规的GKE集群(而不是Anthos)中实现它?

谷歌云有一个完全通过SaaS合作伙伴Confluent进行管理,该合作伙伴使用Cloud Run for Anthos(与GKE合作)


Google Pub/Sub是Kafka的GCP替代品,但通过它,您可以在GCP上使用Kafka,Cloud Run只是一种主动服务。它是无状态的,当它接收到事件时,它会向上旋转。因此,它无法真正订阅主题并拉取事件

Knative事件在本质上更具状态性,处理拉拽,随后触发运行Knative服务的吊舱。理想情况下,它们一起使用可以为您提供完整的无服务器体验


好消息是,有一个“黑客”。你可以这样做。如果你喜欢冒险,也不介意OSS软件,那么serverlesseventing.com上有很多Knative Eventing教程。

AFAIK,Cloud Run Full managed与Knative serving API兼容,而不是与Eventing兼容。所以,如果没有包装器/翻译器,你无法链接这两个世界,。。。没错,它是使用Knative服务API构建的。我很困惑,我以为它在使用Knative事件API。我将更新这个问题。Anthos正在你的案例中进行营销!!Anthos的意思是“在一个地方管理多个集群(GKE、EKS、AKS、on prem等)”。如果你只是简单地使用GKE,那么Anthos的贴纸就是营销!我计划将卡夫卡从我的GKE集群转移到Confluent,但这并不能解决我的问题。我想使用完全管理的谷歌云运行服务来运行我的微服务。无论如何,谢谢分享这篇文章。你知道它是否能在常规的GKE集群(而不是Anthos)中工作吗?如果没有Anthos,它将无法直接工作,也许Jason Jay Smith建议的解决方法会有所帮助谢谢你的回答。我了解从Kafka到Pub/Sub的代理部分,我了解Pub/Sub可以通过调用它们公开的HTTP端点触发我的微服务。但是问题是,现在我的微服务不公开HTTP端点,但它们听卡夫卡主题。为了实现您提出的解决方案,我需要修改我的微服务以公开HTTP端点,而不是听Kafka主题。我说得对吗?或者我应该让他们直接听PubSub吗?您需要将它公开给HTTP,但不一定要公开给全世界,或者可以通过要求身份验证来保护它。但现在,云运行确实需要HTTP/S暴露。好的,谢谢你的澄清:)。。。另外,我注意到你是这篇文章的作者。。。这就是我将尝试的方法。谢谢