Google cloud platform 如何从内部NiFi工作流发布GCP pubsub主题上的实时消息

上下文：

我有多个本地应用程序，它们在Enterprise Kafka和Solace队列上发布实时消息。消息的数量和速度都相当可观。这些消息由消息处理模块使用，并将其存储到本地托管的实时数据存储中。我们计划在GCP上移动消息处理模块和实时数据存储

问题陈述：

随着消息处理模块和实时数据存储被移动到GCP，需要将消息从“内部Kafka主题和Solace队列发布/推送到GCP Pubsub主题”

为此，我计划在内部NiFi集群上编写一个NiFi工作流。 如果有人已经做过类似的尝试，与我们分享想法，那就太好了

如果需要其他信息，请告知

我找不到类似的问题已经张贴在这里，如果它是善意的一点

---

提前谢谢

我曾与卡夫卡和GCP PubSub进行过短暂的合作。我与Solace的合作不多，但据我所知，您可能需要对

nifi hms bundle

进行一些代码更改，以自定义JMS控制器服务，使其具有标准JMS JNDI连接工厂，之后，您可以利用NiFi的

ConsumeJMS

和

PublishJMS

处理器来读取/写入Solace队列

一般来说，你的流程是这样的：

• 您已将

  consumerkafka

  配置为正确的主题，并且

  consumerjms

  配置为使用自定义

  JNDIConnectionFactoryProvider

  而不是内置的

  JMSConnectionFactoryProvider

• 连接这两个处理器的

  success

  输出，并将其连接到

  publishgcppubsubsub

我建议使用基于记录的

ConsumerKafka

处理器。选择Matching Kafka API版本的处理器

---

非常感谢西瓦帕拉桑娜！我将尝试此选项，并在进一步查询时通知您。顺便说一句，我想知道您是否做过任何性能基准测试，例如延迟，以及在PROD env中设置安全连接的任何挑战。再次感谢！