Apache kafka 在Cloudera数据平台CDP公共云中使用Nifi对Kafka进行读/写

Nifi和Kafka现在都可以在Cloudera数据平台CDP公共云中使用。Nifi擅长与任何人交谈，而卡夫卡是一种主流的信息总线，我只是想知道：

在CDP公共云中，从ApacheNIFI向Kafka生成/消费数据所需的最小步骤是什么 理想情况下，我会寻找在任何云环境下都能工作的步骤，例如AmazonAWS和MicrosoftAzure

---

我对遵循最佳实践并使用平台默认配置的答案感到满意，但如果有常见的替代方案，也欢迎使用。

未来将有多个可用的形状因素，因为现在我假设您的环境包含一个带有NiFi的数据中心，和1个卡夫卡数据中心。（如果两者都在同一个数据集线器上，答案仍然有效）

先决条件

• 具有NiFi和卡夫卡的数据中心
• 访问这些内容的权限（例如，添加处理器、创建卡夫卡主题）
• 了解您的工作负载用户名（Cdp管理控制台>单击您的姓名（左下）>单击配置文件）
• 您应该在同一位置设置工作负载密码

这些步骤允许您在CDP公共云中从NiFi到Kafka生成数据 除非另有说明，否则我将所有内容都保留为默认设置

在卡夫卡数据中心集群中：

收集代理的FQDN链接和使用的端口

• 如果您有Streams Messaging Manager：请转到brokers选项卡以查看FQDN和端口已经在一起
• 如果无法使用Streams Messaging Manager：请使用Kafka转到数据中心的“硬件”选项卡，获取相关节点的FQDN。（目前称为经纪人）。然后在每个端口后面添加：portnumber。默认端口是9093

以以下格式将链接组合在一起：FQDN:port，FQDN:port，FQDN:port现在应该是这样的：

broker1.abc:9093，broker2.abc:9093，broker3.abc:9093

在NiFi GUI中：

确保NiFi中有一些数据要生成，例如使用

GenerateFlowFile

处理器

选择要写入卡夫卡的相关处理器，例如

PublishKafka_2_0

，按如下方式进行配置：

• 背景
  • 自动终止关系：勾选成功和失败
• 性质
  • 卡夫卡经纪人：我们之前创建的组合列表
  • 安全协议：SASL_SSL
  • SASL机制：普通
  • SSL上下文服务：默认NiFi SSL上下文服务
  • 用户名：您的工作负载用户名（请参阅上述先决条件）
  • 密码：您的工作负载密码
  • 主题名称：丹尼斯
  • 使用事务：false
  • 最大元数据等待时间：30秒

将

GenerateFlowFile

处理器连接到

PublishKafka_2_0

处理器并启动流程

这些是最基本的步骤，可以在中找到更广泛的解释。请注意，显式创建主题是最佳实践（此示例利用了Kafka的功能，该功能可在生成时自动创建主题）

这些步骤允许您在CDP公共云中使用来自Kafka的NiFi数据 一个很好的检查数据是否被写入卡夫卡的方法是再次使用它

在NiFi GUI中：

创建卡夫卡消费处理器，例如

consumerkafka_2_0

，按如下方式配置其属性：

• Kafka代理、安全协议、SASL机制、SSL上下文服务、用户名、密码、主题名称：与上面的生产者示例中的内容相同
• 消费群体：1
• 偏移重置：最早

创建另一个处理器或漏斗将消息发送到，然后启动消费处理器

也就是说，在30秒内，你应该看到你发布给卡夫卡的数据现在又流入了NiFi

---

---

充分披露：我是Nifi背后的驱动力Cloudera的员工。

未来将有多种可用的外形因素，现在我假设您的环境包含一个带有Nifi的数据中心和一个带有Kafka的数据中心。（如果两者都在同一个数据集线器上，答案仍然有效）

先决条件

• 具有NiFi和卡夫卡的数据中心
• 访问这些内容的权限（例如，添加处理器、创建卡夫卡主题）
• 了解您的工作负载用户名（Cdp管理控制台>单击您的姓名（左下）>单击配置文件）
• 您应该在同一位置设置工作负载密码

这些步骤允许您在CDP公共云中从NiFi到Kafka生成数据 除非另有说明，否则我将所有内容都保留为默认设置

在卡夫卡数据中心集群中：

收集代理的FQDN链接和使用的端口

• 如果您有Streams Messaging Manager：请转到brokers选项卡以查看FQDN和端口已经在一起
• 如果无法使用Streams Messaging Manager：请使用Kafka转到数据中心的“硬件”选项卡，获取相关节点的FQDN。（目前称为经纪人）。然后在每个端口后面添加：portnumber。默认端口是9093

以以下格式将链接组合在一起：FQDN:port，FQDN:port，FQDN:port现在应该是这样的：

broker1.abc:9093，broker2.abc:9093，broker3.abc:9093

在NiFi GUI中：

确保NiFi中有一些数据要生成，例如使用

GenerateFlowFile

处理器

选择要写入卡夫卡的相关处理器，例如

PublishKafka_2_0

，按如下方式进行配置：

• 背景
  • 自动终止关系：勾选成功和失败
• 性质
  • 卡夫卡经纪人：