Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon web services MSK主题作为事件源的AWS Lambda无法读取Kafka消息_Amazon Web Services_Apache Kafka_Aws Lambda_Apache Kafka Connect_Aws Msk - Fatal编程技术网

Amazon web services MSK主题作为事件源的AWS Lambda无法读取Kafka消息

Amazon web services MSK主题作为事件源的AWS Lambda无法读取Kafka消息,amazon-web-services,apache-kafka,aws-lambda,apache-kafka-connect,aws-msk,Amazon Web Services,Apache Kafka,Aws Lambda,Apache Kafka Connect,Aws Msk,我创建了一个AWS MSK群集,并通过在同一VPC中运行EC2生产者/消费者实例测试了设置。我使用同一VPC和子网创建了一个AWS lambda,其中MSK群集主题作为事件源。我的所有子网都是私有子网 群集设置工作正常,因为我已从EC2实例验证了相同的设置。lambda始终被禁用,错误为“上次处理结果:问题:连接错误。请检查事件源连接配置 我在下面的AWS博客中读到,我们需要在每个配置MSK群集的区域的公共子网中运行一个NAT网关,以确保连接。这是我需要尝试做的事情吗?我仍然无法理解在同一VPC

我创建了一个AWS MSK群集,并通过在同一VPC中运行EC2生产者/消费者实例测试了设置。我使用同一VPC和子网创建了一个AWS lambda,其中MSK群集主题作为事件源。我的所有子网都是私有子网

群集设置工作正常,因为我已从EC2实例验证了相同的设置。lambda始终被禁用,错误为“上次处理结果:问题:连接错误。请检查事件源连接配置

我在下面的AWS博客中读到,我们需要在每个配置MSK群集的区域的公共子网中运行一个NAT网关,以确保连接。这是我需要尝试做的事情吗?我仍然无法理解在同一VPC和子网中运行的EC2实例如何能够访问MSK群集而不是我的Lambda。是否可以有人帮忙吗


另一方面,我有多个Kafka主题,我需要从中使用数据并将它们接收到ElasticSearch群集。我可以选择在EC2中运行Kafka connect sink,还可以创建一个以MSK主题作为事件源的AWS lambda。我知道我可以在AWS lambda中配置多个MSK主题。有人建议哪一个方法很好?

您是否将Lambda功能部署在与MSK群集相同的子网/VPC中?

是的,我已在相同的VPC和子网中创建了MSK和Lambda Lamba安全组是否可以访问MSK?@herbertgoto需要什么来授予它访问权限?@CarlosMartinez Lambda必须位于同一VPC和路由内的子网中表应允许子网间通信。在MSK的SG中应允许Lambda的安全组。如果您设置了其他authN配置,则需要在Lambda端启用其他配置。