Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon ec2 无法从本地计算机向AWS EC2上部署的合流Kafka生成事件_Amazon Ec2_Apache Kafka - Fatal编程技术网

Amazon ec2 无法从本地计算机向AWS EC2上部署的合流Kafka生成事件

Amazon ec2 无法从本地计算机向AWS EC2上部署的合流Kafka生成事件,amazon-ec2,apache-kafka,Amazon Ec2,Apache Kafka,我正在尝试从外部客户端(我的笔记本电脑)连接到我在ec2机器上运行的Kafka集群中的代理。当我尝试从本地计算机连接时,出现以下错误: $ ./kafka-console-producer --broker-list AWS.PRIV.ATE.IP:9092 --topic test >hi >[2018-09-20 13:28:53,952] ERROR Error when sending message to topic test with key: null, value:

我正在尝试从外部客户端(我的笔记本电脑)连接到我在ec2机器上运行的Kafka集群中的代理。当我尝试从本地计算机连接时,出现以下错误:

$ ./kafka-console-producer --broker-list AWS.PRIV.ATE.IP:9092 --topic test
>hi
>[2018-09-20 13:28:53,952] ERROR Error when sending message to topic test with key: null, value: 2 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback)
org.apache.kafka.common.errors.TimeoutException: Expiring 1 record(s) for test-0: 1519 ms has passed since batch creation plus linger time
该主题存在,因为如果我运行(从本地计算机)

集群配置来自Confluent的AWS快速启动模板:我正在运行开源版本

这三个代理ec2实例对我的本地计算机可见,我通过停止Kafka代理,在端口9092上启动一个简单的HTTP服务器,并使用ec2实例的内部IP地址成功地
curl
ing该服务器来验证

如果我
ssh
到一个代理实例中,我就可以在集群中成功地生成和使用消息。我对模板提供的现成配置所做的唯一更新是在每台机器上更改
listeners=PLAINTEXT://ec2 AWS PUB LIC IP.compute-1.amazonaws.com:9092
in
server.properties
,然后重新启动kafka服务器


如有必要,我可以提供更多配置或调试信息。我相信这个问题与IP地址的可发现性/可见性有关,但我不完全确定是什么。

您需要设置
广告。侦听器也要设置

有关详细信息,请参阅

$ ./kafka-topics --list --zookeeper AWS.PRIV.ATE.IP:2181
__confluent.support.metrics
__consumer_offsets
_schemas
connect-configs
connect-offsets
connect-status
test