Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/amazon-web-services/12.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon web services AWS lambda解决合流云延迟问题_Amazon Web Services_Apache Kafka_Confluent Platform_Confluent Kafka Python_Confluent Cloud - Fatal编程技术网

Amazon web services AWS lambda解决合流云延迟问题

Amazon web services AWS lambda解决合流云延迟问题,amazon-web-services,apache-kafka,confluent-platform,confluent-kafka-python,confluent-cloud,Amazon Web Services,Apache Kafka,Confluent Platform,Confluent Kafka Python,Confluent Cloud,我目前正在Confluent cloud上使用集群的基本版本,我只有一个主题,有9个分区。我有一个RESTAPI,它是使用AWS lambda服务设置的,该服务将消息发布到Kafka。 目前我正在以每秒5k-10k请求的速度对管道进行压力测试,我发现发布1kb大小的记录的延迟高达20-30秒。对于单个请求,通常为300毫秒。 我添加了生产者配置,如linger.ms-500 ms和batch.size到100kb。我看到一些改进(每个请求15-20秒),但我觉得还是太高了。 是否有我遗漏的东西,

我目前正在Confluent cloud上使用集群的基本版本,我只有一个主题,有9个分区。我有一个RESTAPI,它是使用AWS lambda服务设置的,该服务将消息发布到Kafka。 目前我正在以每秒5k-10k请求的速度对管道进行压力测试,我发现发布1kb大小的记录的延迟高达20-30秒。对于单个请求,通常为300毫秒。 我添加了生产者配置,如linger.ms-500 ms和batch.size到100kb。我看到一些改进(每个请求15-20秒),但我觉得还是太高了。
是否有我遗漏的东西,或者是融合云上的基本集群?群集上的所有配置都是默认配置。

发现问题在于API请求被限制。正如Chris Chen所提到的,由于AWS SDK的指数退避策略,平均时间迅速增加。请求AWS增加并发执行。我确信它应该解决这个问题。

感觉API请求被节流了。如果我从lambda函数中考虑度量,它表明对于很少的请求花费了30秒。我认为如果API请求被限制,它将不会显示在lambda度量中。如何启动REST API请求?您使用的是什么SDK或软件包?当先前的请求被阻止时,AWS SDK采用指数退避策略进行重试。每当查看产品时,REST API都会通过用户设备启动。最近意识到API请求被限制了。相反,如果我使用Kafka rest代理api,性能会更好。那么这个问题解决了吗?原因是API请求已被阻止?