Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/amazon-web-services/12.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon web services 基于碎片的AWS运动信息批处理_Amazon Web Services_Sharding_Amazon Kinesis_Batching - Fatal编程技术网

Amazon web services 基于碎片的AWS运动信息批处理

Amazon web services 基于碎片的AWS运动信息批处理,amazon-web-services,sharding,amazon-kinesis,batching,Amazon Web Services,Sharding,Amazon Kinesis,Batching,我有两种类型的活动,我计划在运动中进行。事件A的频率很高,因此我需要批量大小为100,最大记录时间为1分钟。 事件B不太常见,我希望将批量大小保持为1,因为我希望尽快处理事件。 我计划让这两个项目保持相同的运动,但在不同的碎片上。是否有一种基于碎片配置批大小的方法? 我正在使用Kinesis lambda触发器来触发lambda。否,无法定义每个碎片的批量大小批次大小配置在流级别定义 处理这种情况有两种可能: 您可以使用两个lambda函数作为使用者,每个函数具有不同的批处理大小,并且可以根据消

我有两种类型的活动,我计划在运动中进行。事件A的频率很高,因此我需要批量大小为100,最大记录时间为1分钟。 事件B不太常见,我希望将批量大小保持为1,因为我希望尽快处理事件。 我计划让这两个项目保持相同的运动,但在不同的碎片上。是否有一种基于碎片配置批大小的方法?
我正在使用Kinesis lambda触发器来触发lambda。

否,无法定义每个碎片的批量大小<代码>批次大小配置在流级别定义

处理这种情况有两种可能:

  • 您可以使用两个lambda函数作为使用者,每个函数具有不同的批处理大小,并且可以根据消息键过滤消息中的高频/低频数据

  • 将数据拆分为两个独立的流,并向每个流添加一个lambda使用者