Amazon web services 消防软管-仅从流中复制特定数据

我目前正在使用Amazon Kinesis Firehose将分析数据转储到红移数据库表中。随着时间的推移，这个表变得非常大，查询也变得越来越慢

为了加快速度，我想设置多个Firehope，并根据json文档的内容区分COPY命令

例如，如果我有两个json文档，如下所示：

  tableName: 'abc',
  data: 'some string of data'
}

{
  tableName: 'xyz',
  data: 'some string of data'
}

我会安装两根消防水管。消防软管abc将在表

abc

中运行复制命令，消防软管xyz将在表

xyz

中运行复制命令。但是，它们应该根据json中指定的

tableName

忽略彼此的数据。例如，如果

xyz

正在复制数据，并且json具有

tableName:'abc'

，它应该忽略该文档

我的问题是，这是可能的，还是有人有经验解决红移表增长到大量数据并减慢查询速度的问题？

您可以创建一个函数，允许您引入Lambda函数，以便在数据到达目的地之前对其执行转换/过滤

它使用S3作为目标，但您应该能够使用与红移相同的方法作为目标。

您可以创建一个，允许您引入Lambda函数，在数据到达目标之前对其执行转换/过滤

它使用S3作为目的地，但您应该能够使用相同的方法，将红移作为目的地