Warning: file_get_contents(/data/phpspider/zhask/data//catemap/5/google-sheets/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon web services Kinesis消防软管是Kinesis Streams的替代品吗?_Amazon Web Services_Streaming_Amazon Kinesis_Amazon Kinesis Firehose - Fatal编程技术网

Amazon web services Kinesis消防软管是Kinesis Streams的替代品吗?

Amazon web services Kinesis消防软管是Kinesis Streams的替代品吗?,amazon-web-services,streaming,amazon-kinesis,amazon-kinesis-firehose,Amazon Web Services,Streaming,Amazon Kinesis,Amazon Kinesis Firehose,Kinesis Firehose以及Kinesis Streams用于根据AWS博客中提到的详细信息加载流数据。对于消防软管,没有碎片或维护的概念。在这种情况下,Kinesis Firehose是否是Kinesis Streams的替代品?Kinesis Firehose不是Kinesis Streams的替代品。尽管存在多个使用案例,但Kinesis Firehose在推出后已接管 Kinesis Streams用于缓冲来自生产者的流数据,并将其流到定制应用程序中进行数据处理和分析,这些应用程

Kinesis Firehose以及Kinesis Streams用于根据AWS博客中提到的详细信息加载流数据。对于消防软管,没有碎片或维护的概念。在这种情况下,Kinesis Firehose是否是Kinesis Streams的替代品?

Kinesis Firehose不是Kinesis Streams的替代品。尽管存在多个使用案例,但Kinesis Firehose在推出后已接管

Kinesis Streams用于缓冲来自生产者的流数据,并将其流到定制应用程序中进行数据处理和分析,这些应用程序将使用临时缓冲的流数据

数据生产者将数据推送到Kinesis Streams->应用程序从流中读取数据并进行处理。

Kinesis Firehose用于捕获流式数据并将其加载到其他Amazon服务中,如S3和Redshift,以便以后进行分析

数据生产者将数据推送到Kinesis Firehose->使用Lambda进行数据转换->存储在S3或红移中。


这两种方法也可以结合使用,其中,Kinesis Streams可以将数据流式传输到Kinesis Firehose,以便在处理后可以将其持久化。

Amazon Kinesis Firehose是创建流的一种简单方法,其中数据被发送到:

  • 亚马逊S3
  • 亚马逊红移
  • 亚马逊弹力织物
您还可以创建一个Lambda函数,该函数可以在通过的过程中操作数据


如果上述各项满足您的需要,那么消防软管可以被视为运动流的替代品。但是,Kinesis Streams提供了更大的灵活性,因此它不是一个精确的替代品。

选择使用哪种服务时需要考虑的是每个解决方案的限制和可扩展性。 AWS消防软管的固定限制为5mb/秒或5000 rec/秒(详细信息),但可以通过请求表格联系AWS来增加该限制。 另一方面,可以通过增加每个流的碎片数(默认情况下最多)轻松缩放AWS运动。这里的主要问题是,每个碎片都有自己的成本,您只能通过将当前碎片数量增加一倍来放大或缩小


如上所述,这些服务有不同的用途,但您可以单独使用,也可以根据需要将它们组合起来。这里的主要优势是,运动流可以被许多消费者消费,也可以被许多生产者喂养。另一方面,Firehose流充当其他数据源(如Kinesis流)的消费者,只能将数据输出到一个目的地(S3、Redshit、Elasticsearch、Splunk)。

不确定如果Kinesis Firehose没有数据持久性,它将如何替换,除非您的意思是不需要数据持久性,或者这可能是一个成本问题,否则您的选择将是在数据进入时立即分析该数据,即Kinesis Firehose,并最终将其存储在S3或ElasticSearch集群中。

不,只是出于不同的目的

使用Kinesis Streams,您可以使用Kinesis Producer库构建应用程序,将数据放入流中,然后使用使用Kinesis客户端库的应用程序对其进行处理,并使用Kinesis Connector库将处理后的数据发送到S3、Redshift、DynamoDB或ElasticSearch

使用Kinesis Firehose,创建交付流并将数据直接发送到S3、Redshift或ElasticSearch(使用Kinesis代理或API)并将其存储在这些服务中会更简单

另一方面,Kinesis Streams可以存储数据长达7天

如果您想对流数据进行一些自定义处理,可以使用Kinesis Streams。使用Kinesis Firehose,您只需将其摄入S3、红移、DynamoDB或ElasticSearch