Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/amazon-s3/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon s3 ApacheFlink,S3作为源,S3作为接收器_Amazon S3_Event Handling_Streaming_Apache Flink - Fatal编程技术网

Amazon s3 ApacheFlink,S3作为源,S3作为接收器

Amazon s3 ApacheFlink,S3作为源,S3作为接收器,amazon-s3,event-handling,streaming,apache-flink,Amazon S3,Event Handling,Streaming,Apache Flink,是否可以在事件通过ApacheFlink到达S3源存储桶时读取事件,然后处理并将其沉回其他S3存储桶?是否有专门的连接器,或者我必须使用ApacheFlink中提到的可用读取/保存示例? 在这种情况下,检查点是如何发生的,flink是自动跟踪从S3源代码桶读取的内容,还是需要构建自定义代码。flink是否也保证在S3源代码情况下只进行一次处理。在flink 1.11中,性能有了很大提高;对于这个用例来说,这将是一个极好的解决方案 有了DataStream API,您可以使用FileProcess

是否可以在事件通过ApacheFlink到达S3源存储桶时读取事件,然后处理并将其沉回其他S3存储桶?是否有专门的连接器,或者我必须使用ApacheFlink中提到的可用读取/保存示例? 在这种情况下,检查点是如何发生的,flink是自动跟踪从S3源代码桶读取的内容,还是需要构建自定义代码。flink是否也保证在S3源代码情况下只进行一次处理。

在flink 1.11中,性能有了很大提高;对于这个用例来说,这将是一个极好的解决方案

有了DataStream API,您可以使用
FileProcessingMode.PROCESS\u连续地
监视一个存储桶,并在新文件以原子方式移动到存储桶中时接收它们。Flink跟踪bucket最后一次修改的时间戳,并接收自该时间戳以来修改的所有子项——只执行一次(这些文件的读取偏移量包含在检查点中)。

在Flink 1.11中,性能有了很大的改进;对于这个用例来说,这将是一个极好的解决方案


有了DataStream API,您可以使用
FileProcessingMode.PROCESS\u连续地
监视一个存储桶,并在新文件以原子方式移动到存储桶中时接收它们。Flink跟踪bucket最后一次修改的时间戳,并接收自该时间戳以来修改的所有子项——只执行一次(这些文件中的读取偏移量包含在检查点中)。

使用env.readFile(format、localFsURI、FileProcessingMode.PROCESS\u CONTINUOUSLY、INTERVAL)有类似的例子吗对于S3://bucket/endpoint的格式和localFsURI,是否有使用env.readFile(format、localFsURI、FileProcessingMode.PROCESS、INTERVAL)作为S3://bucket/endpoint格式和localFsURI的示例?