Amazon s3 ApacheFlink,S3作为源,S3作为接收器
是否可以在事件通过ApacheFlink到达S3源存储桶时读取事件,然后处理并将其沉回其他S3存储桶?是否有专门的连接器,或者我必须使用ApacheFlink中提到的可用读取/保存示例? 在这种情况下,检查点是如何发生的,flink是自动跟踪从S3源代码桶读取的内容,还是需要构建自定义代码。flink是否也保证在S3源代码情况下只进行一次处理。在flink 1.11中,性能有了很大提高;对于这个用例来说,这将是一个极好的解决方案 有了DataStream API,您可以使用Amazon s3 ApacheFlink,S3作为源,S3作为接收器,amazon-s3,event-handling,streaming,apache-flink,Amazon S3,Event Handling,Streaming,Apache Flink,是否可以在事件通过ApacheFlink到达S3源存储桶时读取事件,然后处理并将其沉回其他S3存储桶?是否有专门的连接器,或者我必须使用ApacheFlink中提到的可用读取/保存示例? 在这种情况下,检查点是如何发生的,flink是自动跟踪从S3源代码桶读取的内容,还是需要构建自定义代码。flink是否也保证在S3源代码情况下只进行一次处理。在flink 1.11中,性能有了很大提高;对于这个用例来说,这将是一个极好的解决方案 有了DataStream API,您可以使用FileProcess
FileProcessingMode.PROCESS\u连续地
监视一个存储桶,并在新文件以原子方式移动到存储桶中时接收它们。Flink跟踪bucket最后一次修改的时间戳,并接收自该时间戳以来修改的所有子项——只执行一次(这些文件的读取偏移量包含在检查点中)。在Flink 1.11中,性能有了很大的改进;对于这个用例来说,这将是一个极好的解决方案
有了DataStream API,您可以使用
FileProcessingMode.PROCESS\u连续地
监视一个存储桶,并在新文件以原子方式移动到存储桶中时接收它们。Flink跟踪bucket最后一次修改的时间戳,并接收自该时间戳以来修改的所有子项——只执行一次(这些文件中的读取偏移量包含在检查点中)。使用env.readFile(format、localFsURI、FileProcessingMode.PROCESS\u CONTINUOUSLY、INTERVAL)有类似的例子吗对于S3://bucket/endpoint的格式和localFsURI,是否有使用env.readFile(format、localFsURI、FileProcessingMode.PROCESS、INTERVAL)作为S3://bucket/endpoint格式和localFsURI的示例?