Amazon s3 PigStorage如何为S3工作？

我想知道Pig中的PigStorage如何将数据存储到S3？它是否将输出保存到HDFS，然后将其复制？或者将每个减速机输出保存到每个减速机的本地目录，然后将它们复制到S3？我想这不可能是流媒体，因为S3只支持放置文件或目录

我的理解是，每个reducer在本地写入其输出，然后将输出复制到S3

正如您所正确指出的，由于S3不支持流式处理，因此reducer只能在完成处理后复制其输出