Hadoop s3n/s3a如何管理文件？

我一直在使用Kafka Connect等服务将拼花文件持久化到S3。我对HDFS或Hadoop不是很熟悉，但看起来这些服务通常会在批量写入s3之前将临时文件写入本地内存或磁盘。s3n/s3a文件系统是否在本地虚拟化HDFS样式的文件系统，然后按配置的间隔推送，或者对s3n/s3a的写入和对s3的写入之间是否存在一对一的对应关系

---

我不完全确定我问的问题是否正确。任何指导都将不胜感激。

在您关闭输出流之前，他们一直将您写入本地磁盘的所有数据保存到本地磁盘，此时上传可能会很慢。这意味着您必须拥有与计划创建的最大对象一样多的临时空间

Hadoop 2.8有一个快速上传流，在文件写入时以5+MB的块上传文件，然后在最后关闭时使其在对象存储中可见。当在一个流中生成大量数据时，速度会明显加快。这也避免了需要如此多的磁盘空间