Amazon s3 移动文件>；使用数据管道向AWS S3提供5千兆字节

我们遇到了由Java代码生成的文件的问题，这些文件在本地编写，然后通过数据管道复制到S3。错误涉及文件大小

我本以为如果需要多部分上传，那么管道会解决这个问题。我想知道是否有办法配置管道，使其确实使用多部分上传。因为除此之外，对于S3不可知的当前Java代码必须直接写入S3，或者必须执行以前的操作，然后使用多部分上传——事实上，我认为代码将直接写入S3，而不必担心上传

---

有人能告诉我管道是否可以使用多部分上传，如果不能，您能否建议正确的方法是让程序直接写入S3，还是继续写入本地存储，然后在同一管道中调用一个单独的程序来执行多部分上载？Data Pipeline CopyActivity不支持大于4GB的文件

这低于S3为每个文件部件设置的5GB限制

您需要编写自己的脚本来包装AWS CLI或S3cmd（旧版本）。此脚本可以作为shell活动执行

---

直接写入S3可能是一个问题，因为S3不支持追加操作-除非您可以在一个文件夹中写入多个较小的对象。

基于AWS支持，答案是5 gig文件确实不能直接上载到S3。目前还没有办法让数据管道说，“你正试图上传一个大文件，所以我会做一些特殊的事情来处理这个问题。”结果就是失败了

这在将来可能会改变