Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/amazon-s3/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon s3 移动文件>;使用数据管道向AWS S3提供5千兆字节_Amazon S3_Amazon Data Pipeline - Fatal编程技术网

Amazon s3 移动文件>;使用数据管道向AWS S3提供5千兆字节

Amazon s3 移动文件>;使用数据管道向AWS S3提供5千兆字节,amazon-s3,amazon-data-pipeline,Amazon S3,Amazon Data Pipeline,我们遇到了由Java代码生成的文件的问题,这些文件在本地编写,然后通过数据管道复制到S3。错误涉及文件大小 我本以为如果需要多部分上传,那么管道会解决这个问题。我想知道是否有办法配置管道,使其确实使用多部分上传。因为除此之外,对于S3不可知的当前Java代码必须直接写入S3,或者必须执行以前的操作,然后使用多部分上传——事实上,我认为代码将直接写入S3,而不必担心上传 有人能告诉我管道是否可以使用多部分上传,如果不能,您能否建议正确的方法是让程序直接写入S3,还是继续写入本地存储,然后在同一管道

我们遇到了由Java代码生成的文件的问题,这些文件在本地编写,然后通过数据管道复制到S3。错误涉及文件大小

我本以为如果需要多部分上传,那么管道会解决这个问题。我想知道是否有办法配置管道,使其确实使用多部分上传。因为除此之外,对于S3不可知的当前Java代码必须直接写入S3,或者必须执行以前的操作,然后使用多部分上传——事实上,我认为代码将直接写入S3,而不必担心上传


有人能告诉我管道是否可以使用多部分上传,如果不能,您能否建议正确的方法是让程序直接写入S3,还是继续写入本地存储,然后在同一管道中调用一个单独的程序来执行多部分上载?Data Pipeline CopyActivity不支持大于4GB的文件

这低于S3为每个文件部件设置的5GB限制

您需要编写自己的脚本来包装AWS CLI或S3cmd(旧版本)。此脚本可以作为shell活动执行


直接写入S3可能是一个问题,因为S3不支持追加操作-除非您可以在一个文件夹中写入多个较小的对象。

基于AWS支持,答案是5 gig文件确实不能直接上载到S3。目前还没有办法让数据管道说,“你正试图上传一个大文件,所以我会做一些特殊的事情来处理这个问题。”结果就是失败了

这在将来可能会改变