Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/amazon-s3/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python AWS S3连续字节流上传?_Python_Amazon S3 - Fatal编程技术网

Python AWS S3连续字节流上传?

Python AWS S3连续字节流上传?,python,amazon-s3,Python,Amazon S3,我正在做一些批处理,偶尔会得到一行损坏的(字符串)数据。我想上传这些到一个S3文件 现在,我真的想把所有的行添加到一个文件中,并在脚本执行完毕后上传到一个文件中,但我的客户要求我使用套接字连接,并在它们出现时一行一行地添加,模拟一个缓慢的上传 听起来他以前也这么做过,但我找不到任何类似的参考资料(更不用说多部分上传了)。以前有人做过类似的事情吗?看起来不可能。这里有一个类似的问题。您可以使用多部分上传,并将每一行作为一部分提供。看起来有点浪费,因为这会涉及到很多对S3的调用。谢谢。我知道多部分解

我正在做一些批处理,偶尔会得到一行损坏的(字符串)数据。我想上传这些到一个S3文件

现在,我真的想把所有的行添加到一个文件中,并在脚本执行完毕后上传到一个文件中,但我的客户要求我使用套接字连接,并在它们出现时一行一行地添加,模拟一个缓慢的上传


听起来他以前也这么做过,但我找不到任何类似的参考资料(更不用说多部分上传了)。以前有人做过类似的事情吗?

看起来不可能。这里有一个类似的问题。您可以使用多部分上传,并将每一行作为一部分提供。看起来有点浪费,因为这会涉及到很多对S3的调用。谢谢。我知道多部分解决方案。使用
smart\u open
很容易做到,但这不是我想要的。另外,有10000个零件的限制,这在我的情况下是不够的。