Java S3批量putObject

我正在评测我的Java分布式爬虫程序（在S3中存储爬虫文档），S3插入肯定是一个瓶颈。事实上，当线程数足够多时，由于S3读取数据的时间太长，线程将始终从S3获得超时异常。Amazon或其他库提供的bulk

putObject

函数是否可以更有效地执行此操作

示例代码：

BUCKET = ...; // S3 bucket definition
AmazonS3 client= ...;

InputStream is = ...; // convert the data into input stream
ObjectMetadata meta = ...; // get metadata
String key = ...;

client.putObject(new PutObjectRequest(BUCKET, key, is, meta));

---

我没有在java中使用S3，但是AWS支持大文件的多部分上传

Python的boto库确实支持这一点。我曾经用它成功上传过非常大的数据库备份

---

在查看了java库的javadocs之后，我认为您可能需要使用，而不是常规请求，并且您可以让多部分上传继续进行。

我没有将S3与java一起使用，但是AWS支持大文件的多部分上传

Python的boto库确实支持这一点。我曾经用它成功上传过非常大的数据库备份

---

在查看了java库的javadocs之后，我认为您可能需要使用它，而不是常规请求，并且您可以让多部分上传继续进行。

我想了解更多关于在一个请求中放置多个对象的内容。目前我一直得到套接字超时，因为我有100多个线程试图一次放置对象。。您知道这是否可行吗？我希望在一个请求中放置多个对象。目前我一直得到套接字超时，因为我有100多个线程试图一次放置对象。。你知道这是否可行吗？