如何使用Talend减少文件复制到S3的时间

我创建了一个小作业，使用tS3put组件，通过Talend数据集成将一个包含300万条记录（350MB）的csv文件以zip格式复制到Amazon S3。完成这项工作大约需要2小时20分钟。但当我通过AWS Cli或Informatica复制同一个文件时，它在一小时内就完成了。

---

有人知道如何使用Talend数据集成工具减少到S3的复制时间吗？

您的zip文件是否只包含一个CSV文件？请想一想，运行http代理（如fiddler）或packetsniffer（如wireshark）并查看数据是如何从Talend发送到其他文件的。可能是Talend使用的是SOAP（不推荐使用），而Informatica可能使用的是REST，它有350MB的数据，这可能会产生很大的不同。当在整个传输过程中进行聚合时，SOAP负载将比其余负载大得多。