Amazon web services Talend以较慢的传输速率运行作业

我是talend的新手，在这方面的经验非常有限， 我的任务是每天从sql rds到红移进行增量更新， 但是，我的作业以非常慢的传输速率运行 详情如下

我的sql rds查询是

SELECT
    *  
FROM
    test.ankit2 
WHERE
    id > (SELECT COALESCE(max(id), 0) as id FROM test.stagetable)

ankit2是myrds中的表 及 stagetable表处于红移状态 并使用tmap组件将rds输入组件链接到红移输出组件 请看一下图片

请看一看并提供您的建议 任何帮助都将不胜感激 当做

---

Ankit

要获得最佳红移性能，请使用

tRedshiftOutputBulkExec

组件，而不是

tRedshiftOutput

。它将使用选定的S3存储桶将数据存储为csv，并使用superfast

COPY

命令（通过这种方法，我成功地实现了20000行/s的写入速度）

---

如果可能，最好直接从RDS卸载到S3。

为了获得最佳红移性能，请使用

tRedshiftOutputBulkExec

组件，而不是

tRedshiftOutput

。它将使用选定的S3存储桶将数据存储为csv，并使用superfast

COPY

命令（通过这种方法，我成功地实现了20000行/s的写入速度）

---

如果可能，最好直接从RDS卸载到S3。

谢谢您的建议。。但是我没有S3API密钥来执行复制操作如果您有权访问EC2实例，您可以尝试在EC2实例上安装Talend。您的带宽可能是此过程中的瓶颈。8行/秒真的很慢。谢谢你的建议。。但是我没有S3API密钥来执行复制操作如果您有权访问EC2实例，您可以尝试在EC2实例上安装Talend。您的带宽可能是此过程中的瓶颈。8行/秒真的很慢。