Performance 如何改进AWS胶水&x27;她的表现如何?

Performance 如何改进AWS胶水&x27;她的表现如何?,performance,amazon-web-services,etl,aws-glue,Performance,Amazon Web Services,Etl,Aws Glue,我在AWS上有一个简单的工作,需要25分钟以上。我将DPU的数量从10更改为100(允许的最大值),该作业仍然需要13分钟 关于提高绩效还有其他建议吗?我注意到了同样的行为 我的理解是,工作时间包括启动一个EMR集群,这需要几分钟。所以如果需要。。比如说8分钟(只是猜测),那么你的工作时间从17分钟到5分钟。我们可以看看你的工作吗?有时,简单可能无法实现。我们发现,像使用DynamicFrame.map转换这样的简单操作非常缓慢,您最好使用tmp表并使用SQLContext映射数据,除非CPU或

我在AWS上有一个简单的工作,需要25分钟以上。我将DPU的数量从10更改为100(允许的最大值),该作业仍然需要13分钟


关于提高绩效还有其他建议吗?

我注意到了同样的行为


我的理解是,工作时间包括启动一个EMR集群,这需要几分钟。所以如果需要。。比如说8分钟(只是猜测),那么你的工作时间从17分钟到5分钟。

我们可以看看你的工作吗?有时,简单可能无法实现。我们发现,像使用DynamicFrame.map转换这样的简单操作非常缓慢,您最好使用tmp表并使用SQLContext映射数据,除非CPU或内存是现有作业的瓶颈,否则添加更多的DPU(即更多的CPU和内存)对您的作业不会有显著的好处。至少好处不是线性的,即DPU增加10倍并不意味着作业的运行速度将提高10倍

我建议您逐渐增加DPU的数量,以查看性能提升,您会注意到,在某一点后,添加更多DPU不会对性能产生重大影响,这可能是适合您工作的DPU数量