Amazon web services AWS粘合作业的预期运行时间

我用AWS glue在1mb数据上运行作业。需要2.5秒才能完成

Pyspark框架用于此工作

因此，在1gb的数据上，完成这项工作大约需要2.5*1000=2500秒

但当我在1gb数据上运行作业时，只花了20秒。

---

这怎么可能

默认情况下，粘合作业配置为使用10个DPU运行，其中每个DPU有16 GB RAM和4个vCore。因此，在您的情况下，即使您使用2个DPU运行作业，您仍然没有充分利用集群

而且执行时间并不像你计算的那样有效，还有很多额外的因素。如果你想阅读更多关于为Glue平移资源的信息，请参考链接