AWS胶水Python外壳配置DPU

AWS胶水Python外壳配置DPU,python,amazon-web-services,aws-glue-spark,Python,Amazon Web Services,Aws Glue Spark,当我使用glue python shell而不是glue spark时,1 dpu设置是否会更改?。 我最近看到一篇帖子,我看到他们在谈论glue spark,但不是来自aws glue python shell,这就是为什么我有这种怀疑。根据这一点,python shell类型的aws glue作业可以分配1 DPU或0.0625 DPU。默认情况下,aws glue为每个python shell作业分配0.0625 DPU 您的账单为每DPU小时0.44美元,以1秒为增量,四舍五入到最接近的

当我使用glue python shell而不是glue spark时,1 dpu设置是否会更改?。 我最近看到一篇帖子,我看到他们在谈论glue spark,但不是来自aws glue python shell,这就是为什么我有这种怀疑。

根据这一点,python shell类型的aws glue作业可以分配1 DPU或0.0625 DPU。默认情况下,aws glue为每个python shell作业分配0.0625 DPU

您的账单为每DPU小时0.44美元,以1秒为增量,四舍五入到最接近的秒,Python shell类型的每个作业的最短持续时间为1分钟

单个DPU提供由4个VCPU计算和16 GB内存组成的处理能力

最多可以提供1个DPU,因为它不需要很多资源,因为不涉及分布式处理。您尝试提供多个DPU,将遇到如下错误:


嗨!谢谢你的回答,但我仍然有疑问,1dpu的glue spark等于1 dpu的glue python(例如“每个dpu配置了2个执行器”),在这两种情况下都是相同的吗?@ JimErdDP是的,它与胶DPU在容量方面完全相同,除了不会有任何执行器,因为只有在运行胶粘作业时才会启动这些。EC2机器,带有4个VCPU和16 GB RAM,预装了python和支持的库。这一点在python shell:D中非常清楚,然后是glue job(spark),而不仅仅是一个实例,它将是一个集群?是的,它至少需要两个DPU,最多需要满足您的要求。