AWS胶水Python外壳配置DPU
当我使用glue python shell而不是glue spark时,1 dpu设置是否会更改?。 我最近看到一篇帖子,我看到他们在谈论glue spark,但不是来自aws glue python shell,这就是为什么我有这种怀疑。根据这一点,python shell类型的aws glue作业可以分配1 DPU或0.0625 DPU。默认情况下,aws glue为每个python shell作业分配0.0625 DPU 您的账单为每DPU小时0.44美元,以1秒为增量,四舍五入到最接近的秒,Python shell类型的每个作业的最短持续时间为1分钟 单个DPU提供由4个VCPU计算和16 GB内存组成的处理能力 最多可以提供1个DPU,因为它不需要很多资源,因为不涉及分布式处理。您尝试提供多个DPU,将遇到如下错误:AWS胶水Python外壳配置DPU,python,amazon-web-services,aws-glue-spark,Python,Amazon Web Services,Aws Glue Spark,当我使用glue python shell而不是glue spark时,1 dpu设置是否会更改?。 我最近看到一篇帖子,我看到他们在谈论glue spark,但不是来自aws glue python shell,这就是为什么我有这种怀疑。根据这一点,python shell类型的aws glue作业可以分配1 DPU或0.0625 DPU。默认情况下,aws glue为每个python shell作业分配0.0625 DPU 您的账单为每DPU小时0.44美元,以1秒为增量,四舍五入到最接近的
嗨!谢谢你的回答,但我仍然有疑问,1dpu的glue spark等于1 dpu的glue python(例如“每个dpu配置了2个执行器”),在这两种情况下都是相同的吗?@ JimErdDP是的,它与胶DPU在容量方面完全相同,除了不会有任何执行器,因为只有在运行胶粘作业时才会启动这些。EC2机器,带有4个VCPU和16 GB RAM,预装了python和支持的库。这一点在python shell:D中非常清楚,然后是glue job(spark),而不仅仅是一个实例,它将是一个集群?是的,它至少需要两个DPU,最多需要满足您的要求。