Pyspark 在远程S3存储桶上执行粘合上下文保存的最佳方法是什么?
我正在使用基于PySpark的glue ETL作业来处理AWS帐户A中的数据,并将其写入另一个帐户B 在将数据写入AWS帐户B时,我的代码失败,因为它试图保存在本地bucket名称上。下面的片段:Pyspark 在远程S3存储桶上执行粘合上下文保存的最佳方法是什么?,pyspark,aws-glue,aws-glue-spark,Pyspark,Aws Glue,Aws Glue Spark,我正在使用基于PySpark的glue ETL作业来处理AWS帐户A中的数据,并将其写入另一个帐户B 在将数据写入AWS帐户B时,我的代码失败,因为它试图保存在本地bucket名称上。下面的片段: glueRdd.toDF().coalesce(1).write.format('parquet').mode("append").save(s3_path) 如有任何意见/建议,将不胜感激
glueRdd.toDF().coalesce(1).write.format('parquet').mode("append").save(s3_path)
如有任何意见/建议,将不胜感激