Apache spark Aws胶水火花“;没有这样的文件或目录;但是文件存在
我想在Aws Glue上执行一个非常简单的spark脚本作为spark作业。 但我遇到了以下错误 调用o76.sql时出错。没有这样的文件或目录“s3://bucketname/pathToFile/file.parquet” 我确信该文件在指定的路径中存在,但我不明白它为什么找不到该文件 代码如下:Apache spark Aws胶水火花“;没有这样的文件或目录;但是文件存在,apache-spark,amazon-s3,aws-glue,Apache Spark,Amazon S3,Aws Glue,我想在Aws Glue上执行一个非常简单的spark脚本作为spark作业。 但我遇到了以下错误 调用o76.sql时出错。没有这样的文件或目录“s3://bucketname/pathToFile/file.parquet” 我确信该文件在指定的路径中存在,但我不明白它为什么找不到该文件 代码如下: spark_context = SparkSession.builder.getOrCreate().sparkContext glue_context = GlueContext(spark_c
spark_context = SparkSession.builder.getOrCreate().sparkContext
glue_context = GlueContext(spark_context)
spark = glue_context.spark_session
simple_query = f"""SELECT * FROM orion_staging.conforama_purchase LIMIT 10"""
email_purchase = spark.sql(simple_query)
url = 'my valid url'
result_df.write.format("parquet").option("header","true").mode("Overwrite").save(url)
print("DONE")
错误是:
调用o76.sql时出错。没有这样的文件或目录“s3://bucketname/pathToFile/file.parquet”
它发生在阅读时,我试图阅读的桌子是雅典娜桌子。
我确信glue知道这个表,因为它在我浏览glue界面时显示它
我已经试过:
-启用配置单元支持
我还想尝试如何:
---启用glue datacatalog,但我不知道怎么做。您能检查用于glue作业的IAM角色是否有权访问s3存储桶中的文件吗?