Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/amazon-s3/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark Aws胶水火花“;没有这样的文件或目录;但是文件存在_Apache Spark_Amazon S3_Aws Glue - Fatal编程技术网

Apache spark Aws胶水火花“;没有这样的文件或目录;但是文件存在

Apache spark Aws胶水火花“;没有这样的文件或目录;但是文件存在,apache-spark,amazon-s3,aws-glue,Apache Spark,Amazon S3,Aws Glue,我想在Aws Glue上执行一个非常简单的spark脚本作为spark作业。 但我遇到了以下错误 调用o76.sql时出错。没有这样的文件或目录“s3://bucketname/pathToFile/file.parquet” 我确信该文件在指定的路径中存在,但我不明白它为什么找不到该文件 代码如下: spark_context = SparkSession.builder.getOrCreate().sparkContext glue_context = GlueContext(spark_c

我想在Aws Glue上执行一个非常简单的spark脚本作为spark作业。 但我遇到了以下错误

调用o76.sql时出错。没有这样的文件或目录“s3://bucketname/pathToFile/file.parquet”

我确信该文件在指定的路径中存在,但我不明白它为什么找不到该文件

代码如下:

spark_context = SparkSession.builder.getOrCreate().sparkContext
glue_context = GlueContext(spark_context)
spark = glue_context.spark_session


simple_query = f"""SELECT * FROM orion_staging.conforama_purchase LIMIT 10"""

email_purchase = spark.sql(simple_query)
url = 'my valid url'
result_df.write.format("parquet").option("header","true").mode("Overwrite").save(url)

print("DONE")
错误是:

调用o76.sql时出错。没有这样的文件或目录“s3://bucketname/pathToFile/file.parquet”

它发生在阅读时,我试图阅读的桌子是雅典娜桌子。 我确信glue知道这个表,因为它在我浏览glue界面时显示它

我已经试过: -启用配置单元支持

我还想尝试如何:
---启用glue datacatalog,但我不知道怎么做。

您能检查用于glue作业的IAM角色是否有权访问s3存储桶中的文件吗?