Amazon web services AWS胶水错误“;“路径不存在”;

Amazon web services AWS胶水错误“;“路径不存在”;,amazon-web-services,aws-glue,Amazon Web Services,Aws Glue,每次我尝试运行一些非常简单的作业(将s3上的json导入到Redshift)时,都会出现以下错误: pyspark.sql.utils.AnalysisException:u'路径不存在: s3://我的临时胶水目录/f316d46f-eaf3-497a-927b-47ff04462e4a;' 这不是一个权限问题,因为我还有一些其他(更复杂的带有连接的作业)工作可靠。我真的不知道会有什么问题-如果有任何帮助,我们将不胜感激 我正在使用2个DPU,但已经尝试了5个。我还尝试使用不同的临时目录。此外

每次我尝试运行一些非常简单的作业(将s3上的json导入到Redshift)时,都会出现以下错误:

pyspark.sql.utils.AnalysisException:u'路径不存在: s3://我的临时胶水目录/f316d46f-eaf3-497a-927b-47ff04462e4a;'

这不是一个权限问题,因为我还有一些其他(更复杂的带有连接的作业)工作可靠。我真的不知道会有什么问题-如果有任何帮助,我们将不胜感激


我正在使用2个DPU,但已经尝试了5个。我还尝试使用不同的临时目录。此外,有数百个文件,其中一些文件非常小(几行),但我不确定这是否相关。

我认为造成此错误的原因只是我试图同时加载的文件数量(错误本身具有误导性)。禁用书签并使用数据子集后,一切正常。

您可以使用以下命令检查动态帧是否有数据:
applymapping1.toDF().show()
我想这是因为
书签
,当
书签
启用时,我遇到了类似的错误,在我禁用它之后,它似乎消失了。不知道为什么,希望有人能给我们更多的意见。