Amazon web services AWS EMR luigi管道生成$folder$temp文件
我有一个运行在AWS EMR上的Amazon web services AWS EMR luigi管道生成$folder$temp文件,amazon-web-services,amazon-s3,amazon-emr,luigi,Amazon Web Services,Amazon S3,Amazon Emr,Luigi,我有一个运行在AWS EMR上的luigi管道。在luigi.cfgconfig文件中,我没有这样的源文件或目标文件,但在S3bucket中,我看到每个输出文件夹(在输出路径中)的{some_name}}\u$folder$文件和文件本身。由于我有许多管道运行,其中包含许多文件,这些奇怪的\u$folder$会大量累积,这就成了一个问题。如何防止AWS输出它们?我可以运行额外的脚本来删除它们,但它看起来不像应该怎么做 不建议删除\u$folder$这是S3NativeFileSystem公共静态
luigi
管道。在luigi.cfg
config文件中,我没有这样的源文件或目标文件,但在S3
bucket中,我看到每个输出文件夹(在输出路径中)的{some_name}}\u$folder$
文件和文件本身。由于我有许多管道运行,其中包含许多文件,这些奇怪的\u$folder$
会大量累积,这就成了一个问题。如何防止AWS输出它们?我可以运行额外的脚本来删除它们,但它看起来不像应该怎么做 不建议删除\u$folder$
这是S3NativeFileSystem
公共静态最终字符串文件夹\u后缀=“\u$folder$”
不建议删除\u$folder$
这是S3NativeFileSystem
公共静态最终字符串文件夹\u后缀=“\u$folder$”代码>