Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/amazon-s3/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon web services AWS EMR luigi管道生成$folder$temp文件_Amazon Web Services_Amazon S3_Amazon Emr_Luigi - Fatal编程技术网

Amazon web services AWS EMR luigi管道生成$folder$temp文件

Amazon web services AWS EMR luigi管道生成$folder$temp文件,amazon-web-services,amazon-s3,amazon-emr,luigi,Amazon Web Services,Amazon S3,Amazon Emr,Luigi,我有一个运行在AWS EMR上的luigi管道。在luigi.cfgconfig文件中,我没有这样的源文件或目标文件,但在S3bucket中,我看到每个输出文件夹(在输出路径中)的{some_name}}\u$folder$文件和文件本身。由于我有许多管道运行,其中包含许多文件,这些奇怪的\u$folder$会大量累积,这就成了一个问题。如何防止AWS输出它们?我可以运行额外的脚本来删除它们,但它看起来不像应该怎么做 不建议删除\u$folder$这是S3NativeFileSystem公共静态

我有一个运行在AWS EMR上的
luigi
管道。在
luigi.cfg
config文件中,我没有这样的源文件或目标文件,但在
S3
bucket中,我看到每个输出文件夹(在输出路径中)的
{some_name}}\u$folder$
文件和文件本身。由于我有许多管道运行,其中包含许多文件,这些奇怪的
\u$folder$
会大量累积,这就成了一个问题。如何防止AWS输出它们?我可以运行额外的脚本来删除它们,但它看起来不像应该怎么做

不建议删除
\u$folder$
这是
S3NativeFileSystem
公共静态最终字符串文件夹\u后缀=“\u$folder$”
不建议删除
\u$folder$
这是
S3NativeFileSystem
公共静态最终字符串文件夹\u后缀=“\u$folder$”