Python 仅将一个s3分区文件添加到AWS Glue

当涉及到通过s3存储桶运行爬虫程序时，我遇到了一些小问题。我的文件夹中有从红移转储的数据，这些数据被分割成许多不同的文件。这些文件命名约定如下所示：

dump_0000_part_00.gz，dump_0001_part_01.gz

---

然而，当我的爬虫获取这个文件夹中的元数据时，它会生成几百个表，认为这些切片文件中的每一个都是它自己的表。有没有办法告诉爬虫程序将所有这些切片文件分组到一个目录表中？

在配置爬虫程序（或编辑现有文件）时，在

输出

部分下，展开

S3数据分组行为（可选）

，然后选择

为每个S3路径创建一个模式