Python AWS Glue：如何将S3 Bucket划分为多个红移表

我有一个基本的AWS胶水作业设置，可以从包含多个文件夹的S3存储桶读取：

S3://mybucket/table1
S3://mybucket/table2
S3://mybucket/table3

等等。这些文件夹中的所有文件都具有完全相同的格式，我希望将它们插入到同一数据库中的不同红移表中（表1、表2、表3）。似乎有一种方法可以从S3存储桶到S3存储桶自动执行此操作，但我似乎找不到关于如何将S3转换为红移的文档，这可能吗

我目前拥有的代码只是为此作业生成的基本粘合模板代码，分区0包含文件夹名称的字符串表示形式：

import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job

args = getResolvedOptions(sys.argv, ['TempDir','JOB_NAME'])

sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session
job = Job(glueContext)
job.init(args['JOB_NAME'], args)

datasource0 = glueContext.create_dynamic_frame.from_catalog(database = "test", table_name = "all_data_bucket", transformation_ctx = "datasource0")
applymapping1 = ApplyMapping.apply(frame = datasource0, mappings = [("dataField1", "string", "dataField1", "string"), ("partition_0", "string", "partition_0", "string")], transformation_ctx = "applymapping1")

resolvechoice2 = ResolveChoice.apply(frame = applymapping1, choice = "make_cols", transformation_ctx = "resolvechoice2")

dropnullfields3 = DropNullFields.apply(frame = resolvechoice2, transformation_ctx = "dropnullfields3")
datasink4 = glueContext.write_dynamic_frame.from_jdbc_conf(frame = dropnullfields3, catalog_connection = "REDSHIFT", connection_options = {"dbtable": "all_data_table", "database": "dev"}, redshift_tmp_dir = args["TempDir"], transformation_ctx = "datasink4")
job.commit()

1） 将数据作为三个单独的表进行爬网 2） 使用boto3列出该数据库中的表 3） 循环浏览列表并应用粘合代码将数据加载到redshift中（1）将数据作为三个单独的表进行爬网 2） 使用boto3列出该数据库中的表

---

3） 循环浏览列表并应用粘合代码将数据加载到红移

前两点非常简单，您能详细说明一下#3吗？你是说循环遍历表中的每一项，还是循环遍历3个表的列表，并立即将我的代码应用到每个表的整个部分？当你对表进行爬网时，我相信你将设置粘合表所在的数据库。在这种情况下，如果数据库中只有3个表，则需要循环遍历这3个表，您可以通过boto3 glue客户端使用get_tables函数检索这些表。。。。。否则你甚至不需要爬。你只需在s3位置列表中循环，并在每个位置上应用相同的逻辑……前两点非常简单，你能详细说明一下#3吗？你是说循环遍历表中的每一项，还是循环遍历3个表的列表，并立即将我的代码应用到每个表的整个部分？当你对表进行爬网时，我相信你将设置粘合表所在的数据库。在这种情况下，如果数据库中只有3个表，则需要循环遍历这3个表，您可以通过boto3 glue客户端使用get_tables函数检索这些表。。。。。否则你甚至不需要爬。您只需在s3位置列表中循环，并在每个位置上应用相同的逻辑。。。。