Amazon web services 自动焊接系统胶水触发作业

Amazon web services 自动焊接系统胶水触发作业,amazon-web-services,triggers,pyspark,aws-glue,Amazon Web Services,Triggers,Pyspark,Aws Glue,我修改了一个由胶水生成的脚本,用于数据的转换和操作。我希望在目录中出现的每个新表上按触发器运行相同的作业,但不需要手动更改作业脚本中的表名。 简而言之,如何在每次不手动更改表名的情况下,对数据目录中出现的每个新表运行脚本提供的相同转换 谢谢您可以使用Catalog Client动态获取数据库中的表列表。我不知道如何在pyspark中获得catalog客户机,但在scala中看起来是这样的 val catalog = glueContext.getCatalogClient for (table

我修改了一个由胶水生成的脚本,用于数据的转换和操作。我希望在目录中出现的每个新表上按触发器运行相同的作业,但不需要手动更改作业脚本中的表名。 简而言之,如何在每次不手动更改表名的情况下,对数据目录中出现的每个新表运行脚本提供的相同转换


谢谢

您可以使用Catalog Client动态获取数据库中的表列表。我不知道如何在pyspark中获得catalog客户机,但在scala中看起来是这样的

val catalog = glueContext.getCatalogClient

for (table <- catalog.listTables("myDatabaseName", "").getTableList.asScala) {
    // do your transformation
}
val catalog=glueContext.getCatalogClient
为了(桌子)