Amazon web services Crawler正在创建一个名称后缀奇怪的表
我们有一个ETL脚本,它读取数据表单目录并将其作为拼花写入s3。我们还调用了一个爬虫程序来创建/更新Athena中的表。然而,它正在创建表,但在表名中添加了一些奇怪的后缀 我正在爬网的文件夹中的所有文件都位于具有相同模式的拼花地板中。而且,只有当我们从ETL脚本调用爬虫程序时,才会发生这种情况 我们用来调用爬虫的脚本Amazon web services Crawler正在创建一个名称后缀奇怪的表,amazon-web-services,boto3,aws-glue,Amazon Web Services,Boto3,Aws Glue,我们有一个ETL脚本,它读取数据表单目录并将其作为拼花写入s3。我们还调用了一个爬虫程序来创建/更新Athena中的表。然而,它正在创建表,但在表名中添加了一些奇怪的后缀 我正在爬网的文件夹中的所有文件都位于具有相同模式的拼花地板中。而且,只有当我们从ETL脚本调用爬虫程序时,才会发生这种情况 我们用来调用爬虫的脚本 glue_client = boto3.client("glue", region_name=args.get("aws_region"))
glue_client = boto3.client("glue", region_name=args.get("aws_region"))
glue_client.start_crawler(Name=args["crawler_name"])
应为:表名称
实际值:表_name_31e198c8c61861f127ae06487eb14a3f当胶水爬虫在胶水数据目录中遇到重复的表名时,会发生这种情况。关于这种行为,请参考以下内容:
如果遇到重复的表名,爬虫程序会在名称中添加一个哈希字符串后缀。当任何粘合爬虫程序在粘合数据目录中遇到重复的表名时,都会发生这种情况。关于这种行为,请参考以下内容:
如果遇到重复的表名,爬虫程序会在名称中添加哈希字符串后缀。谢谢。但是我们可以在不同的数据库中使用相同的表名。我试图在同一个数据库中创建一个元数据表和一个实际表,结果导致了这个问题。当我更改数据库时,它工作得很好。谢谢。但是我们可以在不同的数据库中使用相同的表名。我试图在同一个数据库中创建一个元数据表和一个实际表,结果导致了这个问题。当我更改数据库时,它工作得很好。