Amazon web services AWS粘合爬虫覆盖自定义表属性

Amazon web services AWS粘合爬虫覆盖自定义表属性,amazon-web-services,aws-glue,Amazon Web Services,Aws Glue,我有一个由AWS Glue管理的数据目录,以及我的开发人员在S3 bucket中使用新表或分区进行的任何更新,我们正在使用爬虫每天更新这些表或分区,以保持新分区的健康 但是,我们还需要自定义表属性。在我们的配置单元中,我们将每个表的数据源作为表属性,并在glue中将其添加到数据目录中的表中,但每次运行爬虫程序时,它都会覆盖自定义表属性,如描述 我做错什么了吗?或者这是来自AWS Glue的bug?您是否在爬虫程序定义中检查了模式更改策略 嘿,面对同样的问题,你解决了吗?抱歉,还没有解决:(这里也

我有一个由AWS Glue管理的数据目录,以及我的开发人员在S3 bucket中使用新表或分区进行的任何更新,我们正在使用爬虫每天更新这些表或分区,以保持新分区的健康

但是,我们还需要自定义表属性。在我们的配置单元中,我们将每个表的数据源作为表属性,并在glue中将其添加到数据目录中的表中,但每次运行爬虫程序时,它都会覆盖自定义表属性,如描述


我做错什么了吗?或者这是来自AWS Glue的bug?

您是否在爬虫程序定义中检查了模式更改策略


嘿,面对同样的问题,你解决了吗?抱歉,还没有解决:(这里也是,你偶然发现了吗?感谢你还没有找到伴侣,我们在公司结构中找到了解决办法。这不会有帮助-这将停止架构的更新,而他面临的问题是爬虫正在擦除自定义表属性