Continuous integration Athena的模式部署管理

Continuous integration Athena的模式部署管理,continuous-integration,continuous-deployment,amazon-athena,Continuous Integration,Continuous Deployment,Amazon Athena,为了将devops原则应用于数据(呃,dataops!),需要考虑连续部署之类的事情 因此,像dbDeploy这样的工具为什么会存在。然而,dbDeploy似乎已孤立,不再维护。在过去,我一次又一次地使用这个工具,但我看不到有多少人支持它,我也不知道为什么 所以我想知道人们使用什么来管理和版本他们的模式。特别是,我正在寻找能与Athena一起工作的东西(但它有一个jdbc驱动程序,所以理论上任何兼容jdbc的工具都是如此) 我知道一个答案可能是改变心态,改用AWS胶水爬虫。但人们真的这么做了吗?

为了将devops原则应用于数据(呃,dataops!),需要考虑连续部署之类的事情

因此,像dbDeploy这样的工具为什么会存在。然而,dbDeploy似乎已孤立,不再维护。在过去,我一次又一次地使用这个工具,但我看不到有多少人支持它,我也不知道为什么

所以我想知道人们使用什么来管理和版本他们的模式。特别是,我正在寻找能与Athena一起工作的东西(但它有一个jdbc驱动程序,所以理论上任何兼容jdbc的工具都是如此)


我知道一个答案可能是改变心态,改用AWS胶水爬虫。但人们真的这么做了吗?还是爬虫更适合POC/快速启动的情况?我敢肯定,您总是希望覆盖爬虫程序做出的决策,那么如何处理这些决策呢?

AWS Glue有许多API函数,而不仅仅是基于爬虫程序。您可以使用这些调用来检查表,例如:好的,所有这些都感觉有点土生土长-我想应该有一些预构建的东西来完成这项工作!这是很有帮助的,虽然我想从jdbc获得这样的信息,但是API实际上可能更容易。AWS Glue有很多API函数,并且不仅仅基于爬虫。您可以使用这些调用来检查表,例如:好的,所有这些都感觉有点土生土长-我想应该有一些预构建的东西来完成这项工作!这是很有帮助的,虽然我想从jdbc获得这样的信息,但是API实际上可能更容易。