Amazon web services Matillion for Amazon红移支持作业监控

Amazon web services Matillion for Amazon红移支持作业监控,amazon-web-services,amazon-redshift,etl,jobs,matillion,Amazon Web Services,Amazon Redshift,Etl,Jobs,Matillion,我正在为Redshift开发Amazon Matillion,每天都有多个由SQS消息触发的作业在运行。现在,我正在检查是否有可能为利益相关者创建一个UI仪表板,该仪表板将监控作业的实时进度,并显示以前作业的报告,如作业名称、受影响的表、作业状态/失败原因等。Matillion是否隐式维护此类信息?或者,我必须为每个作业维护此信息。Matillion有一个API,您可以使用该API获取所有任务历史的详细信息。有关任务API的信息如下: 您可以使用它将当前正在运行的作业或已完成作业的数据拉至组件

我正在为Redshift开发Amazon Matillion,每天都有多个由SQS消息触发的作业在运行。现在,我正在检查是否有可能为利益相关者创建一个UI仪表板,该仪表板将监控作业的实时进度,并显示以前作业的报告,如作业名称、受影响的表、作业状态/失败原因等。Matillion是否隐式维护此类信息?或者,我必须为每个作业维护此信息。

Matillion有一个API,您可以使用该API获取所有任务历史的详细信息。有关任务API的信息如下:

您可以使用它将当前正在运行的作业或已完成作业的数据拉至组件级别,包括作业名称、组件名称、运行时间、是否成功运行以及任何适用的错误消息


可以使用Matillion API配置文件将此信息拉入红移表,该配置文件内置于产品和API查询组件中。然后,您可以在此表的顶部构建仪表板。有关更多信息,我建议您通过Matillion的支持中心联系Matillion。

API很有帮助,但您只能将日期作为参数传递(这适用于Matillion For Snowflake,假设它与Redshift相同)。我要求能够传递datetime,这样我们就可以整天运行作业,而不是每次API调用运行时都收回同一组记录