Amazon web services 我如何监控glue crawler执行状态？

我正在使用AWS Glue来进行数据ETL。我找不到一种方法来监视AWS上的

glue crawler

执行状态。我知道如何监控粘合作业，如以下文档：。但我想知道是否有类似的方法来检查

胶水爬虫执行情况

我可以在
Cloudwatch
中查看crawler的日志，但可读性不强。我很难计算在指定的时间段内发生了多少次调用
 我问了AWS支持中心同样的问题。答案如下：

据我所知，Glue crawler不发布执行的CloudWatch度量和您要监视的统计数据，但是Glue crawler能够将日志发布到CloudWatch日志组和日志流。根据这些日志事件消息，您可以创建一个度量过滤器[1]，以匹配特定的过滤器模式，并生成您自己的度量来监视和报警。例如，如果度量筛选器检测到筛选器模式“Crawler已完成运行并处于就绪状态”，它将向自定义命名空间度量发布一个值。以下是创建度量筛选器的一些步骤：

1) Open the CloudWatch Log Groups console
2) Select the Glue crawler log group
3) Select Metric filters, choose Create metric filter
4) In Filter pattern, enter a pattern that you want to match in the log streams, ie: "Crawler has finished running and is in state READY", then choose Next
    4a) You can test your filter pattern against a log stream or by manually specifying log event messages
5) Enter a filter name, enter a customer metric namespace, metric name, metric value. The metric value while be published on the metric, ie: 1, then choose Next
6) Review the metric filter configuration and choose Create metric filter

CloudWatch事件能够根据Glue crawler状态更改调用目标，例如，如果爬虫状态更改为failed，则可以调用SNS主题目标并向您发送电子邮件。以下是创建CloudWatch事件的一些步骤：

1) Open the CloudWatch Rules console
2) Choose Create rule
3) In Service Name, select Glue, in Event Type select Glue Crawler State Change
4) Choose Specific state(s) and choose Failed
5) Add a Target, for example SNS Topic, choose Configure details
6) Enter a Rule name and choose Create rule

享受你余下的一天
 我问了AWS支持中心同样的问题。答案如下：

据我所知，Glue crawler不发布执行的CloudWatch度量和您要监视的统计数据，但是Glue crawler能够将日志发布到CloudWatch日志组和日志流。根据这些日志事件消息，您可以创建一个度量过滤器[1]，以匹配特定的过滤器模式，并生成您自己的度量来监视和报警。例如，如果度量筛选器检测到筛选器模式“Crawler已完成运行并处于就绪状态”，它将向自定义命名空间度量发布一个值。以下是创建度量筛选器的一些步骤：

1) Open the CloudWatch Log Groups console
2) Select the Glue crawler log group
3) Select Metric filters, choose Create metric filter
4) In Filter pattern, enter a pattern that you want to match in the log streams, ie: "Crawler has finished running and is in state READY", then choose Next
    4a) You can test your filter pattern against a log stream or by manually specifying log event messages
5) Enter a filter name, enter a customer metric namespace, metric name, metric value. The metric value while be published on the metric, ie: 1, then choose Next
6) Review the metric filter configuration and choose Create metric filter

CloudWatch事件能够根据Glue crawler状态更改调用目标，例如，如果爬虫状态更改为failed，则可以调用SNS主题目标并向您发送电子邮件。以下是创建CloudWatch事件的一些步骤：

1) Open the CloudWatch Rules console
2) Choose Create rule
3) In Service Name, select Glue, in Event Type select Glue Crawler State Change
4) Choose Specific state(s) and choose Failed
5) Add a Target, for example SNS Topic, choose Configure details
6) Enter a Rule name and choose Create rule

享受你余下的一天
 创建度量筛选器，禁用选项id创建度量筛选器，禁用选项id