Amazon web services 有没有一种方法可以发布来自AWS胶水作业的自定义度量?
我正在使用AWS粘合作业跨S3存储桶移动和转换数据,我想构建自定义累加器来监控我接收和发送的行数以及其他自定义指标。监控这些指标的最佳方式是什么?根据此文档:我可以跟踪胶水作业中的常规指标,但似乎没有一种通过cloudwatch发送自定义指标的好方法。请考虑您的AWS胶水作业。这将允许您通过进行自定义日志记录。云表。自定义日志可以包括行数等信息 更具体地说Amazon web services 有没有一种方法可以发布来自AWS胶水作业的自定义度量?,amazon-web-services,amazon-cloudwatch,aws-glue,Amazon Web Services,Amazon Cloudwatch,Aws Glue,我正在使用AWS粘合作业跨S3存储桶移动和转换数据,我想构建自定义累加器来监控我接收和发送的行数以及其他自定义指标。监控这些指标的最佳方式是什么?根据此文档:我可以跟踪胶水作业中的常规指标,但似乎没有一种通过cloudwatch发送自定义指标的好方法。请考虑您的AWS胶水作业。这将允许您通过进行自定义日志记录。云表。自定义日志可以包括行数等信息 更具体地说 添加logger=glueContext。在粘合作业开始时获取\u logger() 添加logger.info(“将发送到CloudWa
logger=glueContext。在粘合作业开始时获取\u logger()
logger.info(“将发送到CloudWatch的自定义日志消息”)
您希望将信息记录到CloudWatch的位置。例如,如果我有一个名为df
的数据帧,我可以通过添加logger.info(“df的行数”+str(df.count())
glue\u run\u id
-driver
的日志流下的CloudWatch日志组/aws glue/jobs/logs-v2
下
您还可以参考AWS文档中的“使用自定义脚本记录器记录特定于应用程序的消息”部分,以了解有关特定于应用程序的日志记录的更多信息