Python 雪花-比较2个表并发送不匹配通知

Python 雪花-比较2个表并发送不匹配通知,python,amazon-web-services,scala,snowflake-cloud-data-platform,aws-glue,Python,Amazon Web Services,Scala,Snowflake Cloud Data Platform,Aws Glue,我正在寻找从snowflake或aws端或通过使用python或scala的glue jobs/lambda函数设置警报通知 我想比较在源和目标中包含表名和计数的两个表 通过aws glue job将数据从s3加载到snowflake,然后我将比较这两个表,以验证源记录计数和目标记录计数是否匹配,以及是否存在任何不匹配,并发送通知 请让我知道你为完成这项任务所做的投入 谢谢, Jo如果您使用AWS Glue在Snowflake中加载表,则可以继续使用Glue来编排所需的结果: 让胶水把桌子装上

我正在寻找从snowflake或aws端或通过使用python或scala的glue jobs/lambda函数设置警报通知

我想比较在源和目标中包含表名和计数的两个表

通过aws glue job将数据从s3加载到snowflake,然后我将比较这两个表,以验证源记录计数和目标记录计数是否匹配,以及是否存在任何不匹配,并发送通知

请让我知道你为完成这项任务所做的投入

谢谢,
Jo

如果您使用AWS Glue在Snowflake中加载表,则可以继续使用Glue来编排所需的结果:

  • 让胶水把桌子装上
  • 让Glue在Snowflake中运行一个存储过程,比较两个表。
  • 让AWS Glue通过SNS发送通知。
    • 请参阅“Amazon CloudWatch事件的监视和通知”一章

如果您需要用于比较两个表的存储过程的SQL,请随时添加新问题。

如果您使用AWS Glue在Snowflake中加载表,则可以继续使用Glue编排所需的结果:

  • 让胶水把桌子装上
  • 让Glue在Snowflake中运行一个存储过程,比较两个表。
  • 让AWS Glue通过SNS发送通知。
    • 请参阅“Amazon CloudWatch事件的监视和通知”一章

如果您需要比较两个表的存储过程的SQL,请随意添加新问题。

我们可以在SNS中发送存储过程结果吗?我们可以在SNS中发送存储过程结果吗?