Python 如何为文件验证检查和发送错误邮件构建Azure Data Factory和Azure函数

Python 如何为文件验证检查和发送错误邮件构建Azure Data Factory和Azure函数,python,azure-functions,sendgrid,Python,Azure Functions,Sendgrid,我在管道中有Azure Data Factory复制活动。 复制活动正在运行。我有两个问题。 第一个问题是如何构建Azure数据工厂或Azure函数来执行下面的任何流程 将上载的csv文件或excel文件复制到另一个上下文 对python编码的azure函数执行验证检查 将包含邮件的错误消息作为由Azure Send grid for SMTP验证检查生成的附加文件发送 若验证检查并没有问题,那个么将该文件复制到SQL数据库表中 非常感谢您提前与我合作。据我所知,以下问题的答案如下。如果您需要其

我在管道中有Azure Data Factory复制活动。 复制活动正在运行。我有两个问题。 第一个问题是如何构建Azure数据工厂或Azure函数来执行下面的任何流程

  • 将上载的csv文件或excel文件复制到另一个上下文
  • 对python编码的azure函数执行验证检查
  • 将包含邮件的错误消息作为由Azure Send grid for SMTP验证检查生成的附加文件发送
  • 若验证检查并没有问题,那个么将该文件复制到SQL数据库表中

  • 非常感谢您提前与我合作。

    据我所知,以下问题的答案如下。如果您需要其他或更多细节,请随时澄清

    将上载的csv文件或excel文件复制到另一个上下文

    将源blob用作输入,将目标blob用作输出

    多谢各位。我得到了它。我也可以实现这一点。  

    对python编码的azure函数执行验证检查

    在数据工厂中使用来调用您的http 功能(假设您的意思是对正在上载/复制的文件进行验证检查?)

    是的,我喜欢。该文件与我上传和复制的文件相同。如何使用消息队列记录器?由于文件太大,我希望使用复制完成队列的触发器

    你不需要排队来处理你自己。你可以使用内置水滴,这将使你的生活更轻松

    将包含邮件的错误消息作为由生成的附加文件发送 Azure发送网格对SMTP的验证检查

    您可以使用相同的python Azure函数通过SendGrid发送电子邮件 . 但函数绑定不支持在邮件中附加文件。为此,您可以编写,而不是使用内置绑定

    我不知道bindind函数不支持附加文件。 我尝试使用sendgrid SDK和API

    SendGrid API 我是否也应该看到下面的参考链接?

    是的,你可以。我相信这就是RESTAPI规范。如果您使用SendGrid SDK,这将为您解决问题

    如果验证检查没有问题,请将该文件复制到 SQL数据库表

    您的意思是将文件作为二进制文件保存在某个SQL表列中吗?虽然从技术上讲,您可以将其存储在varbinary类型列中。但是我建议存储blob链接,而不是将整个文件存储在SQL中。您可以在管道中使用以参数形式传递blob链接来调用存储的过程

    我的评论中包含了单词缺失。下面是正确的。 如果验证检查没有问题,请将文件中的信息复制到SQL数据库表中,因为我需要在积累数据后分析数据。 我不知道如何设置迁移过程到SQL数据库的触发器。 使用Strage blob的copy complete消息队列作为输出是否更好


    如上所述,您不需要自定义队列,因为Data Factory已经为您提供了帮助。

    根据我的理解回答了下面的问题。如果您需要其他或更多细节,请随时澄清

    将上载的csv文件或excel文件复制到另一个上下文

    将源blob用作输入,将目标blob用作输出

    多谢各位。我得到了它。我也可以实现这一点。  

    对python编码的azure函数执行验证检查

    在数据工厂中使用来调用您的http 功能(假设您的意思是对正在上载/复制的文件进行验证检查?)

    是的,我喜欢。该文件与我上传和复制的文件相同。如何使用消息队列记录器?由于文件太大,我希望使用复制完成队列的触发器

    你不需要排队来处理你自己。你可以使用内置水滴,这将使你的生活更轻松

    将包含邮件的错误消息作为由生成的附加文件发送 Azure发送网格对SMTP的验证检查

    您可以使用相同的python Azure函数通过SendGrid发送电子邮件 . 但函数绑定不支持在邮件中附加文件。为此,您可以编写,而不是使用内置绑定

    我不知道bindind函数不支持附加文件。 我尝试使用sendgrid SDK和API

    SendGrid API 我是否也应该看到下面的参考链接?

    是的,你可以。我相信这就是RESTAPI规范。如果您使用SendGrid SDK,这将为您解决问题

    如果验证检查没有问题,请将该文件复制到 SQL数据库表

    您的意思是将文件作为二进制文件保存在某个SQL表列中吗?虽然从技术上讲,您可以将其存储在varbinary类型列中。但是我建议存储blob链接,而不是将整个文件存储在SQL中。您可以在管道中使用以参数形式传递blob链接来调用存储的过程

    我的评论中包含了单词缺失。下面是正确的。 如果验证检查没有问题,请将文件中的信息复制到SQL数据库表中,因为我需要在积累数据后分析数据。 我不知道如何设置迁移过程到SQL数据库的触发器。 使用Strage blob的copy complete消息队列作为输出是否更好


    如上所述,您不需要自定义队列,因为Data Factory已经为您提供了帮助。

    请在线查看后续问题的答案。非常感谢。我的问题很清楚。我再试一次。非常感谢您的建议。请在线查看后续问题的答案。非常感谢。我的问题很清楚。我再试一次。谢谢你的建议。