Azure数据工厂：所有活动之前/之后的通用逻辑 客观的

我将在ADF管道上实现自定义审计。我的ADF管道由不同类型的活动组成：摄取、数据记录、将结果加载到数据仓库等。在每个活动结束时，我希望将一些信息写入审计数据库

问题 我不喜欢用额外的审核活动来包装每个管道活动。我想为所有活动提供一些常见的方面/建议。但我想这不是ADF应该使用的方式

当然，用审计来包装定制Databricks/Python代码很容易，但是摄取/上传活动呢

问题: 在所有ADF管道活动之前/之后，实现自定义逻辑的最佳方法是什么

附笔。

---

在ApacheNIFI中，可以访问NiFi的日志并构建一个单独的并行管道，该管道将解析日志并将其写入审计数据库。看见据我所知，我可以配置ADF将日志写入Azure存储。然后从那里读取日志并写入审计数据库。但我觉得这是个糟糕的设计。还有更好的选择吗

据我所知，除了您提到的方法之外，没有直接的方法可以做到这一点，即在预处理和后处理逻辑之间包装每个活动，并通过将您的信息记录到接收器来审计它，然而，我认为如果活动开始在ADF本身中支持预处理和后处理事件，并允许调用webhooks，以便将任何预处理和后处理数据发送到webhooks，这将是一个很好的特性

此外，您可以在以下位置向团队提交想法或建议：

---

我对社区的想法很感兴趣。但一种选择是只使用ADF可以加载到存储或Azure Monitor等不同位置的内置日志@Greggallowy我也喜欢使用内置服务而不是构建定制解决方案。但这个决定不是由我做出的，定制的主要动机是云不可知的方法（如果考虑到ADF编排的话，这很奇怪）。从定制解决方案的优点（除了云不可知论），我看到了细节的粒度。这仍然是另一个问题。。。