Azure数据工厂中的自定义脚本&；Azure数据块

我需要解析许多小文件，并将它们以扁平结构加载到数据库中。我更喜欢使用ADF V2和SQL数据库来完成它。使用Python脚本已经可以使用文件解析逻辑，我想在ADF中对其进行编排。我可以在ADF v2中看到使用Python笔记本连接器连接Azure Databricks的选项。请问我是否可以通过ADF在Azure Databricks中运行一个简单的Python脚本？如果我这样做，我将只在Databricks集群的驱动程序中运行脚本，并且可能不会利用集群的全部容量。我也在考虑调用Azure函数。请告知在这种情况下哪个更合适。

请提供一些想法供您参考

首先，你说的是笔记本电脑和数据磁卡，这意味着ADF自己的，不能满足你的需求，因为正如我所知，ADF只能满足简单的展平功能！如果你错过了，请先试试

第二，如果你对ADF功能有更多的要求，为什么不干脆放弃呢？因为笔记本电脑和数据磁卡不必与ADF一起使用，那么你为什么要支付更多的费用呢？对于笔记本电脑，您必须自己安装软件包，如pysql或pyodbc。对于Azure Databricks，您可以装载Azure blob存储并以文件系统的形式访问这些文件。此外，我想您不需要太多的工作线程，所以只需将其配置为2个最大值

我认为Databricks更适合作为一项工作进行管理

---

Azure函数也可以是一个选项。您可以创建一个blob触发器并将文件加载到一个容器中。当然，如果您不熟悉azure功能，您必须学习它的基本功能。但是，azure功能可能更经济。

您好，我的答案对您有帮助吗>