如何通过Azure Data Lake Store gen1中的新文件触发Azure Data Factory v2或Azure DataRicks笔记本中的管道

如何通过Azure Data Lake Store gen1中的新文件触发Azure Data Factory v2或Azure DataRicks笔记本中的管道,azure,azure-data-lake,databricks,azure-data-factory-2,Azure,Azure Data Lake,Databricks,Azure Data Factory 2,我正在使用Azure Data Lake Store gen1来存储JSON文件。基于这些文件,我在Azure Databricks中有笔记本用于处理它们。现在我想在Azure Data Lake Store gen1中创建新文件时触发这样一个Azure Databricks笔记本。我找不到能触发这一切的触发器。你知道有什么办法吗?目前,微软还没有实施/支持这一方案。但这是他们的路线图(我相信) 你可以通过两种方式来实现 Azure功能(通过事件网格) 逻辑应用程序 选项1 目前,微软正以#1

我正在使用Azure Data Lake Store gen1来存储JSON文件。基于这些文件,我在Azure Databricks中有笔记本用于处理它们。现在我想在Azure Data Lake Store gen1中创建新文件时触发这样一个Azure Databricks笔记本。我找不到能触发这一切的触发器。你知道有什么办法吗?

目前,微软还没有实施/支持这一方案。但这是他们的路线图(我相信)

你可以通过两种方式来实现

  • Azure功能(通过事件网格)

  • 逻辑应用程序


  • 选项1 目前,微软正以#1为基础

    您可以跟踪问题

    照此

    这项功能目前对我们来说不是很重要,但我会注意到 Azure事件网格的公告将Data Lake列为 他们正在构建的集成。一旦你可以订阅数据 Lake通过事件网格进行更新,运行Azure函数 琐碎的(参见此处了解一些信息)

    您可以选择在DataLake中支持事件网格(提供程序)


    选项2 这也还没有实现,但是您可以在这里支持此功能