Azure数据工厂-限制同时运行的Databricks管道的数量

我正在使用ADF执行Databricks笔记本。此时，我有6条管道，它们被执行

具体地说，在完成前者之后，后者由循环框使用多个参数执行，并且继续执行。例如，第一条管道完成后，它将使用不同的参数触发第二条管道的3个实例，每个实例都将触发第三条管道的多个实例。因此，我走得越深，我必须运行的管道就越多

我的问题是：当执行每个管道时，它会要求Databricks分配一个集群来运行。但是，Databricks限制了每个工作区要使用的核心数量，这会导致管道实例无法运行

我的问题是：是否有任何解决方案来控制同时运行的管道实例的数量，或者有任何解决方案来处理我的问题

提前感谢：-）

为什么会出现这个问题

注意：创建Databricks群集始终与订阅中可用的内核数相关

在创建任何databricks群集之前，请确保核心数为 在所选区域和VM系列vCPU中可用

您可以通过转到Azure Portal=>订阅来签出订阅的核心限制=>选择您的订阅=>设置“使用+报价””=>签出每个区域的可用使用配额

示例：如果您的订阅有>72个内核，从而导致ADF运行的成功，否则将导致失败

Activity Validate failed: Databricks execution failed with error message: Unexpected failure while waiting for the cluster to be ready. Cause Unexpected state for cluster (job-200-run-1):  Could not launch cluster due to cloud provider failures. azure_error_code: OperationNotAllowed, azure_error_message: Operation results in exceeding quota limits of Core. Maximum allowed: 350, Current in use: 344

我正在尝试创建6个带有databricks集群的管道，每个集群有2个工作节点。这意味着它需要

（6条管道）*（1个驱动节点+2个工作节点）*（4个核心）=72个核心

上述计算与具有4个核的虚拟机大小标准\u DS3\u v2一起使用

注意：创建需要4个以上内核的databricks spark群集，即驱动器类型至少需要4个内核，驱动器类型至少需要4个内核 工人类型）

此问题的解决方案：

通过将账单和订阅团队的票证提高到更高的限额来增加核心限额。使用此选项后，您将仅对使用过的磁芯收取费用

限制您的工作频率，以便限制有限的簇/考虑使用单个作业复制多个文件，这样您就可以限制将在订阅中耗尽内核的群集创建。 若要请求增加支持此类增加的一个或多个资源，请提交 （选择“配额”作为问题类型）

发行类型：服务和订阅限制（配额）

参考资料：

希望这有帮助。如果您还有任何疑问，请务必告诉我们

---

---

一定要单击“标记为答案”，并在帮助您的帖子上进行Upvote，这对其他社区成员是有益的。

您可以通过设置-Batch Count参数来限制每个foreach级别并行运行的活动数。（可在foreach循环的“设置”选项卡下找到）

batchCount—用于控制并行执行次数的批处理计数（当isSequential设置为false时）。

---

如果无法在整个管道级别设置限制，请尝试在每个嵌套的foreach循环中达到批处理计数的最小值。

非常感谢，CHEEKATLAPRADEEP。但是，我仍然想知道是否可以限制ADF上运行的实例数量。这可能吗？喂，我也有同样的问题，并行运行24台databricks笔记本电脑。我已经将管道中的currency参数设置为10，但它似乎不起作用。你试过用它来解决超额限额问题吗？@EmnaJaoua我决定限制我巢穴中实体的数量。或者，您可以提高Azure的票证，以增加可能的核心数。