Azure hdinsight 在Azure data Factory中的单个HDinsight群集上运行多个管道和/或作业

建议使用HDInsight cluster在Azure Data Factory中为自定义活动运行管道的方式是什么。我们可以将单个HDInsight群集用于多个Azure Data Factory作业和同时运行的多个管道吗

如果您指的是使用Azure Data Factory运行自定义.NET活动，那么您可以像运行HDInsight活动一样运行它，只是将其标记为自定义活动并链接到blob存储中的.NET dll zip文件。运行Azure批处理也是一种选择，因为.NET可以很好地工作，Azure批处理更便宜（如果自定义活动是拥有HDInsight群集的唯一原因）

您可以使用单个HDInsight群集运行多个data factory作业，包括多个并行管道。但是，请记住，根据并行作业（数量、大小等）和集群的配置，可能会导致集群资源过载