Hive 为什么Thread/HDInsight限制运行500个Thread应用程序？

我曾多次在Thread（HDInslight Linux集群）中遇到错误：-

根据MS站点，决议为：-

Wait until currently pending jobs have completed before submitting more jobs

---

我觉得每个集群500个作业的限制（不幸的是，在Hive中还包括templeton作业）太严格了。这意味着每个集群大约可以运行200-250个配置单元作业。如果我们需要运行更多，我们需要生成另一个集群。这很奇怪。这意味着，无论纱线集群中有多少节点，无论每个节点有多少内核和内存，我都只能运行500个作业。一定有办法解决这个问题。否则，这与分布式计算的理念背道而驰，在分布式计算中，我们可以通过向集群添加更多节点来增加容量。这就像即使集群中有10000个节点，我也只能在该集群上运行500个作业。有什么解决方案吗？

HDInsight文档提示默认的纱线限制是队列中的10000个作业，其中500个作业通过WebHCat（née Templeton）发布——看起来像是一个健全的检查，即WebHCat从来不是用于重负荷作业调度的。出于好奇：你通过WebHCat提交了什么样的“工作”，你是否考虑过其他类型的流水线，例如通过HiVEVERV2 JDBC/ODBC会话？我们主要是通过Azure数据工厂来调度HIVE作业。ADF中有大量管道，其活动为HDInsightHive类型。我们主要使用配置单元，因此需要能够针对集群并行运行多个配置单元作业。更正了主要帖子中的确切错误描述。@Dhiraj您得到了答案吗？HDInsight文档提示默认的线程限制是队列中的10000个作业，其中500个作业是通过WebHCat（née Templeton）发布的--看起来像是一个健全的检查，即WebHCat从来就不适用于繁重的作业调度。出于好奇：你通过WebHCat提交了什么样的“工作”，你是否考虑过其他类型的流水线，例如通过HiVEVERV2 JDBC/ODBC会话？我们主要是通过Azure数据工厂来调度HIVE作业。ADF中有大量管道，其活动为HDInsightHive类型。我们主要使用配置单元，因此需要能够针对群集并行运行多个配置单元作业。更正了主要帖子中的确切错误描述。@Dhiraj您得到了答案吗？

Wait until currently pending jobs have completed before submitting more jobs