Google compute engine 需要更新哪些计算引擎配额以运行具有50个工作者的数据流（IN_USE_ADDRESSES，CPU，CPU ALL_Region..）？

我们正在使用一个私人GCP帐户，我们希望处理30 GB的数据，并使用SpaCy进行NLP处理。我们希望使用更多的工人，我们决定从80名工人开始，如下所示。我们提交了我们的工作，我们对一些GCP标准用户配额存在一些问题：

QUOTA_EXCEEDED: Quota 'IN_USE_ADDRESSES' exceeded.  Limit: 8.0 in region XXX

因此，我决定为某个地区的

IN_USE\u ADDRESSES

请求一些新的配额50（我花了几次迭代才找到一个可以接受此请求的地区）。我们提交了一份新工作，并获得了新的配额问题：

QUOTA_EXCEEDED: Quota 'CPUS' exceeded.  Limit: 24.0 in region XXX

QUOTA_EXCEEDED: Quota 'CPUS_ALL_REGIONS' exceeded.  Limit: 32.0 globally

---

我的问题是，如果我想在一个地区使用50名工人，我需要更改哪些配额？文档似乎不是最新的，因为他们只说“要使用10个计算引擎实例，您需要10个正在使用的IP地址。”。正如您在上面看到的，这还不够，其他配额也需要更改。是否有一些文档、博客或其他文章对此进行了记录和解释？就一个地区而言，有49个计算引擎配额可以更改

我建议您开始使用私有IP而不是公共IP地址。这将在两个方面对您有所帮助：-

您可以绕过一些与IP地址相关的配额，因为它们与公共IP地址相关

通过消除网络出口成本显著降低成本，因为虚拟机不会通过公共互联网相互通信。您可以在这篇优秀的文章[1]中找到更多细节

要开始使用专用IP，请按照此处提到的说明[2]

除此之外，您还需要注意以下配额

中央处理器 您可以通过在

计算引擎

下适当设置

CPU

配额来增加给定区域的配额

持久磁盘 默认情况下，每个VM需要250 GB的存储空间，因此对于100个实例来说，大约需要25 TB。请检查您正在使用的工作进程的磁盘大小，并在

Compute Instances

下适当设置

Persistent disk

配额

对于云数据流洗牌批处理管道，默认磁盘大小为25 GB

托管实例组 由于数据流需要以下配额，因此您需要在该地区拥有足够的配额：-

每个云数据流作业一个实例组

每个云数据流作业一个托管实例组

每个云数据流作业一个实例模板

一旦您检查了这些配额，就应该为运行作业做好准备

1-

---

2-

我建议您开始使用私有IP而不是公共IP地址。这将在两个方面对您有所帮助：-

您可以绕过一些与IP地址相关的配额，因为它们与公共IP地址相关

通过消除网络出口成本显著降低成本，因为虚拟机不会通过公共互联网相互通信。您可以在这篇优秀的文章[1]中找到更多细节

要开始使用专用IP，请按照此处提到的说明[2]

除此之外，您还需要注意以下配额

中央处理器 您可以通过在

计算引擎

下适当设置

CPU

配额来增加给定区域的配额

持久磁盘 默认情况下，每个VM需要250 GB的存储空间，因此对于100个实例来说，大约需要25 TB。请检查您正在使用的工作进程的磁盘大小，并在

Compute Instances

下适当设置

Persistent disk

配额

对于云数据流洗牌批处理管道，默认磁盘大小为25 GB

托管实例组 由于数据流需要以下配额，因此您需要在该地区拥有足够的配额：-

每个云数据流作业一个实例组

每个云数据流作业一个托管实例组

每个云数据流作业一个实例模板

一旦您检查了这些配额，就应该为运行作业做好准备

1-

---

2-

您的数据流当前是否使用私有IP？不，我不这么认为。我正在使用Dataflow的默认选项，文档中写道：“如果未设置，默认值为true，云数据流工作人员使用公共IP地址。”您的数据流当前是否使用私有IP？不，我不这么认为。我正在使用Dataflow的默认选项，从文档中可以看到：“如果未设置，默认值为true，云数据流工作人员使用公共IP地址。”不使用外部IP的另一个原因是，从2020年1月1日起将有（适度）的成本。谢谢。我做了到私有IP的迁移，这并不困难。我正在更新你提到的古托塔。对于计算引擎和数据流API，我没有看到任何与配额相关的tp实例模板。这是我将在另一个API中找到的配额吗？

实例模板

是一个

全局

配额，是

计算引擎API

配额的一部分。另外，很高兴知道您迁移到了私有IP，我希望您已经为子网打开了

私有访问

，并且您的CIDR块有足够的地址来运行作业。如果这个答案有帮助，请接受这个答案。@JayadeepJayaraman，是的，我可以找到全球配额，谢谢。我仍然有一个私人IP的问题。我正在美国阅读一个BigQuery表，使用比利时（europe-west1）数据流的端点，苏黎世（europe-west6）有工人，因为这是我唯一可以获得更多配额的地方。我正在美国BigQuety撰写最终结果。有了公共IP，这一切都很好。对于私有IP，它在信息很少的情况下失败了。我只在europe-west1和europe-west6中打开了私人访问。有什么想法吗？在美国，我是否也应该为BigQuery的iTreaction这样做？如上所述，您是否打开了私有访问？