Google cloud platform Google云中的自动缩放实例

我有一个定期增长的数据集

我将把数据存储到GoogleBigQuery中，然后我想使用Python和pandas进行一些分析和数据转换，并将其再次放入GoogleBigQuery中

我正在考虑使用云计算引擎实例从Google Bigquery获取数据。我会从一个小实例开始，随着数据的增长，使用一些云函数来计算数据的大小，例如熊猫需要处理这些数据，并检查我是否需要增加实例的能力，但我不知道是否有更好的方法来解决这个问题

我想知道谷歌云中是否有一项服务能够自动扩展实例的能力，因为随着数据的增长，实例将需要更多的能力

应用程序引擎会这样做吗？还是应用程序引擎仅扩展添加更多虚拟机

---

云运行，这是一个服务，我可以使用它来触发运行docker，它将自动创建一个实例，并将其放大，以便能够处理数据？这是我可以使用的东西？

目前唯一可用的增加虚拟机大小的垂直自动缩放是使用。否则，app engine和compute engine都只支持在虚拟机仍处于活动状态时添加更多虚拟机。 虽然如果您的用例允许关闭VM，以便在需要时增加机器大小，那么这是完全可能的。

---

我建议选择一个足够大的机器类型来容纳您的数据，或者使用一个实例组来分散您的工作负载，如果这在您的用例中。

您的问题是如何自动缩放BigQuery或其他类似计算引擎的东西？有两种类型的扩展，一种是扩展每个实例的更多功率，另一种是扩展共享负载的更多实例。用更多的细节编辑你的问题。我认为现在可以更好地解释大查询中存储的数据量与计算实例中所需的计算能力之间的关系。谷歌并没有提供一种可以自动将你的计算实例放大的服务。您需要编写一个托管在云函数或云运行中的函数，以根据您的自定义指标计算实例大小。我可以计算Panda处理某些大小数据所需的内存RAM大小之间的相关性，并据此制定规则？我在想，也许可以使用pyspark代码来提高可伸缩性，你认为这是个好主意吗？如果你可以计算BigQuery数据集大小和内存之间的相关性，为什么不编写一个简单的函数来实现呢？派斯帕克太过分了。