Google app engine 在GCP中,是否有一种从API中刮取数据的规范方法?

Google app engine 在GCP中,是否有一种从API中刮取数据的规范方法?,google-app-engine,google-cloud-platform,Google App Engine,Google Cloud Platform,我正在构建一个应用程序,它将定期从几个API中提取数据,并将它们写入云存储,以便稍后通过数据流进行处理。有很多不同的方法可以做到这一点,所以我想在我跳进去之前检查一下自己的精神状态 我的计划是: 对于每个API,云调度器都将命中应用程序引擎应用程序的端点 该应用程序将创建一个带有启动脚本的计算引擎VM实例,该脚本从API中提取数据并将其写入存储器 完成后,虚拟机将命中关闭虚拟机的应用程序引擎应用程序上的另一个端点 这样做合理吗?有更简单或更直接的方法吗?提前感谢您的回复。您可以使用App E

我正在构建一个应用程序,它将定期从几个API中提取数据,并将它们写入云存储,以便稍后通过数据流进行处理。有很多不同的方法可以做到这一点,所以我想在我跳进去之前检查一下自己的精神状态

我的计划是:

  • 对于每个API,云调度器都将命中应用程序引擎应用程序的端点
  • 该应用程序将创建一个带有启动脚本的计算引擎VM实例,该脚本从API中提取数据并将其写入存储器
  • 完成后,虚拟机将命中关闭虚拟机的应用程序引擎应用程序上的另一个端点

这样做合理吗?有更简单或更直接的方法吗?提前感谢您的回复。

您可以使用App Engine cron作业来安排任务。您的应用程序引擎应用程序cron处理程序可以简单地运行从API提取数据的脚本。也许我遗漏了什么,为什么需要使用计算引擎实例来运行脚本

Cloud Scheduler可以,但您似乎无法使用此方法创建和删除VM。

我不确定它是否能满足您的所有需求,但Cloud Scheduler可以,但您似乎无法使用此方法创建和删除VM。这似乎是一种更标准的做法。谢谢你的建议!我的想法是,在appengine中拥有大量代码是解决问题的一种不太“云计算”的方式。此外,虚拟机比应用程序引擎更便宜——特别是在这种情况下,微型虚拟机实例可以免费完成这项工作(你每月可以得到720个小时,这比我需要的要多得多)。