可以在Apache beam或google cloud数据流中运行自定义python脚本吗

我想使用GCP运行我的一个python脚本。我对GCP相当陌生，所以我没有很多想法

我的python脚本从BigQuery获取数据并执行这些任务

几种数据处理操作

使用KDTree和少量聚类算法构建ML模型

将最终结果转储到一个大查询表中

这个脚本需要每晚运行

到目前为止，我知道我可以使用虚拟机、云运行、云功能（这对我来说不是一个好的选择，因为完成所有事情需要大约一个小时）。对我来说，运行此程序的最佳选择是什么

---

我遇到过数据流，但我很好奇是否有可能运行一个定制的python脚本，它可以在google cloud数据流中完成所有这些事情（假设我必须将所有内容转换为map reduce格式，这在我的代码中似乎并不容易，尤其是ML部分）？

是否只需要一个python脚本在单个实例上运行几个小时，然后终止

您可以在GCP项目中设置“基本缩放”应用程序引擎微服务。使用“基本缩放”时，taskqueue任务的最大运行时间为24小时

请求最多可运行24小时。基本缩放实例可以选择处理/_ah/启动并执行程序或脚本数小时，而无需返回HTTP响应代码。任务队列任务最多可运行24小时

---

您需要更具体地了解操作内容。Beam管道可以用Python编写并部署在数据流上，是的。从你的问题来看，听起来你想要一个运行脚本、可以连接到数据源、处理编排等的云产品。在这种情况下，你可以检查cloud Function或cloud Composer。谢谢，我刚刚编辑了这个问题。我对数据流部分感到困惑。