Google cloud platform 谷歌数据流作业监视器

我正在编写一个应用程序来监视和查看谷歌数据流作业

为了获取有关google dataflow作业的元数据，我正在探索下面列出的REST API：

我想知道是否有任何API可以实现以下功能：

1） 如果我们提供一个作业ID列表，就可以获取作业详细信息（有一个用于单个作业ID的API，但我希望ID列表也有相同的API）

2） 根据作业名称搜索或筛选作业。或者，筛选除作业状态之外的任何其他条件的作业

3） 获取与数据流作业关联的日志消息

4） 从一开始就获取“所有”作业的记录。当前的API似乎只提供过去30天内的作业记录

---

任何帮助都将不胜感激。谢谢

在本例中，我们通过跟踪作业阶段并使用调度器/cron作业在一个文件中报告运行作业的详细信息来实现这一功能。我们的作业监视这个带有1个bucket的文件，它只为我们的应用程序提供所有状态

关于Dataflow REST API的其他文档位于：

分别回答您的每个问题：

1） 如果我们提供一个作业ID列表，就可以获取作业详细信息（有一个用于单个作业ID的API，但我希望ID列表也有相同的API）

否，没有作业列表的批处理方法。您需要使用单独查询它们

2） 根据作业名称搜索或筛选作业。或者，筛选除作业状态之外的任何其他条件的作业

当前唯一可用的其他筛选器是位置

3） 获取与数据流作业关联的日志消息

在数据流中，有两种类型的日志消息：

“作业日志”由数据流服务生成，并提供有关整个作业执行的高级信息。这些都可以通过API获得

还有SDK编写的“工作日志”和管道中运行的用户代码。这些是在与管道相关联的分布式虚拟机上生成的，并接收到。它们可以通过Stackdriver日志API查询，方法是在过滤器中包含：

resource.type="dataflow_step"
resource.labels.job_id="<YOUR JOB ID>"

resource.type=“数据流\u步骤”
resource.labels.job_id=“”

4） 从一开始就获取“所有”作业的记录。当前的API似乎只提供过去30天内的作业记录

---

数据流作业仅由服务保留30天。旧作业会被删除，因此在UI或API中不可用。

是否真的没有办法获取项目中所有数据流作业的列表？