Google cloud dataflow 如何使用BigQuery测试数据流管道

我想测试一下我的管道。 我的管道从BigQuery中提取数据，然后将数据存储到GCS和S3。 虽然这里有一些关于管道测试的信息， , 它不包括关于从BigQuery中提取数据的数据模型

我找到了下面的例子，但它缺少注释，所以有点难以理解。

---

有什么好的文档可以用来测试我的管道吗？

为了正确地集成测试整个管道，请在BigQuery中创建少量样本数据。此外，请在S3和GCS中创建一个示例存储桶/文件夹来存储您的输出。然后像平常一样运行管道，使用PipelineOptions指定testbq表。如果要在本地运行，可以使用。创建一个脚本可能是最容易的，该脚本首先运行管道，然后从S3和GCS下载数据，并验证您是否看到了预期的结果

如果您只想在一些脱机数据上测试管道的转换，那么请遵循下面的示例