Google cloud dataflow 请参见Google数据流中的作业图大小

尝试运行管道时，我收到以下错误消息：

作业图表太大。请使用较小的作业图重试，或将您的作业拆分为两个或多个较小的作业

根据文档，限制为10MB。然而；我想知道这个图实际上有多大，以便更容易调试

---

有没有办法查看图表的大小？

如注释中所述，使用

--dataflow\u job\u file

选项。请注意，无需指定gcs路径，您可以在本地将其写出。您还可以传递

--dry\u run

选项以避免实际提交作业。

在部署管道时，您可以使用

--dataflow\u作业文件gs://$BUCKET/out.json

标志（如果使用python）或

--dataflowJobFile gs://$BUCKET/out.json

（对于Java SDK）？告诉我文件的大小？它会将管道的.json表示形式输出到GCS bucket，这是一个很好的估计大小请求的大小的方法。这并不是说这不会给出确切的大小，因为内部表示形式有点不同，但是查看结果文件并查看哪些转换/dofn比预期的大可能会很有趣。