Google cloud dataflow 数据流日志UI中列出的所有不同日志是什么?

Google cloud dataflow 数据流日志UI中列出的所有不同日志是什么?,google-cloud-dataflow,Google Cloud Dataflow,在云数据流日志UI中,我看到了4个不同的日志 数据流线束 数据流线束标准输出 数据流工作者启动器 洗牌 每个日志代表什么 这里有一个截图显示了我的意思。 数据流线束和数据流线束标准输出是java worker线束生成的日志。工人安全带完成大部分工作(例如,将您的ParDo应用于数据) 选择数据流线束将显示java worker线束记录的所有消息 我们还获取java worker线束的stdout/stderr,这些日志显示在数据流线束stdout下。我们这样做是为了捕获java记录器可能无法捕获

在云数据流日志UI中,我看到了4个不同的日志

  • 数据流线束
  • 数据流线束标准输出
  • 数据流工作者启动器
  • 洗牌
  • 每个日志代表什么

    这里有一个截图显示了我的意思。
    数据流线束数据流线束标准输出是java worker线束生成的日志。工人安全带完成大部分工作(例如,将您的ParDo应用于数据)

    选择数据流线束将显示java worker线束记录的所有消息

    我们还获取java worker线束的stdout/stderr,这些日志显示在数据流线束stdout下。我们这样做是为了捕获java记录器可能无法捕获的任何信息,如JVM崩溃时的堆栈转储

    dataflow worker starter记录与启动java worker线束相关的消息。启动过程基本上包括从GCS下载作业的JAR,然后启动java worker工具。因此,如果启动java worker线束出现问题,这也是一个好地方

    最后,在shuffle下,您将找到shuffler中的日志