Google cloud dataflow 如何为数据流工作者使用stackdriver?

Google cloud dataflow 如何为数据流工作者使用stackdriver?,google-cloud-dataflow,Google Cloud Dataflow,从某种程度上说,这是一个后续工作,能够对工作人员的数据流池进行监控 目标是让dataflow生成的工作人员使用已安装stackdriver并将直接向 创建安装了驱动程序的ubuntu映像 使用基本映像的API密钥注册的驱动程序 通过options.setDiskSourceImage(…) 尽管执行了上述步骤,但没有一个实例显示在我的stackdriver控制台中。有什么想法吗?提议的解决方案行不通。如果您想在VM上启动stackdriver代理(或任何代理),有两种方法可以做到这一点 在

从某种程度上说,这是一个后续工作,能够对工作人员的数据流池进行监控

目标是让dataflow生成的工作人员使用已安装stackdriver并将直接向

  • 创建安装了驱动程序的ubuntu映像
  • 使用基本映像的API密钥注册的驱动程序
  • 通过
    options.setDiskSourceImage(…)

尽管执行了上述步骤,但没有一个实例显示在我的stackdriver控制台中。有什么想法吗?

提议的解决方案行不通。如果您想在VM上启动stackdriver代理(或任何代理),有两种方法可以做到这一点

  • 在项目级别,使用startup script元数据变量在启动时在所有虚拟机上运行脚本。
    • 配置此脚本以安装和配置堆栈驱动程序代理
    • 如果不想在所有虚拟机上运行此脚本,则需要
      • 在不希望运行脚本的VM上重写启动脚本元数据变量,或
      • 将启动脚本配置为在非数据流VM上不执行任何操作
  • 创建一个进程(与您的数据流作业分开),ssh将该进程插入到每个数据流VM中,并安装和运行代理
  • 免责声明我建议不要实施任何一种解决方案,除非您有迫切需要。这两种解决方案都依赖于数据流当前的内部工作,不属于任何外部合同的一部分。因此,如果数据流的实现发生变化,这两种解决方案都可能在没有警告的情况下中断


    在数据流中使用自定义磁盘映像不是可行的选择。diskSourceImage标志已弃用,将在未来的SDK版本中删除。不再支持它的原因是,数据流服务依赖于VM映像中的版本化资源。所以数据流需要控制VM映像,以便我们可以根据需要对其进行升级。如果用户提供他们自己的自定义图像,我们无法使它们与数据流服务的要求保持同步。

    您好,我已经回答了您的问题。不过,我想知道您最终希望从stackdriver获得什么信息。这可能会让我们提出一个更好的替代方案来获取该信息,或者创建一个功能请求,以便在将来更好地显示该信息。我最近注意到,一些来自数据流工作者的错误正在报告给stackdriver,尽管这似乎是间歇性的。这里有动静吗?