Google cloud dataflow 直接覆盖生成时设置的数据流模板参数可以吗?

Google cloud dataflow 直接覆盖生成时设置的数据流模板参数可以吗?,google-cloud-dataflow,Google Cloud Dataflow,我们希望防止数据流模板的某些参数(即filesToStage)在数据流作业页面中填充。有没有推荐的方法来实现这一点?我们发现,在通过gcloud启动模板时,只需指定“filesToStage=“就足够了,但我们不确定这是否是健壮/稳定的行为 对于上下文,我们托管此数据流模板供客户使用,并希望尽可能多地隐藏实现(包括类路径)。具体而言,filesToStage可以作为空白发送,文件将根据Java类路径推断: 如果filesToStage为空,那么数据流将根据Java类路径推断要stage的文件 有

我们希望防止数据流模板的某些参数(即filesToStage)在数据流作业页面中填充。有没有推荐的方法来实现这一点?我们发现,在通过
gcloud
启动模板时,只需指定
“filesToStage=“
就足够了,但我们不确定这是否是健壮/稳定的行为


对于上下文,我们托管此数据流模板供客户使用,并希望尽可能多地隐藏实现(包括类路径)。

具体而言,
filesToStage
可以作为空白发送,文件将根据Java类路径推断:

如果filesToStage为空,那么数据流将根据Java类路径推断要stage的文件

有关此字段和其他字段的注意事项的更多信息,请参见


对于其他参数,将使用来隐藏参数。

具体来说,
filesToStage
可以作为空白发送,并且将根据Java类路径推断文件:

如果filesToStage为空,那么数据流将根据Java类路径推断要stage的文件

有关此字段和其他字段的注意事项的更多信息,请参见


对于其他参数,将使用来隐藏参数。

Tlaquetzal的答案是正确的:本质上,您不应该覆盖值。对于FileToStage,您可以为所有类生成一个uberjar,这样您就可以避免显示正在暂存的特定包。但是,一般来说,您可能想要一个更可定制的数据流视图,这听起来像是一个合理的功能请求。您愿意向数据流发送功能请求吗?当然,让我们讨论一下。Tlaquetzal的答案是正确的:本质上,您不应该覆盖值。对于FileToStage,您可以为所有类生成一个uberjar,这样您就可以避免显示正在暂存的特定包。但是,一般来说,您可能想要一个更可定制的数据流视图,这听起来像是一个合理的功能请求。您愿意向数据流发送一个功能请求吗?当然,让我们讨论一下。空白是指显式设置
filesToStage=
,还是完全忽略它?第一种方法不起作用(没有放置罐子),第二种方法是我以前所做的。当数据流推断要暂存的文件时,它似乎正在为我设置该参数。我认为巴勃罗关于优步罐的想法是目前最简单的解决方案。很抱歉造成混淆。是的,如果指定“filesToStage=”则将显式删除所有文件,这将不起作用。我指的是省略参数,;然而,这并不能解决可见性问题。我认为@Pablo suggestion是FileToStage的方法,Cloud KMS可以用于其他参数。此外,您可以向Dataflow团队创建一个功能请求,要求提供选项以隐藏作业中的参数。您的意思是显式设置
FileToStage=
,还是完全忽略它?第一种方法不起作用(没有放置罐子),第二种方法是我以前所做的。当数据流推断要暂存的文件时,它似乎正在为我设置该参数。我认为巴勃罗关于优步罐的想法是目前最简单的解决方案。很抱歉造成混淆。是的,如果指定“filesToStage=”则将显式删除所有文件,这将不起作用。我指的是省略参数,;然而,这并不能解决可见性问题。我认为@Pablo suggestion是FileToStage的方法,Cloud KMS可以用于其他参数。此外,您可以向Dataflow团队创建一个功能请求,要求提供选项以隐藏作业UI中的参数