Google cloud dataflow 数据流UDF的更新延迟

Google cloud dataflow 数据流UDF的更新延迟,google-cloud-dataflow,Google Cloud Dataflow,我有一个从pub/sub到bigquery的数据流,它使用javascript UDF来操作数据。如果我在云存储中修改文件,正在运行的数据流是否会自动更新以开始使用这个新的UDF,是否有延迟,或者我必须手动触发它?我更改了UDF,但数据流的行为就好像它在使用旧的UDF运行一样 另外,调试这些在数据流上运行的UDF的最佳方法是什么 谢谢 你是指数据流模板,对吗 不幸的是,更改文件时UDF不会刷新。要使用新文件进行更新,您需要执行管道更新,或停止/重新启动管道 至于调试UDF,我不确定什么是最好的方

我有一个从pub/sub到bigquery的数据流,它使用javascript UDF来操作数据。如果我在云存储中修改文件,正在运行的数据流是否会自动更新以开始使用这个新的UDF,是否有延迟,或者我必须手动触发它?我更改了UDF,但数据流的行为就好像它在使用旧的UDF运行一样

另外,调试这些在数据流上运行的UDF的最佳方法是什么


谢谢

你是指数据流模板,对吗

不幸的是,更改文件时UDF不会刷新。要使用新文件进行更新,您需要执行管道更新,或停止/重新启动管道

至于调试UDF,我不确定什么是最好的方法;但您可以在中访问管道代码,并通过在本地运行或编写简化版本来调试管道