Java 有什么方法可以让云数据流像流一样输出吗?

Java 有什么方法可以让云数据流像流一样输出吗?,java,google-bigquery,google-cloud-platform,google-cloud-dataflow,Java,Google Bigquery,Google Cloud Platform,Google Cloud Dataflow,我使用GoogleCloudDataflow来处理绑定数据并输出到BigQuery,我希望它可以处理一些东西并编写一些东西(比如流,而不是批处理),我可以这样做吗 目前,数据流将等待工作进程处理所有数据,并写入BigQuery,我尝试添加FixedWindow并使用Log Timestamp param作为窗口的时间戳,但它不起作用 我想知道: 窗口化是处理此问题的正确方法吗 BigQueryIO真的是批写吗?或者它只是不显示在我的仪表板上(后台写流?) 有什么办法可以满足我的需要吗 我的源代码

我使用GoogleCloudDataflow来处理绑定数据并输出到BigQuery,我希望它可以处理一些东西并编写一些东西(比如流,而不是批处理),我可以这样做吗

目前,数据流将等待工作进程处理所有数据,并写入BigQuery,我尝试添加FixedWindow并使用Log Timestamp param作为窗口的时间戳,但它不起作用

我想知道:

  • 窗口化是处理此问题的正确方法吗
  • BigQueryIO真的是批写吗?或者它只是不显示在我的仪表板上(后台写流?)
  • 有什么办法可以满足我的需要吗
  • 我的源代码如下:


    多谢各位

    您需要在
    PipelineOptions
    中将
    streaming
    属性设置为
    true

    有关更多信息,请参阅

    此外,您还需要使用能够生成/使用无限数据的源/汇。BigQuery已经可以在两种模式下写入,但当前TextIO只读取有界数据。但是,编写一个自定义的无界源代码来扫描目录中的新文件绝对是可能的