Google cloud dataflow 我可以定制源代码吗&;从本地服务器(文件或数据库..)直接接收到数据流?

Google cloud dataflow 我可以定制源代码吗&;从本地服务器(文件或数据库..)直接接收到数据流?,google-cloud-dataflow,Google Cloud Dataflow,我想让自定义源和接收器直接从本地服务器(文件或数据库)到数据流。所以我想知道这是否可能 如果可能的话,我应该小心做什么? 仅供参考,我从未制作过自定义源和接收器。 但我曾经使用过GCS,dataflow。dataflow可以从任意源读取数据,也可以写入任意接收器。您当然可以将连接器写入各种类型的文件和数据库 然而,当在远程服务上执行管道时,例如在云中的Google Cloud Dataflow,取决于几个因素,它可能无法访问本地机器上运行的服务。此外,此类本地服务的扩展性可能不足以获得性能良好的

我想让自定义源和接收器直接从本地服务器(文件或数据库)到数据流。所以我想知道这是否可能

如果可能的话,我应该小心做什么? 仅供参考,我从未制作过自定义源和接收器。 但我曾经使用过GCS,dataflow。

dataflow可以从任意源读取数据,也可以写入任意接收器。您当然可以将连接器写入各种类型的文件和数据库

然而,当在远程服务上执行管道时,例如在云中的Google Cloud Dataflow,取决于几个因素,它可能无法访问本地机器上运行的服务。此外,此类本地服务的扩展性可能不足以获得性能良好的数据处理管道

因此,最好将数据移动到基于云的服务,如Google云存储或Google BigQuery