Python 从数据流运行tensorflow模型训练

Python 从数据流运行tensorflow模型训练,python,tensorflow,google-cloud-dataflow,Python,Tensorflow,Google Cloud Dataflow,我在玩tensorflow,今天我注意到google也为他们的数据流开放了Python SDK。 目前,当我需要并行训练和评估多个网络时,我通常使用luigi并一个接一个地运行模型训练,或者使用spark并在map步骤中执行每个模型训练。 整个数据处理只是管道的一部分 我想知道是否有或者是否有计划在数据流管道中执行tensorflow模型训练步骤 目前是否有一些与此相关的最佳实践 还是必须在映射步骤中运行每个模型设置 我浏览了文档,现在看起来很模糊,所以我在这里询问是否有人有这方面的经验。目前没

我在玩tensorflow,今天我注意到google也为他们的数据流开放了Python SDK。 目前,当我需要并行训练和评估多个网络时,我通常使用
luigi
并一个接一个地运行模型训练,或者使用
spark
并在map步骤中执行每个模型训练。 整个数据处理只是管道的一部分

我想知道是否有或者是否有计划在数据流管道中执行tensorflow模型训练步骤

目前是否有一些与此相关的最佳实践

还是必须在映射步骤中运行每个模型设置


我浏览了文档,现在看起来很模糊,所以我在这里询问是否有人有这方面的经验。

目前没有任何计划

如果您可以在一台机器上运行Tensorflow培训(听起来这就是您使用Spark所做的),那么应该可以在数据流管道的
DoFn
中进行培训