Google cloud platform PGPy-won';不要在GCP数据流管道上运行

Google cloud platform PGPy-won';不要在GCP数据流管道上运行,google-cloud-platform,google-cloud-dataflow,apache-beam,python-3.8,Google Cloud Platform,Google Cloud Dataflow,Apache Beam,Python 3.8,我试图在使用ApacheBeam实现的定制GCP数据流管道中使用PGPy库。 我得到的是DirectRunner的一切都可以正常工作,但当我部署作业并在DataflowRunner上执行作业时,我在PGPy使用方面遇到了一个错误: ModuleNotFoundError:没有名为“pgpy”的模块 我想我错过了DataflowRunner的一些东西 谢谢要管理管道依赖关系,请参阅: 我个人的偏好是直接使用setup.py,因为它允许您处理多个文件依赖项,一旦管道变得更复杂,就会使用这些依赖项。

我试图在使用ApacheBeam实现的定制GCP数据流管道中使用PGPy库。 我得到的是DirectRunner的一切都可以正常工作,但当我部署作业并在DataflowRunner上执行作业时,我在PGPy使用方面遇到了一个错误:

ModuleNotFoundError:没有名为“pgpy”的模块

我想我错过了DataflowRunner的一些东西


谢谢

要管理管道依赖关系,请参阅:


我个人的偏好是直接使用setup.py,因为它允许您处理多个文件依赖项,一旦管道变得更复杂,就会使用这些依赖项。

我需要使用PGP加密在数据流作业执行期间创建的文件。答案有用吗?