Apache flink 无法在群集上运行python flink应用程序

Apache flink 无法在群集上运行python flink应用程序,apache-flink,Apache Flink,我正在尝试在独立的Flink集群上运行Python Flink应用程序。应用程序在单节点集群上运行良好,但在多节点集群上抛出以下错误。java.lang.Exception:用户定义的“open”方法导致异常:复制文件时出错。请帮我解决这个问题。多谢各位 我尝试执行的应用程序具有以下代码 from flink.plan.Environment import get_environment from flink.plan.Constants import INT, STRING, WriteMod

我正在尝试在独立的Flink集群上运行Python Flink应用程序。应用程序在单节点集群上运行良好,但在多节点集群上抛出以下错误。java.lang.Exception:用户定义的“open”方法导致异常:复制文件时出错。请帮我解决这个问题。多谢各位

我尝试执行的应用程序具有以下代码

from flink.plan.Environment import get_environment
from flink.plan.Constants import INT, STRING, WriteMode

env = get_environment()

data = env.from_elements("Hello")

data.map(lambda x: list(x)).output()
env.execute()

您必须在flink-conf.yaml中配置python.dc.tmp.dir,以指向像HDFS这样的分布式文件系统。此目录用于分发python脚本。

请提供打开方法和完整stacktrace的代码。目前为止,您提供的信息无法帮助您。open函数实际上不是用户定义的,但我似乎没有找到解决此问题的方法。只有在多节点集群中执行时,此问题才会持续。您好,谢谢您的回复。有没有办法不用HDFS系统来设置它?不幸的是,目前您需要某种分布式文件系统。我有一个NFS文件系统,即使将flink-conf.yaml中的python.dc.tmp.dir配置到共享文件夹中,错误仍然存在。请帮忙。非常感谢。