Apache flink 射束发射flink的环境配置是什么

Apache flink 射束发射flink的环境配置是什么,apache-flink,apache-beam,Apache Flink,Apache Beam,我希望在运行Beam wordcount.py演示时,能获得有关如何设置--environment\u config的指导 它与DirectRunner一起运行良好。Flink的字数也运行良好(即通过Flink-run运行Flink) 我想使用Flink runner运行Beam,使用“分离的Flink群集”,如中所述。我不能使用Docker,所以我计划使用--environment\u type=PROCESS 我在python代码中使用以下内容来设置环境配置: environment_c

我希望在运行Beam wordcount.py演示时,能获得有关如何设置
--environment\u config
的指导

它与DirectRunner一起运行良好。Flink的字数也运行良好(即通过
Flink-run
运行Flink)

我想使用Flink runner运行Beam,使用“分离的Flink群集”,如中所述。我不能使用Docker,所以我计划使用
--environment\u type=PROCESS

我在python代码中使用以下内容来设置环境配置:

  environment_config = dict()
  environment_config['os'] = platform.system().lower()
  environment_config['arch'] = platform.machine()
  environment_config['command'] = 'ls'
  ec = "--environment_config={}".format(json.dumps(environment_config))
显然,这个命令是错误的。当我运行此命令时,Flink确实接收并成功处理了
DataSource
子任务。它最终在
链映射分区上超时


是否有人可以提供有关如何设置环境配置的指导(或链接)?我正在Singularity容器中运行Beam。

对于environment_type=DOCKER,大部分事情都会为您解决,但在进程模式下,您必须自己进行大量设置。您要查找的命令是
sdks/python/container/build/target/launcher/linux\u amd64/boot
。您需要在所有工作机器上都安装可执行文件(可以使用
/gradlew:sdks:python:container:build
)和python安装,包括Beam和其他依赖项


我所知道的最好的例子是:

对于environment_type=DOCKER,大部分事情都会为您解决,但在流程模式下,您必须自己进行大量设置。您要查找的命令是
sdks/python/container/build/target/launcher/linux\u amd64/boot
。您需要在所有工作机器上都安装可执行文件(可以使用
/gradlew:sdks:python:container:build
)和python安装,包括Beam和其他依赖项


我所知道的最好的例子是:

对于其他人:请参考此讨论:对于其他人:请参考此讨论: