Apache flink Beam jar无法在远程flink群集上运行
使用梁2.6和Flink 1.5.3进行试验。梁运行本地flink转轮没有问题。但无法在flink群集上运行。尝试mvn和flink提交作业。使用mvn运行时,我使用了:Apache flink Beam jar无法在远程flink群集上运行,apache-flink,apache-beam,Apache Flink,Apache Beam,使用梁2.6和Flink 1.5.3进行试验。梁运行本地flink转轮没有问题。但无法在flink群集上运行。尝试mvn和flink提交作业。使用mvn运行时,我使用了: mvn clean package -Pflink-runner exec:java -Dexec.mainClass=org.apache.beam.examples.WordCount -Dexec.args="--runner=FlinkRunner --flinkMaster=c2:6123 --filesT
mvn clean package -Pflink-runner exec:java -Dexec.mainClass=org.apache.beam.examples.WordCount -Dexec.args="--runner=FlinkRunner --flinkMaster=c2:6123 --filesToStage=target/word-count-beam-bundled-0.1.jar"
这导致请求blob服务器端口时出现问题阻塞,,无法继续
2018年9月21日上午11:47:38 org.apache.zookeeper.ClientCnxn$SendThread
LogStartConnection信息:正在打开与服务器的套接字连接
192.168.0.12/192.168.0.12:2181. 不会尝试使用SASL进行身份验证(未知错误)2018年9月21日上午11:47:38
org.apache.zookeeper.ClientCnxn$SendThread primeConnection信息:
已建立到192.168.0.12/192.168.0.12:2181的套接字连接,
启动会议2018年9月21日上午11:47:38
org.apache.zookeeper.ClientCnxn$SendThread onConnected INFO:Session
在服务器192.168.0.12/192.168.0.12:2181上完成建立,
会话ID=0x165adfcdcd9104b,协商超时=90000 2018-09-21
11:47:38信息连接管理器$HConnectionImplementation:2155-
关闭主协议:MasterService 2018-09-21 11:47:38信息
ConnectionManager$HConnectionImplementation:1712-关闭zookeeper
sessionid=0x165adfcdcd9104b 2018年9月21日上午11:47:38
org.apache.zookeeper.ClientCnxn$EventThread运行信息:EventThread关闭
2018年9月21日上午11:47:38 org.apache.zookeeper.zookeeper关闭
信息:会话:0x165adfcdcd9104b截止2018年9月21日上午11:47:39
org.apache.flink.client.program.rest.RestClusterClient提交作业信息:
提交作业aa366f2bd4bff3ddab47c1a890c84256(分离:false)。九月
2018年11月21日上午11:47:39
org.apache.flink.client.program.rest.RestClusterClient提交作业信息:
请求blob服务器端口
使用flink直接提交作业时,请使用:
$FLINK_HOME/bin/flink run -c org.apache.beam.examples.WordCount target/test-beam-bundled-0.1.jar --runner=FlinkRunner --flinkMaster=c2:6123 --filesToStage=target/word-count-beam-bundled-0.1.jar
它会引发以下异常:
程序已完成,但出现以下异常:
在中运行时,无法实例化RemoteEnvironment
预定义的上下文(如命令行客户端、Scala Shell或
测试环境)
org.apache.flink.api.java.RemoteEnvironment.(RemoteEnvironment.java:126)
org.apache.flink.api.java.RemoteEnvironment.(RemoteEnvironment.java:86)
org.apache.flink.api.java.ExecutionEnvironment.createRemoteEnvironment(ExecutionEnvironment.java:1168)
org.apache.beam.runners.flink.FlinkExecutionEnvironments.createBatchExecutionEnvironment(FlinkExecutionEnvironments.java:58)
org.apache.beam.runners.flink.FlinkPipelineExecutionEnvironment.translate(FlinkPipelineExecutionEnvironment.java:93)
org.apache.beam.runners.flink.FlinkRunner.run(FlinkRunner.java:110)
org.apache.beam.sdk.Pipeline.run(Pipeline.java:313)
org.apache.beam.sdk.Pipeline.run(Pipeline.java:299)
有什么想法吗?我发现这是光束版本的问题。Beam java sdk只能与Flink 1.5.1一起使用。Flink 1.5.2+中有一个变化,blob上传方法发生了变化。Beam无法通过Flink blob rest api加载jar