Apache flink 从IDE运行时Flink webui

Apache flink 从IDE运行时Flink webui,apache-flink,flink-streaming,Apache Flink,Flink Streaming,我试图在web ui中查看我的工作 我使用createLocalEnvironmentWithWebUI,代码在IDE中运行良好,但无法在中查看我的工作 val-conf:Configuration=new-Configuration() 导入org.apache.flink.configuration.ConfigConstants conf.setBoolean(ConfigConstants.LOCAL\u START\u WEBSERVER,true) val env=StreamExe

我试图在web ui中查看我的工作

我使用createLocalEnvironmentWithWebUI,代码在IDE中运行良好,但无法在中查看我的工作

val-conf:Configuration=new-Configuration()
导入org.apache.flink.configuration.ConfigConstants
conf.setBoolean(ConfigConstants.LOCAL\u START\u WEBSERVER,true)
val env=StreamExecutionEnvironment.createLocalEnvironmentWithWebUI(conf)
环境setStreamTimeCharacteristic(TimeCharacteristic.EventTime)
val rides=env.addSource(
新的出租车资源(“nycTaxiRides.gz”,1100))//60600)
val filteredRides=游乐设施
.filter(r=>geootils.isInNYC(r.starton,r.startat)和&geootils.isInNYC(r.endLon,r.endLat))
.map(r=>(r.passengerCnt,1))
.keyBy(u.u 1)
.window(TumblingTimeWindows.of(Time.seconds(5)))
.sum(1)
.map(r=>(r._1.toString+“test”,r._2))
filteredRides.print()
环境执行(“出租车清洁”)

我是否需要设置其他内容?

是的,如果要使用WebUI Dashboard,则需要创建一个可执行jar,然后将此jar提交给Flink Dashboard。我会一步一步地向你解释

步骤1:从IDE代码创建jar

  • 您可能需要将执行环境更改为
拖缆执行环境= StreamExecutionEnvironment.getExecutionEnvironment()

  • 如果您有多个JAR,那么在 Main类:Manifest.mf文件的变量

  • 然后在IDE中使用构建构件创建一个jar

第2步:启动flink local cluster,它将显示仪表板

  • 我假设您没有下载Flink二进制文件,您可以 轻松下载,如果你有Macintosh,我建议你 使用brew安装apache flink,它将下载最新的稳定版本 当前版本为1.3.2

  • 好的,现在您必须转到安装flink的路径并

第3步:提交作业

  • 通过提交新作业选项提交jar,然后运行它

通过将Flink runtime web添加到项目的依赖项中,我可以从IntelliJ启动Flink webui。为此,我将以下内容添加到pom.xml文件中:


org.apache.flink
flink-runtime-web_2.11
${flink.version}
然后,您还需要创建一个本地执行环境,其中包括WebUI:

Configuration conf=new Configuration();
env=StreamExecutionEnvironment.createLocalEnvironmentWithWebUI(conf);

从Flink 1.5.0版开始,添加前面提到的依赖项,并使用以下代码启动StreamenEnvironment对我来说很有效:

Configuration config = new Configuration();
config.setBoolean(ConfigConstants.LOCAL_START_WEBSERVER, true);
StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironmentWithWebUI(config);

在处理运行时,web UI在

Thank@Amarjit下可用,我希望避免创建jar。我尝试了这个解决方案,但没有成功:谢谢@alpinegizmo。我将此依赖项添加到pom.xml中。它不起作用。您是否需要像@Amarjit建议的那样构建一个jar来让它工作?不,我没有构建jar。这种方法确实有效,但我认为您的目标是完全在IDE中运行应用程序。你查过日志了吗?现在它开始工作了,我收到了一条短信,上面写着“16:20:25425 INFO org.apache.flink.runtime.minicluster.FlinkMiniCluster-启动JobManger web前端”。在添加依赖项之前,我遇到了一个错误。可能您的pom没有定义flink.version,在这种情况下,请改为输入版本号(例如1.3.2)。事实上,我和您有相同的行,我必须从终端停止:'/bin/stop cluster.sh'。现在它开始工作了!Thx alpinegizmo。请参阅: