天天速读:大数据Flink进阶(十二):Flink本地模式开启WebUI
腾讯云 2023-04-10 07:26:53


(相关资料图)

​Flink本地模式开启WebUI

在工作中我们一般使用IntelliJ IDEA开发工具进行代码开发,为了能方便快速的调试Flink和了解Flink程序的运行情况,我们希望本地开发工具中运行Flink时能查看到WebUI,这就可以在编写Flink程序时开启本地WebUI。

一、在Flink 项目中添加本地模式 WebUI的依赖

在Flink1.15版本之前根据使用Scala版本在Java Flink项目或Scala Flink项目中添加对应Scala版本的依赖。

  org.apache.flink  flink-runtime-web_${scala.binary.version}  ${flink.version}

在Flink1.15版本之后,无论是Java Flink项目还是Scala Flink项目,添加如下依赖,不需额外依赖Scala版本。

  org.apache.flink  flink-runtime-web  ${flink.version}

二、在代码中启用本地WebUI

Flink Java 代码启动本地WebUI:

Configuration conf = new Configuration();//设置WebUI绑定的本地端口conf.setString(RestOptions.BIND_PORT,"8081");//使用配置StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironmentWithWebUI(conf);

Flink Scala 代码启动本地WebUI:

val configuration = new Configuration()//设置WebUI绑定的本地端口configuration.set(RestOptions.BIND_PORT,"8081")//使用配置val env: StreamExecutionEnvironment = StreamExecutionEnvironment.createLocalEnvironmentWithWebUI(configuration)

三、编写完整代码启动并访问WebUI

Java 代码示例:

//1.使用本地模式Configuration conf = new Configuration();//设置WebUI绑定的本地端口conf.setString(RestOptions.BIND_PORT,"8081");//使用配置StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironmentWithWebUI(conf);//2.读取Socket数据DataStreamSource ds = env.socketTextStream("node3", 9999);//3.准备K,V格式数据SingleOutputStreamOperator> tupleDS = ds.flatMap((String line, Collector> out) -> {    String[] words = line.split(",");    for (String word : words) {        out.collect(Tuple2.of(word, 1));    }}).returns(Types.TUPLE(Types.STRING, Types.INT));//4.聚合打印结果tupleDS.keyBy(tp -> tp.f0).sum(1).print();//5.execute触发执行env.execute();

代码运行:

Scala代码示例:

//1.创建本地WebUI环境val configuration = new Configuration()//设置绑定的本地端口configuration.set(RestOptions.BIND_PORT,"80")//第一种设置方式val env: StreamExecutionEnvironment = StreamExecutionEnvironment.createLocalEnvironmentWithWebUI(configuration)//2.Scala 流处理导入隐式转换,使用Scala API 时需要隐式转换来推断函数操作后的类型import org.apache.flink.streaming.api.scala._//3.读取Socket数据val linesDS: DataStream[String] = env.socketTextStream("node3", 9999)//4.进行WordCount统计linesDS.flatMap(line=>{line.split(",")})  .map((_,1))  .keyBy(_._1)  .sum(1)  .print()//5.最后使用execute 方法触发执行env.execute()

以上代码启动任意一个都可以通过访问:http://localhost来查看WebUI。

注意:启动代码之前在node3首选启动Socket服务,然后再启动代码。在导入flink-runtime-web依赖之后最好重启开发工具,重新加载对应的依赖包,否则可能执行代码之后访问本地WebUI时出现"{"errors":["Not found: /"]}"错误,访问不到WebUI情况。

天天速读:大数据Flink进阶(十二):Flink本地模式开启WebUI

2023-04-10

全球速讯:如何巧妙的给老师送礼

2023-04-10

天天通讯!积极把握发展契机 力做抗体药源头创新——专访迈威生物联合创始人、CEO刘大涛

2023-04-10

环球视讯!科林退:向深交所提交终止上市的复核申请

2023-04-09

最资讯丨鼻渊通窍颗粒说明书_鼻渊通窍颗粒的作用

2023-04-09

【环球速看料】金雷股份:预计第一季度归母净利润同比增100%-130%,公司风电产品发货量显著增加

2023-04-09

环球实时:东方材料:拟向特定对象发行股票募资不超20亿元 全部投向“收购TD TECH 51%股权”项目

2023-04-09

焦点精选!玫瑰带刺经典句子_有关玫瑰带刺的经典句子

2023-04-09

全球速看:复古设计/贯穿大屏/五座布局,全新红旗L5将于上海车展亮相

2023-04-09

天天热点!毕马威和高盛等因硅谷银行关闭被起诉

2023-04-09

全球热点!CBA联赛季后赛今晚正式开始,对阵名单出炉

2023-04-09

热消息:首届中国古代小说海外传播国际学术研讨会在穗召开

2023-04-09

世界看点:德国研究新发现:为什么说“身体凉点”寿命更长?

2023-04-09

环球要闻:现在海贼王将_海贼王将

2023-04-09

观察:僵尸为什么要吸(僵尸为什么要吸血?)

2023-04-08

环球速看:放弃屏下前摄?中兴Axon 50 Ultra官宣:居中挖孔双曲屏

2023-04-08

今日热门!推广引流方法有哪些推广方法_推广方法

2023-04-08

环球热头条丨广西退休养老金:个人账户余额不足1.5万的养老金有2600元怎么计算?

2023-04-08

【当前热闻】库里克莱迪温琴佐今日三分命中率57.1%,投篮命中率60.5%

2023-04-08

环球热文:重庆姐弟坠亡案,今天重大反转!

2023-04-08