首页天道酬勤flink开源项目,flink使用场景分析

flink开源项目,flink使用场景分析

admin 08-10 09:27 192次浏览

source 读取数据源,rebalance 随机重新分区,flatmap基于 hashcode 重分区,key aggregate 聚合操作,最后传播到 sink 进行输出

这里面涉及到宽依赖和窄依赖的知识


比如说StreamWordCount代码里的filter、map、keyby就是一个任务链,当具有相同并行度的时候就会被Flink链接成一个任务链,也即看做一个task,里面有三个算子filter、map、keyby
来看一下:
启动我们的集群:

然后到webUI界面看一下我们提交的StreamWordConnt代码的Jar包的Job,可以看到下图只有一个TaskManager和一个TaskSlots,然后available Task Slots为0,因为唯一的一个已经被分配给stream word count job了

然后红色方框里就会我们的flink的task流,其中有两个任务链Operator Chains,因为我在代码里没有设置并行度,在开启job的时候提交的并行度参数是2,所以可以看到有两个蓝色框,然后每个蓝色框里面是一个任务流,里面包含着one-to-one的并行度都为1的算子,里面的每个算子都是subtask

为科研量身定制电商应用场景 无人化智能盒子 UBox
flink基础教程书,Flink实战 尚硅谷大数据之flink教程.doc,尚硅谷flink文档
相关内容