博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Apache Flink源码解析之stream-windowfunction
阅读量:6884 次
发布时间:2019-06-27

本文共 3485 字,大约阅读时间需要 11 分钟。

Window也即窗口,是Flink流处理的特性之一。前一篇文章我们谈到了Winodw的相关概念及其实现。窗口的目的是将无界的流转换为有界的元素集合,但这还不是最终的目的,最终的目的是在这有限的集合上apply(应用)某种函数,这就是我们本篇要谈的主题——WindowFunction(窗口函数)。

那么窗口函数会在什么时候被应用呢?还记得上篇文章我们谈到了触发器Trigger,在触发器触发后会返回TriggerResult这个枚举类型的其中一个枚举值。当返回的是FIRE或者FIRE_AND_PURGE时,窗口函数就会在窗口上应用。

Flink中将窗口函数分为两种:

  • AllWindowFunction : 针对全局的不基于某个key进行分组的window的窗口函数的实现
  • WindowFunction : 针对基于某个key进行分组的window的窗口函数的实现

它们在类型继承体系中分属两个不同的体系:

flink-stream-window-function_all-class-diagram

但可以看到,针对这两个体系几乎都提供了相同功能的窗口函数的实现。

AllWindowFunction

所有不基于某个key进行分组的window的窗口函数的实现的基类。该接口是个泛型接口,需要指定三个泛型参数:

  • IN :input数据的类型
  • OUT :output对象的类型
  • W : 继承自Window,表示需要在其上应用该操作的Window的类型

该接口只有一个接口方法:

void apply(W window, Iterable
values, Collector
out) throws Exception;

该方法用于在window上的元素集合values进行计算,然后out出0个或多个值。

RichAllWindowFunction

抽象类,继承AbstractRichFunction以提供rich 的AllWindowFunction(AbstractRichFunction提供了open/close方法对以及获得运行时上下文对象的手段)。我们在之前解析SourceFunctionSinkFunction时多次看到这种实现模式。这里该类不提供任何实现。

ReduceIterableAllWindowFunction

ReduceIterableAllWindowFunction用于对其窗口内的所有元素迭代应用reduce操作并合并为一个元素,然后再发射出去。它接收ReduceFunction的实例,以提供reduce函数。

该类apply方法实现如下:

public void apply(W window, Iterable
input, Collector
out) throws Exception { T curr = null; for (T val: input) { if (curr == null) { curr = val; } else { curr = reduceFunction.reduce(curr, val); } } out.collect(curr); }

reduceFunction#reduce方法,用于将第一个参数和第二个参数进行合并为一个元素。

ReduceApplyAllWindowFunction

ReduceApplyAllWindowFunction用于对窗口内的所有元素进行reduce操作后再进行调用apply。其构造器接收两个参数:

  • reduceFunction : 提供reduce操作的ReduceFunction
  • windowFunction : 提供apply操作的AllWindowFunction,该参数用于对window中元素进行reduce之后产生的单个元素再进行最终的apply操作。

该类的apply实现如下:

public void apply(W window, Iterable
input, Collector
out) throws Exception { T curr = null; for (T val: input) { if (curr == null) { curr = val; } else { curr = reduceFunction.reduce(curr, val); } } windowFunction.apply(window, Collections.singletonList(curr), out); }

PassThroughAllWindowFunction

PassThroughAllWindowFunction该类仅仅提供passthrough功能,也即直接通过发射器将窗口内的元素迭代发射出去,除此之外不进行任何操作。

FoldApplyAllWindowFunction

FoldApplyAllWindowFunction用于对窗口中的数据先进行fold操作,得到一个最终合并的元素,再进行apply操作。因此它需要如下三个参数:

  • initialValue : 应用foldFunction的初始值
  • foldFunction :执行fold操作
  • windowFunction :对fold之后的最终值应用apply操作

该类继承自WrappingFunctionWrappingFunction类似于一个包装器,包装传进来的某个Function,给一些模式化方法(open/close)提供了一些便捷处理。

这里有一点需要区分一下,因为ReduceFunctionFoldFuction都具有将一组元素合并为单个元素的功能,所以他们看起来非常相似。不过他们还是有区别的,其中的一个区别就是,FoldFunction在进行fold操作的时候,还会进行潜在的类型转换。看下面的示例:

ReduceFunction
{ public Integer reduce(Integer a, Integer b) { return a + b; }}[1, 2, 3, 4, 5] -> reduce() means: ((((1 + 2) + 3) + 4) + 5) = 15
FoldFunction
{ public String fold(String current, Integer i) { return current +String.valueOf(i); }}[1, 2, 3, 4, 5] -> fold("start-") means: ((((("start-" + 1) + 2) + 3) + 4)+ 5) = "start-12345" (as a String)

WindowFunction

这是Flink的另一个基于key进行分组的WindowFunction。因此跟AllWindowFunction主要的不同的是,其泛型参数多了一个KEY,表示进行分组的key的类型。

同时其接口方法中也相应多了一个参数:

void apply(KEY key, W window, Iterable
input, Collector
out) throws Exception;

具体的实现跟AllWindowFunction的实现大同小异,不再多谈。

小结

本篇主要剖析了Flink提供的两种不同的窗口函数AllWindowFunction以及WindowFunction。并对Flink针对AllWindowFunction的实现进行了解读。

原文发布时间为:2016-05-12

本文作者:vinoYang

本文来自云栖社区合作伙伴,了解相关信息可以关注CSDN博客。

转载地址:http://kaibl.baihongyu.com/

你可能感兴趣的文章
ASPJpeg和ASPUpload组件的一些属性和方法
查看>>
SqlServer基础:Bit类型
查看>>
PostreSQL 的模式创建的代码位于何处
查看>>
java.lang.OutOfMemoryError: Java heap space 解决方法转测试可用
查看>>
linux内存分配方法总结【转】
查看>>
Javascript事件模型系列(四)我所理解的javascript自定义事件
查看>>
PostgreSQL 在何处真正开始写数据
查看>>
[LeetCode] Integer to Roman 整数转化成罗马数字
查看>>
Windows Mobile 6.x 市场将不再提供服务支持
查看>>
小知识~VS2012的xamarin加载失败解决
查看>>
从Linux 访问Windows的文件夹和Windows的共享打印机
查看>>
Delphi 日期格式问题 - is not a valid date
查看>>
nodejs express 启动报错:Error: Cannot find module 'xxx'
查看>>
10.7. glusterfs
查看>>
GET和POST的区别及get和post关于请求的编解码的问题
查看>>
BZOJ 1968: [Ahoi2005]COMMON 约数研究(新生必做的水题)
查看>>
记录mysql性能查询过程
查看>>
Appium 服务关键字
查看>>
线程安全日期格式化操作的几种方式
查看>>
android XMl 解析神奇xstream 六: 把集合list 转化为 XML文档
查看>>