第10讲：Flink Side OutPut 分流

admin

) p$ f" G# |2 [( y% m* K<h4 id="flink系列文章">Flink系列文章</h4>
<ol>
: x0 H, R1 v1 |. F<li><a  href="https://www.ikeguang.com/?p=1976">第01讲：Flink 的应用场景和架构模型</a></li>
1 ^3 V) `- Q9 T& y1 c3 ~3 G<li><a  href="https://www.ikeguang.com/?p=1977">第02讲：Flink 入门程序 WordCount 和 SQL 实现</a></li>
5 Z0 }1 q. C& M) H: }<li><a  href="https://www.ikeguang.com/?p=1978">第03讲：Flink 的编程模型与其他框架比较</a></li>
<li><a  href="https://www.ikeguang.com/?p=1982">第04讲：Flink 常用的 DataSet 和 DataStream API</a></li>
<li><a  href="https://www.ikeguang.com/?p=1983">第05讲：Flink SQL &amp; Table 编程和案例</a></li>
$ v$ d9 ]( h. Z5 r# |<li><a  href="https://www.ikeguang.com/?p=1985">第06讲：Flink 集群安装部署和 HA 配置</a></li>
& P# E$ Z2 p# ~, C, K# f* ]6 g<li><a  href="https://www.ikeguang.com/?p=1986">第07讲：Flink 常见核心概念分析</a></li>
<li><a  href="https://www.ikeguang.com/?p=1987">第08讲：Flink 窗口、时间和水印</a></li>
<li><a  href="https://www.ikeguang.com/?p=1988">第09讲：Flink 状态与容错</a></li>
# N8 j% o0 _0 {! _! m  T</ol>
) w2 x7 p  P, k, d' m<blockquote>
<p>关注公众号：<code>大数据技术派</code>，回复<code>资料</code>，领取<code>1024G</code>资料。</p>
</blockquote>
" p% T5 B' W6 w" b7 c0 r* d4 l# h. L<p>这一课时将介绍 Flink 中提供的一个很重要的功能：旁路分流器。</p>
+ Z! D, E8 A: N* ~9 q- b<h3 id="分流场景">分流场景</h3>
' G( z' M( m2 P& v<p>我们在生产实践中经常会遇到这样的场景，需把输入源按照需要进行拆分，比如我期望把订单流按照金额大小进行拆分，或者把用户访问日志按照访问者的地理位置进行拆分等。面对这样的需求该如何操作呢？</p>
3 ^8 i8 p6 L, B) H<h3 id="分流的方法">分流的方法</h3>
+ Z: ~7 Y' t# X# ^3 _# p<p>通常来说针对不同的场景，有以下三种办法进行流的拆分。</p>
<h4 id="filter-分流">Filter 分流</h4>
# y6 D- k& O, J3 {- H9 o<p><img src="https://kingcall.oss-cn-hangzhou.aliyuncs.com/blog/img/CgqCHl7CAy6ADUaXAACSFUbdpuA911-20210223084827182.png" ></p>
- E) v2 v1 e: ^, \<p>Filter 方法我们在第 04 课时中（Flink 常用的 DataSet 和 DataStream API）讲过，这个算子用来根据用户输入的条件进行过滤，每个元素都会被 filter() 函数处理，如果 filter() 函数返回 true 则保留，否则丢弃。那么用在分流的场景，我们可以做多次 filter，把我们需要的不同数据生成不同的流。</p>
6 @2 e1 X& V) j<p>来看下面的例子：</p>
. `# |! u& @8 I0 U<p>复制代码</p>
<pre><code class="language-java">public static void main(String[] args) throws Exception {
    StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
7 O7 {6 W$ d) K+ ]: A3 E, V    //获取数据源
    List data = new ArrayList&lt;Tuple3&lt;Integer,Integer,Integer&gt;&gt;();
    data.add(new Tuple3&lt;&gt;(0,1,0));
    data.add(new Tuple3&lt;&gt;(0,1,1));
7 Y  A" y0 z1 F' t- p  W; i  y    data.add(new Tuple3&lt;&gt;(0,2,2));
    data.add(new Tuple3&lt;&gt;(0,1,3));
3 p  I2 N0 G6 F2 k! ~    data.add(new Tuple3&lt;&gt;(1,2,5));
    data.add(new Tuple3&lt;&gt;(1,2,9));
    data.add(new Tuple3&lt;&gt;(1,2,11));
    data.add(new Tuple3&lt;&gt;(1,2,13));

    DataStreamSource&lt;Tuple3&lt;Integer,Integer,Integer&gt;&gt; items = env.fromCollection(data);



    SingleOutputStreamOperator&lt;Tuple3&lt;Integer, Integer, Integer&gt;&gt; zeroStream = items.filter((FilterFunction&lt;Tuple3&lt;Integer, Integer, Integer&gt;&gt;) value -&gt; value.f0 == 0);

% a; t: r! ~9 U% l+ L    SingleOutputStreamOperator&lt;Tuple3&lt;Integer, Integer, Integer&gt;&gt; oneStream = items.filter((FilterFunction&lt;Tuple3&lt;Integer, Integer, Integer&gt;&gt;) value -&gt; value.f0 == 1);



- e: y* g1 ^( n5 L    zeroStream.print();

( u' r( A% z- c    oneStream.printToErr();
( j& C; m6 e0 ~9 b  U' t3 m: }
" ^7 a) h4 h/ A% d7 w6 d3 s. g

( M6 _. `' J5 [3 i; x. ?* {
& W2 w* V2 g; A, O6 r" |
    //打印结果

    String jobName = "user defined streaming source";

: Y: L$ G0 V' t% w3 D3 z    env.execute(jobName);
7 z, i/ S! g* X& g$ s
}
- a; g# A0 L) }</code></pre>
) u/ Y! U( k4 v0 j+ _7 R4 N  ^2 s5 ^<p>在上面的例子中我们使用 filter 算子将原始流进行了拆分，输入数据第一个元素为 0 的数据和第一个元素为 1 的数据分别被写入到了 zeroStream 和 oneStream 中，然后把两个流进行了打印。</p>
<p><img src="https://kingcall.oss-cn-hangzhou.aliyuncs.com/blog/img/Ciqc1F7CA2WAYbshAAKj494h86s723-20210223084827296.png" ></p>
<p>可以看到 zeroStream 和 oneStream 分别被打印出来。</p>
9 r! ]3 M, y! i( X; f<p>Filter 的弊端是显而易见的，为了得到我们需要的流数据，需要多次遍历原始流，这样无形中浪费了我们集群的资源。</p>
<h4 id="split-分流">Split 分流</h4>
# U; D# l$ E7 I( x<p>Split 也是 Flink 提供给我们将流进行切分的方法，需要在 split 算子中定义 OutputSelector，然后重写其中的 select 方法，将不同类型的数据进行标记，最后对返回的 SplitStream 使用 select 方法将对应的数据选择出来。</p>
* B6 t4 D8 \$ K( r' P; A<p>我们来看下面的例子：</p>
<p>复制代码</p>
+ ^; J: d2 v. @& ^+ p3 }, D1 r<pre><code class="language-java">public static void main(String[] args) throws Exception {



/ E; d" x" m, ^* C5 j    StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

2 ?$ R7 k$ d$ e; c$ u    //获取数据源
2 V; l3 t- b5 k* r7 p) p& m
& h: C0 k3 F9 \- x    List data = new ArrayList&lt;Tuple3&lt;Integer,Integer,Integer&gt;&gt;();
; M- Y$ g6 }7 D* d1 F7 ~
* ^5 V) ~" y. O$ B% C9 y3 a    data.add(new Tuple3&lt;&gt;(0,1,0));
1 P; m. l3 A% F' c0 q
/ y  P9 I" {8 O    data.add(new Tuple3&lt;&gt;(0,1,1));

    data.add(new Tuple3&lt;&gt;(0,2,2));

    data.add(new Tuple3&lt;&gt;(0,1,3));

: o& ?3 n$ U7 o/ g    data.add(new Tuple3&lt;&gt;(1,2,5));

    data.add(new Tuple3&lt;&gt;(1,2,9));

: k5 p3 ]) Y9 ?3 H, o    data.add(new Tuple3&lt;&gt;(1,2,11));

    data.add(new Tuple3&lt;&gt;(1,2,13));
7 u+ _2 U7 m  u
  W: X2 m+ ]' y' ?% k



/ r: r( b4 _: K+ x3 ~0 ~+ H    DataStreamSource&lt;Tuple3&lt;Integer,Integer,Integer&gt;&gt; items = env.fromCollection(data);



6 L' L1 ?" B, U: t
: h4 ^1 C( g9 ?  }; }! ~; T: k! N
3 X; Q/ M! F( p2 K0 Q    SplitStream&lt;Tuple3&lt;Integer, Integer, Integer&gt;&gt; splitStream = items.split(new OutputSelector&lt;Tuple3&lt;Integer, Integer, Integer&gt;&gt;() {
/ n. o6 [( X" M$ c# x1 ?9 M: `
" e. y; I5 n- I9 v4 d" S0 l8 @        @Override

: l+ x& ?1 ^6 U! y/ \2 t        public Iterable&lt;String&gt; select(Tuple3&lt;Integer, Integer, Integer&gt; value) {

            List&lt;String&gt; tags = new ArrayList&lt;&gt;();
# d. w$ D/ \6 {& Y3 w
$ O9 E) u0 M- A4 ~+ s% n            if (value.f0 == 0) {
$ g$ f% c  A; u: R3 f+ I# Q0 w% q$ o8 l
                tags.add("zeroStream");

, M! g+ z- j1 @' {) A            } else if (value.f0 == 1) {
! L3 E& F3 G' H" h, p; A+ X9 s
: i- Z6 T; }) w                tags.add("oneStream");

3 v9 _/ u, y1 d- e- Y3 B            }

8 H" Z( u1 w( F            return tags;

        }

- K* b2 T& P- p; B* f    });
8 [& {2 k. m( d. ]0 G$ b


" ~8 E) K5 O( E) N8 ^. ?/ R; S, @0 O9 G    splitStream.select("zeroStream").print();

7 r& m1 }* z$ }6 q    splitStream.select("oneStream").printToErr();
% t0 g$ u& a! E: k1 o

7 M* f7 ?: l7 [& v
. l+ u( m, `: D" v5 F% q    //打印结果

    String jobName = "user defined streaming source";

    env.execute(jobName);

, o6 f* b. \8 s! n}
</code></pre>
<p>同样，我们把来源的数据使用 split 算子进行了切分，并且打印出结果。</p>
<p><img src="https://kingcall.oss-cn-hangzhou.aliyuncs.com/blog/img/CgqCHl7CA4aAbUSJAAG1LWNB3qw627-20210223084827377.png" ></p>
<p>但是要注意，使用 split 算子切分过的流，是不能进行二次切分的，假如把上述切分出来的 zeroStream 和 oneStream 流再次调用 split 切分，控制台会抛出以下异常。</p>
  |) _2 }  _* W2 `( n: ^<p>复制代码</p>
<pre><code class="language-java">Exception in thread "main" java.lang.IllegalStateException: Consecutive multiple splits are not supported. Splits are deprecated. Please use side-outputs.
</code></pre>
<p>这是什么原因呢？我们在源码中可以看到注释，该方式已经废弃并且建议使用最新的 SideOutPut 进行分流操作。</p>
* L$ U# D% p! E1 n& _8 j<p><img src="https://kingcall.oss-cn-hangzhou.aliyuncs.com/blog/img/CgqCHl7CA6OAJ-JDAAIrh1JSAEo033-20210223084827602.png" ></p>
<h4 id="sideoutput-分流">SideOutPut 分流</h4>
<p>SideOutPut 是 Flink 框架为我们提供的最新的也是最为推荐的分流方法，在使用 SideOutPut 时，需要按照以下步骤进行：</p>
<ul>
<li>定义 OutputTag</li>
9 k1 J' X5 c& ^9 ^/ ^  Y7 Z$ e<li>调用特定函数进行数据拆分
<ul>
<li>ProcessFunction</li>
9 E4 p/ h" h' X. ~<li>KeyedProcessFunction</li>
<li>CoProcessFunction</li>
<li>KeyedCoProcessFunction</li>
<li>ProcessWindowFunction</li>
<li>ProcessAllWindowFunction</li>
  N' J# L4 L. Z, b2 O3 H5 B5 }</ul>
4 n, D' w' _$ `6 J9 P9 D</li>
6 M0 H5 p  @, @1 ]9 h</ul>
<p>在这里我们使用 ProcessFunction 来讲解如何使用 SideOutPut：</p>
<p>复制代码</p>
  A0 J4 p% I+ S+ j<pre><code class="language-java">public static void main(String[] args) throws Exception {

0 w- e) K; H3 }/ z4 Z

    StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
( W; c4 H# i$ X3 y+ u
* ^% G9 l; {: A, E$ S* R" O: y, z! t    //获取数据源

. l4 e0 d' a- o0 ~    List data = new ArrayList&lt;Tuple3&lt;Integer,Integer,Integer&gt;&gt;();

    data.add(new Tuple3&lt;&gt;(0,1,0));

2 R2 n, e" h, ^9 I5 o' e+ J# n    data.add(new Tuple3&lt;&gt;(0,1,1));
1 v* f1 a) E  ^; h
4 ]. f9 {+ H0 y- ], [3 D5 `    data.add(new Tuple3&lt;&gt;(0,2,2));

    data.add(new Tuple3&lt;&gt;(0,1,3));
. I( ]' ]) F5 c) Z9 P& O
    data.add(new Tuple3&lt;&gt;(1,2,5));

    data.add(new Tuple3&lt;&gt;(1,2,9));

. E! [. g- k; e; i: N    data.add(new Tuple3&lt;&gt;(1,2,11));
3 E4 x0 h7 }9 ~' P- w
9 k* r7 ^- ^8 l, ]. D4 ^% \    data.add(new Tuple3&lt;&gt;(1,2,13));


7 Y% |2 @- e9 l


3 `" s( D- N6 s3 H: s6 |    DataStreamSource&lt;Tuple3&lt;Integer,Integer,Integer&gt;&gt; items = env.fromCollection(data);

& Z- C( n+ s/ n& y" I

8 `1 B& L- F# a0 B* \7 @, v) \    OutputTag&lt;Tuple3&lt;Integer,Integer,Integer&gt;&gt; zeroStream = new OutputTag&lt;Tuple3&lt;Integer,Integer,Integer&gt;&gt;("zeroStream") {};
- u- w) E: P% H, Q, v& K
8 X5 \0 C) Z5 \1 Q5 s    OutputTag&lt;Tuple3&lt;Integer,Integer,Integer&gt;&gt; oneStream = new OutputTag&lt;Tuple3&lt;Integer,Integer,Integer&gt;&gt;("oneStream") {};

4 b+ T5 P4 O# F


% N! T% u6 |7 v/ r* d+ N3 c
  r% ~3 R9 y) G6 S' h4 g+ X    SingleOutputStreamOperator&lt;Tuple3&lt;Integer, Integer, Integer&gt;&gt; processStream= items.process(new ProcessFunction&lt;Tuple3&lt;Integer, Integer, Integer&gt;, Tuple3&lt;Integer, Integer, Integer&gt;&gt;() {
4 ?$ S* j: G# Z
        @Override

        public void processElement(Tuple3&lt;Integer, Integer, Integer&gt; value, Context ctx, Collector&lt;Tuple3&lt;Integer, Integer, Integer&gt;&gt; out) throws Exception {
/ F' _- K. }7 g% z/ R5 O
2 W) y- F% Q$ Q
. W' `6 y) `! R2 r$ w: d
& C' l) N9 `; F4 z* ~            if (value.f0 == 0) {

                ctx.output(zeroStream, value);

            } else if (value.f0 == 1) {
" A' [7 H0 K! d1 V$ g
                ctx.output(oneStream, value);
4 T7 r% W' `( u6 @; R
2 S0 t) A& u' U) d% q            }
7 P0 i% D" ?2 \
        }
3 ?  }# x8 }5 m6 P
; i; M; C2 F2 C0 Y+ N6 V    });

$ y) A7 |- K8 j9 \$ L

    DataStream&lt;Tuple3&lt;Integer, Integer, Integer&gt;&gt; zeroSideOutput = processStream.getSideOutput(zeroStream);
2 m# M: x8 e. b  l; Q1 h! V1 r
    DataStream&lt;Tuple3&lt;Integer, Integer, Integer&gt;&gt; oneSideOutput = processStream.getSideOutput(oneStream);
) @5 j8 J' g. ]. d3 u, F4 y
# y. u/ t$ w7 t2 K1 I

    zeroSideOutput.print();
/ [8 O* Z5 V% U% t' D
3 _; l$ f, R. @' A8 P    oneSideOutput.printToErr();





    //打印结果
, @2 y1 f6 ~* h4 b
8 G9 h6 V* l9 [, W( o4 G2 v8 t  i    String jobName = "user defined streaming source";

    env.execute(jobName);

}
</code></pre>
# L7 [# U$ g2 M<p>可以看到，我们将流进行了拆分，并且成功打印出了结果。这里要注意，Flink 最新提供的 SideOutPut 方式拆分流是<strong>可以多次进行拆分</strong>的，无需担心会爆出异常。</p>
% r- ?. {+ ^- I8 P  G<p><img src="https://kingcall.oss-cn-hangzhou.aliyuncs.com/blog/img/CgqCHl7CBMKAGHoUAAM-5UL5geg132-20210223084827698.png" ></p>
<h3 id="总结">总结</h3>
& g; B% w$ N0 l<p>这一课时我们讲解了 Flink 的一个小的知识点，是我们生产实践中经常遇到的场景，Flink 在最新的版本中也推荐我们使用 SideOutPut 进行流的拆分。</p>
2 z' Z5 j+ i8 R' {& ]; F6 i. F+ A( \<blockquote>
% g" a9 o6 C$ ^/ b' T& S8 Q<p>关注公众号：<code>大数据技术派</code>，回复<code>资料</code>，领取<code>1024G</code>资料。</p>
8 Q0 @5 o3 f4 ~' }% n+ R4 B1 G</blockquote>
* ~, W+ L* J! L( H) U