《Flink应用实战》(四)--合并流-IntervalJoin算子

已于 2022-06-14 17:11:21 修改
阅读量1.6k 收藏 6
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Flink 文章标签： flink 大数据 java
于 2022-06-14 17:07:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lwqhp/article/details/125281982
本文详细解读了Flink中的IntervalJoin操作，包括基本概念，如流合并条件和Flink支持的双流join算子。重点介绍了如何利用IntervalJoin处理订单主表和明细表，合成订单宽表，克服数据乱序问题。实践部分展示了代码实例和关键步骤，适合Flink开发者理解和应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

一、基本概念

1.流合并条件

2.Flink 中支持 双流join 的算子

二、IntervalJoin介绍

1.IntervalJoin说明

2.语法格式

3. 原码解析

三、IntervalJoin开发实践

1.订单主表和明细表合成订单宽表

一、基本概念

1.流合并条件

Flink 中的两个流要实现 Join 操作，必须满足以下两点：

  1. 流需要能够等待，即：两个流必须在同一个窗口中；

  2. 双流等值 Join，即：两个流中，必须有一个字段相等才能够 Join 上。

2.Flink 中支持 双流join 的算子

Flink 中支持双流 Join 的算子目前已知有5种，如下：

  1. union：union 支持双流 Join，也支持多流 Join。多个流类型必须一致；

  2. connector：connector 支持双流 Join，两个流的类型可以不一致；

  3. join：该方法只支持 inner join，即：相同窗口下，两个流中，Key都存在且相同时才会关联成功；

  4. coGroup：同样能够实现双流 Join。即：将同

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Flink系列：join算子的使用方法
NIO4444
03-29 820
目录 需求 join用法 实现 相关：https://xdoctorx.blog.csdn.net/article/details/115290450（Union、connect（CoMap, CoFlatMap）算子的使用方法） 需求 使用join算子，连接2个Stream，将人员和城市关联起来 join用法 DataStream,DataStream → DataStream dataStream.join(otherStream) .where(<key se
Flink,join，coGroup，connect，union的区别、使用和实
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
06-17 7298
join： 1 可用于DataStream和DataSet。只能2个DataStream一起join，或者2个DataSet一起join 2 用于DataStream时返回是JoinedStreams ,用于DataSet时返回是JoinOperatorSets 3用于DataStream时需要与窗口同时使用，语法是：join where equalTo window apply ，用于DataSet时的语法是：join where equalTo with （where是指定第一个输入的分区...
Flink intervalJoin 使用 -转载
qq_31866793的博客
12-09 1980
1.前言 Flink中基于DataStream的join，只能实现在同一个窗口的两个数据流进行join，但是在实际中常常会存在数据乱序或者延时的情况，导致两个流的数据进度不一致，就会出现数据跨窗口的情况，那么数据就无法在同一个窗口内join。 Flink基于KeyedStream提供的interval join机制，intervaljoin 连接两个keyedStream, 按照相同的key在一...
Flink 多流转换 （五） 间隔联结（Interval Join）
weixin_45417821的博客
04-23 1581
文章目录间隔联结的调用间隔联结实例 顾名思义，间隔联结的思路就是针对一条流的每个数据，开辟出其时间戳前后的一段时间间隔，看这期间是否有来自另一条流的数据匹配 间隔连接通过一个共同的key连接两个流（A&B）中的数据，流 B 的数据具有时间戳位于流 A 中元素的相对时间间隔中。 这也可以更正式地表达成 b.timestamp ∈ [a.timestamp + lowerBound; a.timestamp + upperBound] 或者 a.timestamp + lowerBound <=
Flink intervalJoin 使用与原理分析
张普的专栏
11-07 8241
点击蓝字关注~~先看一个假设的案例：用户购买商品过程中填写收货地址然后下单，在这个过程中产生两个数据流，一个是订单数据流包含用户id、商品id、订单时间、订单金额、收货id等，另一个是收货信息数据流包含收货id、收货人、收货人联系方式、收货人地址等，系统在处理过程中，先发送订单数据，在之后的1到5秒内会发送收货数据，现在要求实时统计按照不同区域维度的订单金额的top100地区。在这个案例中两个数据...
《Flink应用实战》(五)--流合并-Connect算子
一锅粥
07-25 3526
只能用于连接两个DataStream流，不能用于DataSet;连接的两个数据流数据类型可以不同。连接后两个流可以使用不同的处理方法，两个流可以共享状态。连接的结果为一个ConnectedStream流。连接的两个流可以是DataStream或者是BroadcastStream(广播数据流)。连接两个DataStream流，返回一个新的ConnectedStream}}............
《Flink应用实战》(三)--合并流-Union算子
一锅粥
06-04 1900
1 用于DataStream时,返回是Datastream;用于DataSet时,返回是DataSet; 2 可以多个流一起合并（stream1.union(stream2,stream3,stream4)），合并结果是一个新Datastream；只能2个DataSet一起合并，合并结果是一个新DataSet 3 无论是合并Datastream还是合并DataSet，都不去重，2个源的消息或记录都保存。 4 不可以union 2个类型不同的流或union 2个类型不同的数据集 ............
flink实战--⼤状态作业调优实践指南-Flink SQL 作业篇
阿华田的博客
06-04 778
作为一种特定领域语言，SQL 的设计初衷是隐藏底层数据处理的复杂性，让用户通过声明式语言来进行数据操作。而Flink SQL 由于其架构的特殊性，在实现层面通常需引入状态后端 配合 checkpoint 来保证计算结果的最终一致性。目前 Flink SQL 生成状态算子的策略由优化器根据配置项 + SQL 语句来推导，想要在处理有状态的大规模数据和性能调优方面游刃有余的话，用户还是需要对 SQL 状态算子生成机制和管理策略有一定了解。
flink实战--核心概念解析和应用
阿华田的博客
03-05 1880
简介 在flink原理解析中https://blog.csdn.net/aA518189/article/details/82908993，我们把flink的概念以及原理整体介绍了一遍，接下来这篇文章会具体的解析每个原理的具体实现和使用方式。 1.流对齐(align) 首先谈到流对齐，那一定是多流处理。那对齐的是什么呢？其实对齐的是检查点中的Barri...
【Flink实战系列】Flink SQL 实现interval Join
JasonLee实时计算
09-20 1841
上一篇是用API实现的interval join,这一篇主要是用Flink sql实现一个interval join,实现的逻辑和上一篇一样,包括最后的返回值都是一样的,直接看下面的代码: package flink.join import java.util.TimeZone import com.alibaba.fastjson.JSON import flink.util.CommonUtils import org.apache.flink.api.scala._ import org.apa
flink 的interval join源码分析
weixin_40809627的博客
05-22 800
flink在流与流的join中，与其他window join相比，window中的关联通常是两个流中对应的window中的消息可以发生关联， 不能跨window，Interval Join则没有window的概念，直接用时间戳作为关联的条件，更具表达力。由于流消息的无限性以及消息乱序的影响，本应关联上的消息可能进入处理系统的时间有较大差异，一条流中的消息，可能需要和另一条流的多条消息关联，因此流流关联时，通常需要类似如下关联条件： 等值条件如 a.id = b.id 时间戳范围条件 ： a.timesta
FLINK 员工和部门双流intervaljoin的实例
weixin_45114769的博客
08-04 419
/TODO 4.使用intervaljoin将两条流进行关联。//TODO 2.准备员工流数据。//TODO 3.准备部门流数据。//TODO 1.基本环境准备。
【Flink知识汇总】【Join专题】
weixin_43589563的博客
03-30 2197
Flink Join 专题Join 的应用场景批Join和流Join的区别Flink 双流Join1. Window Join认识Window JoinFlink APISQL API解决方案的特点解决方案的适用场景2. Interval Join2.1 认识Interval Join2.2 Flink API2.3 SQL API2.4 解决方案的特点2.5 解决方案的适用场景3. Regular Join3.1 认识Regular Join3.2 SQL API3.3 解决方案的特点3.4 解决方案的适
FLINK 合流
最新发布
王小工小工历程
10-25 1547
在Apache Flink中，合流（Co-streaming）是指将两条或多条数据流合并成一条数据流的操作。这种操作在实际应用中非常普遍，特别是在需要联合处理来自不同源头的数据时。Flink提供了多种合流方式，以满足不同的数据处理需求。
Flink SQL JOIN
qq_42575907的博客
05-26 2049
​ 注意我们这里 FOR SYSTEM_TIME AS OF 不是跟一个 processing time，而是左流的 event time，它的含义是去关联这个 event time 时刻 的 直 播 间 数 据 ， 同 时 我 们 在 直 播 间 u p s e r t 流 上 也 定 义 了 watermark，所以 temporal join changelog 在执行上会做 watermark 等待和对齐，保证关联上精确版本的结果，从而解决先前方案中关联不上的问题。
Flink SQL 双表 JOIN 介绍与原理简析
cloudbigdata的博客
04-15 8904
带你探究各类 Flink SQL 语法和实现细节
Flink DataStream 如何实现双流 Join
SmartSi
02-08 428
在离线 Hive 中，我们经常会使用 Join 进行多表关联。那么在实时中我们应该如何实现两条流的 Join 呢？下面我们分别详细看一下这3个算子是如何实现双流 Join 的。
大数据Flink（八十八）：Interval Join（时间区间 Join）
Lansonli（蓝深李）的博客
09-24 2337
刚刚的案例也讲了，Regular Join 会产生回撤流，但是在实时数仓中一般写入的 sink 都是类似于 Kafka 这样的消息队列，然后后面接 clickhouse 等引擎，这些引擎又不具备处理回撤流的能力。可以发现 Inner Interval Join 和其他三种 Outer Interval Join 的区别在于，Outer 在随着时间推移的过程中，如果有数据过期了之后，会根据是否是 Outer 将没有 Join 到的数据也给输出。：Interval Join 在离线的概念中是没有的。
Flink集成ClickHouse数据加载库：flink-clickhouse-sink详解
Flink-clickhouse-sink是一个用于将数据从Apache Flink流处理框架高效地同步到ClickHouse数据库的库。ClickHouse是一种用于联机分析处理（OLAP）的列式数据库管理系统，特别适合高速插入和查询大量数据。 ### 关键...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值