锵锵锵锵蒋的博客

根据数据集==是否根据Key进行分区==，将状态分为==Keyed State== 和==OperatorState（Non-keyed ）State==两种类型。

其代表允许延时的最大时间，Flink窗口算过程中会将 Window的 Endtime加上该时间，作为窗口最后被释放的结束时间§,当接人的数据中 EventTime未超过该时间§，但 Watermak 已经超过 Window 的 EndTim时直接触发窗口计算。相反，如果事件时间超过了最大延时时间§，则只能对数据进行丢弃处理。通常情况下用户虽然希望对迟到的数据进行窗口计算，但并不想将结果混入正常的计算流程中，例如用户大屏数据展示系统，即使正常的窗口中没有将迟到的数据进行统计，但为了。

和状态计算不同的是，无状态计算不会存储计算过程中产生的结果，也不会将结果用于下一步计算过程中，程序只会在**当前的计算流程**中实行计算，计算完成就输出结果，然后下一条数据接人，然后再处理。

异步IO可以提升性能和吞吐量，主要原因是在异步函数中可以尽可能异步并发地查询外部数据库。

Flink数据分区操作

Flink数据输出--DataSinks操作

Flink定义DataStream API让用户灵活且高效的编写流式应用。主要分为3部分：DataSource模块，Transformation模块以及DataSink模块。1. ==DataSource模块==，主要定义了数据接入功能，将外部数据接入至flink，并将接入数据转换成对应的datastream数据集。2. ==Transformation 模块==定义了对 DataStream 数据集的各种转换操作，例如进行 map、filter、windows等操作。3. 最后，将结果数据通过==D

checkpoints监控和调优

实时数据开发 | Flink反压机制原因、影响及解决方案

Flink引擎本质上是流式引擎，认为批处理是流处理的一个特例。因此，通过窗口将流数据划分为有限大小的集合，使得在这些有界的数据集上可以进行批处理风格的计算。通过配置窗口的参数，如==长度==和==滑动间隔==，可以精确地控制数据的聚合和计算频率，以满足各种业务需求。

一分钟看懂Flink水平线机制

今天学Flink的关键技术--容错机制，用一些通俗的比喻来讲这个复杂的过程。

Flink的关键概念，入门必备

上次的内容讲过流批一体，Flink就是在一套框架中同时支持批处理与流处理的一个计算平台（Spark也可以）。简单写一下Flink的技术栈。

主键是传统关系型系统的产物，因为数仓的特性，需要酌情使用主键。应用中需要在便利性和性能、存储间找到一个平衡。通过合理设计表结构、选择合适的约束条件和优化性能，可以在不使用主键的情况下，确保数据的唯一性和完整性。

数据仓库中ODS表的设计方法，不同类型存储方式的使用场景

数仓ODS中发生的数据漂移现象的原因、场景和解决方案。

流批一体的概念是可能出现在大厂的面试题中的，可是就算大厂实习也有可能没机会实操这样的高级操作。不过学一点概念，面试多少是能说上一两句的。大致就是希望一套代码能同时在批处理和流处理中运行（同时做离线计算和实时计算）。

Hive 中常见的数据倾斜场景及解决方法

【黑马2023大数据实战教程】VMWare虚拟机部署HDFS集群详细过程:包括1.配置workers:2.配置hadoop-env.sh文件3.配置core-site.xml文件4.配置hdfs-site.xml文件准备数据目录分发Hadoop文件夹配置环境变量授权为hadoop用户格式化文件系统错误排查方法!!

HDFS集群部署成功（3台虚拟机）但是网页端无法打开，通过显示指定端口解决！！

2023新版黑马程序员大数据教程中的集群配置步骤记录

操作HDFS文件系统常用的命令行

select ROW_NUMBER()over(order by name) as 排序,* from temp— 排序，即使值一样，也不会重复排序。例如1,2,3,4,5select RANK()over(order by name) as 排序,* from temp— 排序，值一样，就重复排序，有间隙。例如1,1,3,4select DENSE_RANK()over(order by name) as 排序,* from temp— 排序，值一样，就重复排序，没有间隙。

当要计算的指标可能来源多个表时，可能会使用到union all把不同的表中计算的指标合起来。写法一：group by之后union all ，之后再次group by保证分组字段的唯一。Union：对两个结果集进行并集操作，不包括重复行，同时进行默认规则的排序；写法二：开始不分组，将查到的分组字段union all 之后group by。Union All：对两个结果集进行并集操作，包括重复行，不进行排序；另外，回顾union和union all的区别：union会自动。

数仓中维度、指标、度量等概念的区分

概念归纳业务分类：业务板块是某一大类业务的指标和维度的集合，如电商，文 娱。数据域：数据域是指一个或多个业务过程或者维度的集合，如交易域， 日志域。业务过程：业务过程指企业的业务活动事件，如下单，支付。数据集市：面向某个应用场景或者产品的数据组织，一般会依赖数据 公共层。主题域：将数据集市按照分析视角进行切分，比如在电商行业，通常分 为会员、交易、商品等。维度：维度是用于分析数据的一个角度，一方面对维度进行可控管理， 另一方面指导维度表的设计，如地理维度，时间维度。维度属性：维度属性隶属于一

对数仓中的维度&指标进行解释

结合阿里OneData规范，对数仓的维度建模方法进行整理，关于分层建模的一些注意点。