ClickHouse窗口函数深度解析：从基础到实战

最新推荐文章于 2025-05-30 09:09:57 发布

原创最新推荐文章于 2025-05-30 09:09:57 发布 · 457 阅读

4 ·

CC 4.0 BY-SA版权

ClickHouse窗口函数深度解析：从基础到实战

什么是窗口函数

窗口函数(Window Functions)是ClickHouse中一种强大的分析工具，它允许我们对与当前行相关联的一组行执行计算。与聚合函数不同，窗口函数不会将多行合并为单个输出行，而是保留原始数据行的同时添加计算结果。

窗口函数的典型应用场景包括：

计算移动平均值
累计求和
排名和分位数计算
比较当前行与组内其他行的差异

标准窗口函数支持情况

ClickHouse对标准SQL窗口函数语法提供了广泛支持：

| 功能特性 | 支持情况 | 说明 | |---------|---------|------| | 即时窗口定义 | ✅ | 如count(*) over (partition by id order by time desc) | | 窗口函数表达式 | ✅ | 如(count(*) over ()) / 2) | | WINDOW子句 | ✅ | 可重用窗口定义 | | ROWS帧 | ✅ | 按物理行数定义窗口范围 | | RANGE帧 | ✅ | 按逻辑值范围定义窗口(默认) | | 聚合函数 | ✅ | 所有聚合函数都支持窗口用法 | | rank(), dense_rank(), row_number() | ✅ | 排名函数 | | percent_rank() | ✅ | 计算百分位排名 |

ClickHouse特有窗口函数

除了标准函数外，ClickHouse还提供了特有的窗口函数：

nonNegativeDerivative

计算指标列随时间戳列的非负导数：

nonNegativeDerivative(metric_column, timestamp_column[, INTERVAL X UNITS])

第一行结果为0
后续行计算为：(当前值-前值)/(当前时间-前时间)*间隔单位

窗口函数语法详解

基本语法结构：

函数 OVER (
    [PARTITION BY 分组列] 
    [ORDER BY 排序列]
    [ROWS/RANGE 帧定义]
)

关键组成部分

PARTITION BY：将结果集划分为多个组，窗口计算在每个组内独立进行
ORDER BY：确定组内行的计算顺序
帧定义：指定计算窗口的范围，有以下几种形式：
- ROWS BETWEEN ... AND ...：基于物理行数
- RANGE BETWEEN ... AND ...：基于逻辑值范围
- 边界可以是：
  - UNBOUNDED PRECEDING：分区开始
  - CURRENT ROW：当前行
  - N PRECEDING/FOLLOWING：前/后N行

常用窗口函数分类

排名函数

row_number()：连续行号(1,2,3...)
rank()：带间隔的排名(1,2,2,4...)
dense_rank()：无间隔排名(1,2,2,3...)
percent_rank()：相对排名百分比

取值函数

first_value(x)：窗口第一行的值
last_value(x)：窗口最后一行的值
nth_value(x, N)：窗口第N行的值
lagInFrame(x)：前N行的值
leadInFrame(x)：后N行的值

实战案例

基础排名示例

-- 简单行号
SELECT 
    player, salary,
    row_number() OVER (ORDER BY salary) AS row_num
FROM salaries;

-- 多种排名对比
SELECT 
    player, salary,
    row_number() OVER (ORDER BY salary) AS row_num,
    rank() OVER (ORDER BY salary) AS rank,
    dense_rank() OVER (ORDER BY salary) AS dense_rank
FROM salaries;

分组计算示例

-- 计算组内平均值及差异
SELECT
    player, salary, team,
    avg(salary) OVER (PARTITION BY team) AS team_avg,
    salary - avg(salary) OVER (PARTITION BY team) AS diff
FROM salaries;

-- 计算组内最大值及差异
SELECT
    player, salary, team,
    max(salary) OVER (PARTITION BY team) AS team_max,
    salary - max(salary) OVER (PARTITION BY team) AS diff
FROM salaries;

窗口帧控制示例

-- 累计计算
SELECT 
    part_key, value, order,
    sum(value) OVER (
        PARTITION BY part_key 
        ORDER BY order
        ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW
    ) AS running_sum
FROM wf_frame;

-- 滑动窗口计算(前1行到当前行)
SELECT 
    part_key, value, order,
    avg(value) OVER (
        PARTITION BY part_key 
        ORDER BY order
        ROWS BETWEEN 1 PRECEDING AND CURRENT ROW
    ) AS moving_avg
FROM wf_frame;