DuckDB与PostgreSQL集成：pg_duckdb函数详解-CSDN博客

本文链接：https://blog.csdn.net/gitblog_00453/article/details/148889072

DuckDB与PostgreSQL集成：pg_duckdb函数详解

项目概述

pg_duckdb是一个将DuckDB功能集成到PostgreSQL中的扩展项目，它允许PostgreSQL用户直接访问DuckDB的强大功能。DuckDB是一款轻量级的分析型数据库，特别适合OLAP工作负载，而PostgreSQL则是功能全面的关系型数据库。通过pg_duckdb，用户可以在PostgreSQL环境中无缝使用DuckDB的各种特性。

函数分类与使用

数据湖函数

pg_duckdb提供了一系列数据湖函数，使得PostgreSQL能够直接读取各种格式的数据文件：

read_parquet函数
- 功能：读取Parquet格式文件
- 使用示例：
```
SELECT * FROM read_parquet('data.parquet');
SELECT r['id'] FROM read_parquet('data.parquet') r;
```
- 特点：支持本地文件和远程HTTP文件，支持通配符匹配多个文件
read_csv函数
- 功能：读取CSV格式文件
- 使用示例：
```
SELECT * FROM read_csv('data.csv', delimiter := '|');
```
- 注意事项：columns参数目前不支持，nullstr必须是数组类型
read_json函数
- 功能：读取JSON格式文件
- 使用示例：
```
SELECT * FROM read_json('data.json');
```
Iceberg相关函数
- 需要先安装Iceberg扩展：
```
SELECT duckdb.install_extension('iceberg');
```
- iceberg_scan：扫描Iceberg表数据
- iceberg_metadata：获取Iceberg表元数据
- 支持多种可选参数控制读取行为
Delta Lake函数
- 需要先安装Delta扩展：
```
SELECT duckdb.install_extension('delta');
```
- delta_scan：扫描Delta Lake数据集

JSON函数

pg_duckdb支持DuckDB提供的所有JSON函数和聚合函数，但不支持PostgreSQL原生的JSON/JSONB函数。这使得在PostgreSQL环境中也能使用DuckDB强大的JSON处理能力。

聚合函数

approx_count_distinct
- 功能：使用HyperLogLog算法估算不同元素的数量
- 特点：在处理大数据集时比精确计数更高效

DuckDB管理函数

install_extension
- 功能：安装DuckDB扩展
- 示例：
```
SELECT duckdb.install_extension('iceberg');
```
- 安全限制：默认只有超级用户能执行
query函数
- 功能：直接在DuckDB上执行SELECT查询
- 特点：可以绕过PostgreSQL语法限制，使用DuckDB特有语法
raw_query函数
- 功能：执行任意DuckDB查询（不限于SELECT）
- 特点：结果输出到日志而非返回行
recycle_ddb函数
- 功能：重置当前连接的DuckDB实例
- 用途：清除会话级状态

Motherduck函数

force_motherduck_sync
- 功能：强制同步Motherduck数据库和模式到PostgreSQL
- 警告：当前版本存在已知问题
- 替代方案：终止同步工作进程触发重新同步

使用技巧与最佳实践

函数别名使用：当需要选择特定列时，建议为函数调用指定别名：
```
SELECT r['id'], r['name'] FROM read_parquet('data.parquet') r;
```
扩展管理：在使用特定格式函数前，确保已安装相应扩展：
```
SELECT duckdb.install_extension('iceberg');
```
性能考虑：对于大数据集，考虑使用近似聚合函数如approx_count_distinct提高性能
错误处理：Motherduck同步失败时，可使用force_motherduck_sync诊断问题