ETL工具KETTLE表输入表输出提速5-10倍

最新推荐文章于 2025-06-05 20:58:01 发布

原创最新推荐文章于 2025-06-05 20:58:01 发布 · 1.2w 阅读

59 ·

CC 4.0 BY-SA版权

文章标签：

#ETL #KETTLE

kettle 同时被 2 个专栏收录

16 篇文章

订阅专栏

ETL工具KETTLE

15 篇文章

订阅专栏

本文详细介绍了如何通过优化Kettle的JDBC连接参数，包括调整读取和写入速度配置，以及合理设置内存使用，实现大数据量迁移时的效率提升。实测结果显示，通过特定配置，初始速度可提高约10倍，最终稳定在5倍左右。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、数据库操作：

因为是大批量数据迁移，主要影响抽取速度的是表输出，因此目标数据库要重新启动下，保证目标数据库性能最好，暂时没有其它进程写入数据。

2、表输入jdbc连接操作：

（1）jdbc连接地址配置参数：

?autoReconnect=true&failOverReadOnly=false&connectTimeout=0&socketTimeout=0&allowMultiQueries=true&maxReconnects=100&zeroDateTimeBehavior=convertToNull

（2）增加读速度配置参数：

defaultFetchSize:10000

useServerPrepStmts:true

useCursorFetch:true

cachePrepStmts:true

3、表输出jdbc连接操作：

（1）jdbc连接地址配置参数：

?autoReconnect=true&failOverReadOnly=false&connectTimeout=0&socketTimeout=0&allowMultiQueries=true&maxReconnects=100&zeroDateTimeBehavior=convertToNull

（2）增加批量写速度配置：

defaultFetchSize:5000

rewriteBatchedStatements:true

useServerPrepStmts:false

useCursorFetch:true

useCompression:true

4、Kettle作业操作：

将kettle转换中：记录集合里的记录数调大，这个与内存大小有关，本人10g内存，使用50000条，此配置相对越大越好：

5、操作结果：

通过以上配置，开始速度可以提高10倍左右，后续会降速，最终保持在提速5倍左右。本人体验，感觉很好。