nifi制作从ftp下载csv导入数据库的template

本文详细介绍了如何使用Nifi进行数据流处理,包括创建必要的处理器、配置、创建MySQL表、查看源码等内容。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

(本篇博文距离我实际操作已有一段时间2015-12写,可能版本update,需要同步官网信息)

(Nifi刚成为顶级项目不久,国内资料少之又少,只有爬墙去找资料,在一个视频中就略微提到一些思路)

1.首先创建你个所需要的processor,这里需要GetFTP,

ConvertCSVToAvro,

ConvertAvroToJSON,

ConvertJSONToSQL,

PutSQL这个5个。

2.config 每一个processor,具体配置和用途,自己查阅官方文档。这里要注意的是avro的格式要与csv的attribute对应起来,别写错了

3.创建mysql的table,表明随意,和配置项一致就ok,主要是字段要与csv的attribute  mapping好,以免插入不进去,一致在内存中堆积,会将jvm的heap占满,然后会outmemory的错误

4.看了一部分nifi的源码,写的很工整,有兴趣可以学习一下代码构建的思路

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值