(本篇博文距离我实际操作已有一段时间2015-12写,可能版本update,需要同步官网信息)
(Nifi刚成为顶级项目不久,国内资料少之又少,只有爬墙去找资料,在一个视频中就略微提到一些思路)
1.首先创建你个所需要的processor,这里需要GetFTP,
ConvertCSVToAvro,
ConvertAvroToJSON,
ConvertJSONToSQL,
PutSQL这个5个。
2.config 每一个processor,具体配置和用途,自己查阅官方文档。这里要注意的是avro的格式要与csv的attribute对应起来,别写错了
3.创建mysql的table,表明随意,和配置项一致就ok,主要是字段要与csv的attribute mapping好,以免插入不进去,一致在内存中堆积,会将jvm的heap占满,然后会outmemory的错误
4.看了一部分nifi的源码,写的很工整,有兴趣可以学习一下代码构建的思路