Apache Hudi 从入门到放弃(1) —— Hudi的初步尝试

写在开始

本篇内容主要是分享一下如何通过Flink Sql 流式的读写Hudi表，也会说说我对Hudi的理解
IDE选择的是Zeppelin，环境配置可以参考一下我这篇博客

环境准备

代码编译
这里我们使用的是Master分支的Hudi进行编译

git clone https://github.com/apache/hudi.git
# 我使用的是scala版本为2.11的Flink，如果是2.12的scala，请在下面语句的最后加上 -Pscala-2.12 -Dscala-2.12
mvn clean install -s $MAVEN_HOME/conf/settings.xml -DskipTests 
# 编译完成之后，packaging/hudi-flink-bundle/target/hudi-flink-bundle_2.11-0.9.0-SNAPSHOT.jar 就是要放到我们环境里面的Jar包

Jar包配置
在使用Zeppelin进行Flink X Hudi的开发时，如果你使用flink.execution.jars的方式加载Hudi的包，那么会有一些问题，不推荐这样使用。如图所示

这里我是建完Hudi表，然后向表中插入数据的时候抛出的异常Caused by: java.lang.ClassNotFoundException: org.apache.hudi.common.metrics.LocalRegistry按理说这根本不可能，但是如果加载这个类的加载器，和执行这段代码的类加载器不一样，那么就会有这样的问题，所以我建议还是简单粗暴的将hudi-flink-bundle_2.11-0.9.0-SNAPSHOT.jar这个包放在${FLINK_HOME}/lib下面
继续踩坑
在环境配置完成之后，我们自然需要去简单的验证一下功能，于是我们建了个表

又出问题了，不过这次这个问题很好解决，在packaging/hudi-flink-bundle/pom.xml的第164行插入
<relocation> <pattern>org.apache.hadoop.hive.ql.</pattern> <shadedPattern>${flink.bundle.hive.shade.prefix}org.apache.hadoop.hive.ql.</shadedPattern> </relocation>
然后重新打包就行，这个BUG我已经提PR了，当我这篇文章发出去的时候，应该已经合并到Master分支了，到时候大家就不会有这个问题了
这里简单的和大家说一下如何处理这种包冲突的问题
- 在${FLINK_HOME}/lib下执行grep -w 'com.example.class' * 看看是否有Jar有重复的类，如果有多个结果直接Vim每个Jar包，然后再重新搜索你的类，看看类名是否完全一致。如果确实存在多个Jar中有多个同名类，那么有两种解决方式
  - 自己手动进行排包，利用mvn dependency:tree或者Idea中的插件Maven Helper进行排包
  - 通过打shade包，来对同名类进行重命名处理，也就是我上面的处理方案，至于什么是shade包，可以看这里

解决完了环境问题之后，我们接下来开始正式的学习之旅

Flink X Hudi

建表

create database if not exists hudi_db;
use hudi_db;
drop table if exists hudi_test_dijie;
CREATE TABLE hudi_test_dijie(
 a varchar