- 博客(7)
- 收藏
- 关注
RSS订阅原创 MapReduce执行流程以及shuffle是什么
MapReduce执行流程以及shuffle是什么Map执行流程Reduce执行流程shuffle是什么 Map执行流程 就拿Wordcount来举例吧，明白了Wordcount就明白了流程 1.当一个大的文件要执行MapReduce任务时会根据HDFS的文件块大小进行拆分，一个文件块对应一个MapTask 2. 之后是对切片的数据按照一定的规则解析成KV的形式， 接口叫做InputFormat,，有一个默认实现叫做TextInputFormat使用LineRecordReader将一行内容解析为KV，行偏
2022-03-14 10:51:56
2729
1
原创 maven打包无法将第三方依赖打进包里
今天在做hive自定函数时遇到了点问题，思来想去觉得是打完的jar是不是没有依赖呢？自己测试发现，好家伙果没有啊，百度半天maven打包将依赖也打进去，也不好百度，于是将我的经验分享出来，在pom加入如下的插件，在进行打包，会生成两个jar包，以jar-with-dependencies结尾的jar就是包含依赖的jar包 <build> <plugins> <plugin> <groupI
2022-01-06 20:26:56
797
原创 CentOS8安装jdk,tomcat,mysql,Nginx,Redis
CentOS配置java环境，jdk mysql tomcat nginx redis
2021-12-05 20:28:08
1478
原创 org.springframework.beans.factory.BeanCreationException: Error creating bean with name ‘multipartRes
org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'multipartResolver': Lookup method resolution failed; nested exception is java.lang.IllegalStateException: Failed to introspect Class [org.springframework.web.multipart
2021-12-02 10:13:55
516
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人