ZeroTeam_麒麟

离线分析框架搭建hadoop集群搭建部署Hadoop HA部署Hive安装部署Sqoop组件安装部署实时分析框架搭建 storm kafkakafka安装配置storm集群安装部署

环境配置 名称 版本 下载地址 Centos 7.0 64x 百度 Zookeeper 3.4.5 Flume 1.6.0 Kafka 2.1.0 配置Flume这里就不介绍了零基础出门右转看Flume的文章flume笔记直接贴配置文件[root@zero239 kafka_2.10-0.10.1.1]# cat /opt/hadoop

本文通过这个项目可以学到那些东西:Flume 配置与使用Kafka 配置与使用Kafka与Flume整合KafkaJava API调用Hadoop 搭建配置Mapreduce 离线分析/数据清洗Storm  实时分析Sqoop 迁移数据Hbase 配置与使用

“全国法院失信被执行人名单”，网址：http://shixin.court.gov.cn/，可供查询，用于惩罚失信人员。数据量有100多万，也算是大数据了。其中身份证号已被处理，并不能直接看到全部号码。本人承诺不将此数据用于非法用途和不正当用途，仅作为个人学习数据处理分析的数据源，不针对任何个人和组织。数据字段如下：被执行人姓名/名称 性别 年龄 身份证号码/组织机