Mr_qing的博客

一、案例说明 现有如此三份数据： 1、users.dat 数据格式为： 2::M::56::16::70072， 共有6040条数据 对应字段为：UserID BigInt, Gender String, Age Int, Occupation String, Zipcode String 对应字段中文解释：用户id，性别，年龄，职业，邮政编码 2、movies.dat 数据格式为： 2::Jumanji (1995)::Adventure|Children’s|Fantasy， 共有3883条数据 对应字

一、准备工作 1、启动hadoop集群 [root@hadoop129 hadoop-2.5.0-cdh5.3.6]# start-dfs.sh 2、启动hive [root@hadoop129 hive-0.13.1-cdh5.3.6]# hive 3、创建数据库表 create database text01; create database if not exists text02; ...

1. 前言 前面三篇讲述了安装MySQL和Hive以及Hive的配置和存储，并通过Shell成功登录了Hive，接下来就可以创建Hive表进行数据操作了。 Hive是一个数据仓库，它可以将结构化的数据文件映射为一张数据库表，并具有SQL语言的查询功能，这里需要再次强调的是对于数据仓库来说，往往存放的是历史数据，他的作用是完成数据的查询分析，而不是完成单条记录的增加、修改和删除操作。 Hive表的创...

1. 前言 Hive是建立在Hadoop上的数据仓库基础架构。它提供了一系列的工具，用来进行数据（ETL）提取、转化、加载。这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL语言（HQL），它允许熟悉SQL操作的用户查询数据。作为一个数据仓库，Hive的数据管理按照使用层次可以从元数据存储、数据存储和数据交换三个方面来说。 2. 元数据存储 Hive将...

1. Hive的基本安装 1.1 下载 Hive的下载地址：点这里下载 1.2 上传解压 在Hadoop用户状态下，将Hive的安装文件拷贝到安装目录下并解压。 1.3 配置Hive的环境变量 配置Hive的环境变量时，需要root用户配置，所以首先切换到root用户下： vi /etc/profile 让变量生效 source /etc/profile 在[root@hadoop12...

1. 前言 前面讲了很多关于集群搭建、以及HDFS和MapReduce的基本操作，接下来终于能学习新的内容了。。 Hive本身是数据仓库，那么什么是数据仓库呢？ 数据仓库是为了协助分析报告，支持决策，为需要业务智能的企业提供业务流程的改进和指导，从而节省时间和成本，提高质量。它与数据库系统的区别是，数据库系统可以很好的解决事务处理，实现对数据的“增删改查”操作，而数据仓库则是用来查询分析的数据库...