z17638844395的博客

以下两个命令打开vim ~/.bashrcvim /etc/profile在最后一行添加export PATH=/home/bigdata/bin:$PATH然后使用命令：source ~/.bashrc 来使更改环境变量生效。

一、虚拟机基础配置1.修改网关/etc/sysconfig/network-scrpicts/ifcg-enp0s32.重启网络服务service network restart (centos6)systemctl restart network (centos7)3.查看网络服务ifconfig(centos6里的查看方式，需要安装tools)yum -y install net-toolsip address (centos7里的查看方式)4.关闭linux默认安全组vi /

一、MapReduce的概述MapReduce定义 MapReduce是- -个分布式运算程序的编程框架，是用户开发"基于Hadoop的数据分析应用”的核心框架。 MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群 上。二、MapReduer的优缺点2.1 MapReduce的优点1. MapReduce易于编程 它简单的实现一些接口，就可以完成一个分布式程序，这个分布式程序可 以分布到大量廉价的PC机器

一、HDFS（数据存储）架构概述1.1HDFS产生背景随着数据量越来越大，在一个操作系 统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器 上的文件,这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。1.2HDFS定义HDFS (Hadoop Distibuted File System)，它是一个文件系统，用于存储文件，通过目录树来定位文件;其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角

一、redis的相关操作1.在redis解压路径下make，如有报错要下载gcc 和 gcc-c++ 命令：yum install gcc yum install gcc-c++2.如果make 报出 Jemalloc/jemalloc.h：没有那个文件时 要清除下 然后再make 命令：make distclean3.在/home/jinghang/创建myredis 然后将redis安装路径的redis.conf拷贝进去 命令：cp redis.conf /home/jinghang/

一、hbase简介Hbase:是谷歌三篇论文的bigtable的实现官网:http://hbase.apache.org/Hbase:hadoop的database;非关系型数据库;NoSql;Redis,memcache,mongodb,HbaseHBase :Hadoop Database是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库利用HadoopHDFS作为其文件存储系统,利用HadoopMapReduce来处理HBase中的海量数据,利用Zookeeper作为其分布式