大曹的博客

JS埋点_Spark分析_echarts展示 上部分总体架构总体架构 就是 js 将用户访问日志不断采集到nginx，经由脚本切割日志文件，然后由flume采集到hdfs，再经过spark任务分析，将结果存储到mysql，然后由echarts框架将数据展示到前端实现JS埋点以及到nginx的数据采集###### [安装nginx](http://www.wordboy.cn/2017/...

yarn的作业提交一个过程首先yarn是什么东西，在hadoop1.x的时候并没有yarn。mr即使计算框架也是资源调度框架，而复杂的框架造成资源分配不合理，经常浪费资源或者无法很好利用资源，所以在hadoop2.x之后呢，加入了一个yarn资源调度框架，它有什么好处呢?从此之后，集群的资源，不光是mr可以利用，spakr也可以利用，他就像一个管家，不管谁来，它负责分配资源，增加了集群资源利用率...

KvBufferhadoop的环形缓冲区Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必须要了解的。从这周开始,开始学习shuffle的整个过程,今天带来的是hadoop环形缓冲区的理解代码(初始化环形缓冲区) // 存储元数据信息 **注意这是一个intbuffer 存储int private IntBuffer ...

flink的优点确实是挺强的，不过公司业务用不到，都是离线的，所以说拿出来研究研究，希望以后有机会能够用到Flink on yarn 安装下载flink网址:http://mirror.bit.edu.cn/apache/flink/flink-1.7.1/flink-1.7.1-bin-hadoop27-scala_2.11.tgz上传然后解压//解压到自己的软件目录下tar -...

CDH之Hue的安装并使用hive介绍：一， 要想安装Hue，必须先安装oozie0，下载ext-2.2.zipmv ext-2.2.zip /var/lib/oozie/ cd /var/lib/oozie unzip ext-2.2.zip chown -R oozie:oozie ext-2.21，首先点击服务，继续2，选择一个平台安装，我这块和hive 安装在一块...

CDH之spark2的安装就之前我是cdh-5.16.1，那我们添加服务来看一下有没有spark2的安装没有吧，那我接下就开始让他出现吧spark2的安装spark2的安装包的下载1，首先下载 on_yarn的jar包(因为cdh的spark2目前只支持on yarn 模式)http://archive.cloudera.com/spark2/csd/2，下载spark2的安装...

CDH的安装啥也别说了，开始需要先安装Linux、 和 mysql安装包的下载Cloudera Manager下载地址：http://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos6-cm5.16.1_x86_64.tar.gzCDH安装包地址http://archive.cloudera.com/cdh5/parcels...

刚开始是集群模式，我开的是单机，所以在spark-env.sh上需要去掉一些东西然后把conf/slaves 删除掉然后启动 spark-shell 就可以了ps：集群的话 需要启动maser 和 slave 之后才可以启动...

我是单机模式，发生这个问题，查看你配置的日志目录有没有自己生成，没有自己生成的话，你自己创建一个日志目录，就好了

 多个datanode与namenode进行时间同步，在每台服务器执行如下两个命令进行同步    1）输入“cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime”    2）输入“ntpdate pool.ntp.org”...

转载地址:https://blog.csdn.net/aijiudu/article/details/72353510废话不说直接来一张图如下：从JVM的角度看Map和ReduceMap阶段包括：第一读数据：从HDFS读取数据1、问题:读取数据产生多少个Mapper？？    Mapper数据过大的话，会产生大量的小文件，由于Mapper是基于虚拟机的，过多的Mapper创建和初始化及关闭虚拟机都...

hadoop 集群安装 ： 需要三台实体机，或者3台虚拟机！虚拟机进行克隆便好Hadoop-2.7.3集群配置过程：前期准备：1）每台机器的IP修改为唯一2）每台机器的主机名(hostname)改为唯一: hadoop  slave1  slave2---------------------------------------------------------------------------...

在单机的基础上，继续修改在第一步配置完jdk后，先配置ssh1,安装ssh（centos 自带ssh 此部可以略过）    yum -y install ssh    ls - a    rpm -qa | grep ssh  -- 也可查看、本地SSH登录：   $ ssh localhost      $ exit3、查看.ssh目录：   $ ls -a4、进入.ssh目录：   $ cd ...

单机模式：最基本的，需要centos  hadoop_2.7.3 jdk1.8  都必须是linu下的1，配置好centos，安装好tools2，在~目录下建一个文件夹 sort ，将hadoop与jdk 的压缩安装文件传过去,你也可以在Linux下下载  weget url3，首先进行jdk 的配置：    --将jdk放到/usr/local 中 解压到这儿，tar -zxvf 文件 ./  ...

hadoop的四大组件：点击打开链接hadoop是一个可靠的，可扩展的，开源的，可进行分布式计算的一个开源平台    -haddop_common -支持其他的hadoop通用程序    -hadoop hdfs   -能进行高吞吐量访问分布式文件系统。    -hadoop yarn  - 集群资源管理系统    -hadoop mapreduce -基于yarn进行大数据并行处理系统hadoo...

今天了解了一下hadoop的大体安装过程，由于资金紧张，在我的破笔记本上装了一下hadoop准备的三个东西：1，Vmware 自己下载，这个网上很多。2，centos 系统  3，Linuxjdk1.7以上   这三个都下载好以后。虚拟机安装centos 系统 这儿就不说了，随便装一装就行了，顺便安装tools工具1，登陆用户进入linux系统，然后在用户主目录创建一个文件夹，（任意地方），解压，...