- 博客(13)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 MapReduce详细流程
MR整体流程：准备待处理文本，文本相关信息(输入路径: /user/input、文件名称: ss.txt , 文件大小：200M)。客户端获取待处理的数据信息（比如ss.txt根据块大小128M切分成块1的128M和块2的72M），根据参数配置，形成任务分配的规划。客户端submit()，提交Job到Yarn (提交内容：Job.split-切片信息, jar包, Job.x...
2018-12-03 16:15:38
505
原创 azkaban编译，linux上面编译azkaban全流程，azkaban使用。
本次编译使用的是azkaban的3.x系列。下载链接：https://github.com/azkaban/azkaban/releases选择zip下载。前提：linux中需要下载安装git1、将下载好的zip包放在linux中，使用解压。2、进入gradlew目录下面的wrapper目录。3、因为在编译的过程中需要下载一个gradle-4.6-all.zip，我们在这里提前下载好，放进去。下载链接：https://services.gradle.org/distributions/grad
2020-08-22 02:41:28
647
原创 zookeeper的安装部署以及zookeeper具体使用
1、 因部署的是cdh5的Hadoop版本，因此这里安装的是配套的zk2、 在服务器进行下载： wget http://archive.cloudera.com/cdh5/cdh/5/zookeeper-3.4.5-cdh5.16.2.tar.gz3、 解压： tar -zxvf zookeeper-3.4.5-cdh5.16.2.tar.gz -C ../app/ 到另外一个文件夹。4、 在conf目录下复制一个配置文件 cp zoo_sample.cfg zoo.cfg5、 修改配置
2020-08-20 22:15:45
581
原创 完美安装nginx、编译nginx、部署及使用。
1、环境下载 在root用户 yum install gcc gcc-c++ automake pcre pcre-devel zlip zlib-devel openssl openssl-devel2、下载nginx 安装包 wget http://nginx.org/download/nginx-1.80.0.tar.gz3、解压安装包: tar -zxvf nginx-1.18.0.tar.gz -C /usr/local/4、改名字 mv nginx-1.18.0 nginx5、编译
2020-08-10 23:30:32
424
原创 网络传输过程中大文件的分割以及合并
应用场景：现有一个比较大的文件需要远程传输，但是因为文件比较大，在传输过程中会报错，因此，采用的方案是把大文件切割成一个个小文件，最后再进行合并！我是通过一段Java代码把hdfs的一个500M文件下载到本地，生成两个文件，然后进行合并的。代码如下： @Testpublic void download() throws IOException { FSDataInputStream in = fileSystem.open(new Path("/hdfsapi2/hadoop-2.6.0-
2020-07-07 12:03:05
650
原创 企业级mysql完美安装
1、将提前准备好的压缩包解压到 /usr/local（不用创建，已经存在的）tar xzvf mysql-5.7.11-linux-glibc2.5-x86_64.tar.gz -C /usr/local2、换一个文件名mv mysql-5.7.11-linux-glibc2.5-x86_64 mysql3、创建一个目录mkdir mysql/arch mysql/data mysql/tmp4、创建my.cnf(见文件)vi /etc/my.cnf[client]port
2020-07-05 13:51:44
582
原创 企业级完美安装JDK
完美安装JDK1、将提前下载好的jdk文件导入到虚拟机中2、建议将jdk安装在 /use/java这个目录下（需要自己创建目录 mkdir /use/java）3、解压文件： tar -zxvf XXXXX -C /usr/java(cdh环境的标配)4、在这里会有一个容易错误的点！！！！一般我们在解压文件之后，它的权限就是 root:root但是你会发现刚才解压后的文件的权限是一串数字 10143 10143如果不处理，后果可想而知处理办法，修改权限chown -R root:ro
2020-07-05 13:30:17
308
原创 flume的配置与安装，以及简介
定位：实时日志收集系统特点：flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带日志数据(字节数组形式)并且携带有头信息，这些E...
2018-12-06 20:41:10
291
原创 安装虚拟机
配置linux服务器的基础软件环境1、关闭防火墙关闭防火墙：service iptables stop关闭防火墙自启： chkconfig iptables off2、安装jdk：（hadoop体系中的各软件都是java开发的）以及环境变量的配置vi /etc/profileexport JAVA_HOME=/root/apps/jdk1.8.0_60export PATH=PATH...
2018-12-06 20:19:36
168
原创 Hbase的安装与简单使用介绍
安装背景：Hadoop版本：2.9.0Hbase版本：2.0.0JDK：1.8安装步骤：1、下载tar包官方地址：http://archive.apache.org/dist/hbase/2.0.0/ 2、将tar包导入到自己的虚拟机中。（题外话：大数据的需要用到的软件特别多，刚开始入门的朋友最好把安装的软件放在同一个目录下，并且使用mv命令重新命名，以便于后期的美观。自己用起来也顺...
2018-12-06 19:53:22
443
原创 位运算
位运算前言 程序中的所有数在计算机内存中都是以二进制的形式储存的。位运算就是直接对整数在内存中的二进制位进行操作。 了解位运算之前，让我们首先一下二进制及其原码、反码、补码，方便我们容易的了解位运算。1. 什么是二进制？ 二进制是计算技术中广泛采用的一种数制，二进制数据采用0与1两个数码来表示的数。它的基数是2，进位规则是"逢二进一"，借位规则是“借一当二”，由18世纪德国数理哲学...
2018-12-03 22:31:40
180
原创 MR细节简介
此MR程序以wordcount为例1、 数据准备：如图所示，在HDFS中有一个1G的文件，HDFS中的的默认分块的大小为256M，分别存储在HDFS中的四个块中。在文件被分成块之后，不会直接被mapreduce处理。而是先由FileInputFormat进行切片。2、 在MR程序运行的过程中，会生成许多MapTask程序，MapTask的数量和“分片”的数量相同，一般来说，每个分片都有一个Ma...
2018-12-03 16:17:24
360
原创 Hive字符集不匹配解决方案
**Hive字符集不匹配解决方案**#hive-mysql字符编码错乱问题#/etc/my.cnf添加下列字段 然后 service mysqld restartinit_connect=‘SET collation_connection = utf8_unicode_ci’init_connect=‘SET NAMES utf8’character-set-server=utf8...
2018-12-03 16:09:46
964
hadoop-native-64-2.6.0.zip
2020-07-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人