weixin_44275584的博客

4.1 MapReduce 概述4.1.1 MapReduce 核心思想MapReduce的核心思想是“分而治之”。所谓“分而治之”就是把一个复杂的问题，按照一定的“分解"方法分为等价的规模较小的若干部分，然后逐个解决，分别找出各部分的结果，把各部分的结果组成整个问题的结果，这种思想来源于日常生活与工作时的经验，同样也完全适合技术领域。MapReduce作为一种分布式计算模型，它主要用于解决海量数据的计算问题。使用MapReduce分析海量数据时，每个MapReduce程序被初始化为一个工作任务，每个

3.1 HDFS的简介3.1.1 HDFS的演变HDFS源于Google在2003年10月份发表的**GFS（Google File System）**论文。传统的文件系统对于数据的处理方式是将数据文件直接存储在一台服务器上。这样会产生两个问题：当数据量越来越大的时候，需要扩容文件很大时，上传下载非常耗时对于第一个问题，扩容。扩容有两种方式，一是纵向扩容，即增加磁盘和内存；另一种是横向扩容，即增加服务器数量。分布式文件系统使用的就是横向扩容。对于第二个问题，传输效率。常规的解决办法是将一个

SecureCRT的安装与破解https://www.cnblogs.com/yjd_hycf_space/p/7729796.htmlhttps://www.cnblogs.com/yjd_hycf_space/p/7730690.htmlcd /export/software/yum install lrzsz -yrztar -zxvf jdk-8u161-linux-x64.tar.gz -C /export/serverscd /export/servers/mv jdk1.8.

1.1 大数据概述1.1.1 什么是大数据字面意思来看 大数据就是巨量的数据。最早提出大数据概念的是麦肯锡公司，他是这样定义大数据的：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型以及价值密度低四大特征。研究机构Gartner是这样定义大数据的：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流转优化能力来适应海量、高增长率和多样化的信息资产。若从技术角度来看，大数据的战略意义不在于掌握庞大的数