S_____White的博客

语法格式因为函数是对象，所以函数有类型：(函数参数类型1, 函数参数类型2,...) => 函数返回值类型val 函数名: (函数参数类型1, 函数参数类型2,...) => 函数返回值类型 = (参数名:参数类型, 参数名:参数类型, ...) => {函数体函数的本质就是引用类型，相当于 Java 中 new 出来的实例，所以函数是在堆内存中开辟空间；函数的定义不需要使用 def 关键字，但定义的函数一定要有输入和返回值，没有返回值相当于返回的是 Unit；

如果在 Worker 上提交应用，那么Driver 就在 Worker，如果直接在自己的 PC 上提交应用，比如在 IDEA 中使用 val sc = new SparkContext("spark://node01:7077","AppName") 去连接 Master 的话，Driver 就在自己的 PC 上，但是不推荐这样的方式，因为 PC 和 Workers 可能不在一个局域网，Driver 和 Executor 之间的通信会很慢。Spark不具有存储的能力，存储是在HDFS中。

需求：定义列表 List(("张三", 18), ("李四", 19), 5, "Scala", (1 to 5).toList) ，根据不同的元素类型。已知一个 List 列表，存储元素为：1, 2, 3, 4, 5, 6, 7, 8, 9, 10。Array(5, x, y) ：以 5 开头的数组，长度为 3。Array(x, y, 5) ：以 5 结尾的数组，长度为 3。List(5, x, y) ：以 5 开头的列表，长度为 3。List(x, y, 5) ：以 5 结尾的列表，长度为 3。

Scala 同时支持和，因为，所以它也是。：集合内的元素、长度一旦初始化完成就不可再进行更改，任何对集合的改变都将生成一个新的集合。不可变集合都在 scala.collection.immutable 这个包下，使用时无需手动导包。：指的是这个集合本身可以动态改变，且可变集合提供了改变集合内元素的方法。可变集合都在scala.collection.mutable 这个包下，使用时需要手动导包。

；。分类。

1、客户端将1T的全国百家姓的数据传输到HDFS集群中，这个集群会将原来的数据划分块，2、这些块又会被split切片，切片会产生计算任务MapTask，切片的数量和MapTask的工作区的数量一致。3、KeyValue方式再将Split中的文件进行kv值对应，k表示偏移量，V表示一行数据，用的是map方法的键值对思想。

如今的大型互联网场景，数据量庞大，服务器分散部署，，节点会越来越多，节点故障和网络风险会是常态，那么分区容错是一种解决办法，同时分区容错需要保持数据的一致性，可用性，这就是cap原则。Consistency（一致性）、 Availability（可用性、及时响应）、Partition tolerance（分区容错性），三者不可得兼，就说明一定会舍弃其中的一种特性，因为同时满足两个的时候就会出现互斥情况。

基于linux内核的一个应用程序，类似qq微信等软件，shell可以开机自启，呈现再用户前，可以通过Shell操作linux。在计算机科学中，Shell 俗称壳（用来区别于核），是指“为使用者提供操作界面”的软件，类似于 DOS的 cmd.exe。它接收用户命令，然后调用相应的应用程序我们可以使用Shell进行代码编程。变量、数组、字符串、注释、加减乘除、逻辑运算等概念；if...else 选择结构，case...in 开关语句，for、while、until 循环；

构建在hadoop之上的数据分析工具，没有数据存储能力，只有使用数据的能力，操作数据交互采用sql，元数据存放在Derby或者Mysql上，数据存储在HDFS中，分析数据库底层实现的是MapReduce，执行程序实在Yarn上。

在同一个scala文件中，class和object名字一样时，object称为伴生对象，class称为伴生类。他们可以互相访问彼此的private私有属性。

将整个项目功能拆分多个独立的服务进行开发，给不同的服务器资源以及ip每个服务都是独立管理开发的面向服务架构和微服务架构作用：将命令放入后台执行，让当前终端可以继续执行其他命令。对比：无：命令在前台运行，占用终端（需手动中断）。有：命令在后台运行，可立即继续使用终端。

Minor Compaction：快速让小文件合并成大文件Major Compaction：清理大文件不必要的数据，释放空间。

语法格式// 因为函数是对象，所以函数有类型：(函数参数类型1, 函数参数类型2,...) => 函数返回值类型val 函数名: (函数参数类型1, 函数参数类型2,...) => 函数返回值类型 = (参数名:参数类型, 参数名:参数类型, ...) => {函数体函数的本质就是引用类型，相当于 Java 中 new 出来的实例，所以函数是在堆内存中开辟空间；函数的定义不需要使用 def 关键字，但定义的函数一定要有输入和返回值，没有返回值相当于返回的是 Unit；