学好Spark必须要掌握的Scala技术点（一）变量、表达式、循环、Option、方法和函数/偏函数

前言

Scala是以JVM为运行环境的面向对象的函数式编程语言，它可以直接访问Java类库并且与Java框架进行交互操作。正如之前所介绍，Spark是用Scala语言编写的，Kafka server端也是，那么深入学习Scala对掌握Spark、Kafka是必备掌握技能。

本篇文章主要介绍，在学习、编写Spark程序时，至少要掌握的Scala语法，多以示例说明。建议在用Scala编写相关功能实现时，边学习、边应用、边摸索以加深对Scala的理解和应用。

1. 变量、表达式、循环、Option、方法和函数

1.1 声明变量

def main(args: Array[String]): Unit = {
    //使用val定义的变量值是不可变的，相当于java里用final修饰的变量
    val i = 1
    //使用var定义的变量是可变的，在Scala中鼓励使用val
    var s = "hello"
    //Scala编译器会自动推断变量的类型，必要的时候可以指定类型
    //变量名在前，类型在后
    val str: String = "hello"
}

1.2 表达式

1.2.1 条件表达式

def main(args: Array[String]): Unit = {
    val x = 1
    
    // 判断x是否大于0，将最终结果赋给y，打印y
    // 二者等效， Scala语言强调代码简洁
    //    var y = if(x > 0) {x} else {-1}
    //    val y = if(x > 0) x else -1

    //   支持混合类型表达式，返回值类型是Any
    //    var y = if(x > 0) x else "no"

    // 如果缺失else，相当于if (x > 0) 1 else ()
    //    scala表达式中有一个Unit类，写作()，相当于java中void
    //    val y = if(x > 0) 1
    //    if和else if
    val f = if (x < 0) 0 else if (x >= 1) 1 else -1
    println(y)
}

1.2.2 块表达式

def main(args: Array[String]): Unit = {
    val x = 0
    
     //  scala中{}可包含一系列表达式，块中运行最终结果为块的值
    val result = {
      if(x < 0)  -1  else if(x >= 1) 1  else "error"
    }
    println(result)
}

1.3 循环

Scala里面while循环和Java中的while循环使用方式类似，这里主要以for循环为例：

def main(args: Array[String]): Unit = {
    // 表达式1 to 10返回一个Range区间，每次循环将区间中的一个值赋给i
    for (i <- 1 to 3) {
      println(i)
    }

    //i代表数组中的每个元素
    val arr = Array("a", 1, "c")
    for (i <- arr) {
      println(i)
    }
    
    //高级for循环
    //每个生成器都可以带一个条件，注意：if前面没有分号
    //相当于双层for循环，i每获得一个值对1to3进行全部遍历并赋值给j然后进行条件判断
    for (i <- 1 to 3; j <- 1 to 3 if (i != j)) {
      println(i + j)
    }

    //for推导式：如果for的循环体以yield开头，则该循环会构建一个集合
    //    每次迭代生成集合中的一个元素 集合类型为Vector
    var v = for (i <- 1 to 3) yield i * i
    println(v)

    //遍历一个数组，to：包头包尾；until：包头不包尾
    for (i <- arr.length - 1) {
      println(arr(i))
    }
    for(i <- 0 until arr.length) {
      println(arr(i))
    }
}

1.4 Option类型

在Scala中Option类型样例类用来表示可能存在或也可能不存在的值(Option的子类有Some和None)。Some包装了某个值，None表示没有值：

def main(args: Array[String]): Unit = {
    val map = Map("a"->1,"b"->2)
//根据key获取value匹配match中的逻辑有值返回Some类型(已封装数据)，无值返回None
    val v = map.get("b") match {
      case Some(i) => i
      case None => 0
    }
    println(v)
    //更好的方式
    val value = map.getOrElse("c",0)
    println(value)
  }

1.5 方法和函数

Scala中的+、-、*、/、%等操作符的作用与Java一样，位操作符&、|、^、>>、<<也一样。但在Scala中：这些操作符实际上是方法。例如：a + b是a.+(b)方法调用的简写：a 方法 b可以写成 a.方法(b)。方法的返回值类型可以不写，编译器可以自动推断出来，但是对于递归函数，必须指定返回类型。def str = “a” 成立，定义一个字符串

在函数式编程语言中，函数可以像任何其他数据类型一样被传递和操作：

偏函数：

//偏函数，它是PartialFunction[-A,+B]的一个实例，A代表参数类型，B代表返回值类型，常用作模式匹配（后文阐述）。

def func1: PartialFunction[String, Int] = {
    case "one" => 1
    case "two" => 2
    case _ => -1
  }
  def func2(num: String): Int = num match {
    case "one" => 1
    case "two" => 2
    case _ => -1
  }
  def main(args: Array[String]) {
    println(func1("one"))
    println(func2("three"))
}