R语言数据处理：长向量、矩阵与数据清理

### R语言数据处理：长向量、矩阵与数据清理 #### 1. 长向量与大数据 从R 3.0.0版本开始，引入了长向量这一特殊机制，它允许向量比以往更长。由于整数只有 $2^{31}-1$ 个值，长向量中超出该范围的元素需要用双索引进行索引。不过，原则上这个扩展对用户是不可见的。但有一个例外，`match()` 函数及其衍生函数 `is.element()` 和 `%in%` 不能用于长向量。 在长向量上使用 `table()` 函数可能会非常慢，而 `data.table` 包提供了一些更快的替代方法。同时，R的文档建议避免使用字符类型的长向量。 #### 2. R向量概述 R向量主要有逻辑型、数值型和字符型三种形式。可以使用 `mode()`、`typeof()` 和 `class()` 函数来获取向量的类别信息。`is.` 系列函数（如 `is.numeric()`）用于判断对象是否属于指定类型，返回 `TRUE` 或 `FALSE`；`as.` 系列函数则用于进行类型转换。 类型转换规则如下： - 字符型转换为数值型：对于非数字的字符（如 `"TRUE"` 或 `"$199.99"`），转换结果为 `NA`。 - 字符型转换为逻辑型：除了 `"TRUE"`、`"True"`、`"true"`、`"T"`、`"FALSE"`、`"False"`、`"false"` 或 `"F"` 之外的字符串，转换结果为 `NA`。 - 数值型转换为逻辑型：零转换为 `FALSE`，非零值转换为 `TRUE`（需注意浮点误差）。 #### 3. 向量子集的提取与赋值 在数据清理项目中，提取和赋值向量子集是关键步骤。可以使用任何类型的索引（或“下标”）来进行提取或赋值操作： - 逻辑下标：返回与 `TRUE` 元素匹配的值。必要时会进行循环扩展，但这种情况通常是由于错误操作导致的。 - 数值下标：返回下标指定的值，且不会进行循环扩展。可以使用 `which()` 函数将逻辑下标转换为数值下标。 - 字符下标：从命名向量中提取名称与下标中名称匹配的元素，同样不会进行循环扩展。 #### 4. 缺失值处理 任何类型的向量都可能包含缺失值，用 `NA` 表示。缺失值会影响相关计算，因此在对数值数据进行求和、求均值等统计计算时，通常需要提供 `na.rm = TRUE` 参数。在处理任何来源的数据集时，都应预计会遇到缺失值并做好相应处理准备。 #### 5. 数据清理关键函数 - `table()` 函数：对向量进行制表，返回每个唯一值出现的次数，名称对应数据集中的原始值。传入两个或多个向量时，可生成二维或更高维的交叉表。建议添加 `useNA = "ifany"`、`useNA = "always"` 或 `exclude = NULL` 参数，以确保统计并显示 `NA` 值的数量。使用 `table(table(x))` 可以查看向量 `x` 中元素出现一次、两次等的数量，有助于检测异常频繁出现的元素。 - `names()` 函数：用于获取 `table()` 输出中的唯一元素，也可以使用 `unique()` 函数实现相同目的。 - `duplicated()` 函数：用于识别重复元素，但对于一组重复元素中的第一个元素，返回 `FALSE`。 - `is.element()` 和 `%in%` 函数：用于确定两组值的重叠程度，它们是 `match()` 函数的简化版本，而 `match()` 函数在合并不同来源的数据时非常关键。 #### 6. 矩阵基础 矩阵本质上是二维矩形排列的向量，矩阵中的每个元素必须是相同类型（逻辑型、数值型或字符型）。大多数情况下我们会遇到数值型矩阵，但也可以有逻辑型矩阵，常用于下标操作。 创建矩阵的方法有： - 使用 `matrix()` 函数从一个长向量创建矩阵。例如： ```R (a <- matrix (101:115, nrow = 5, ncol = 3)) ``` - 使用 `cbind()` 函数将一组等长向量按列组合成矩阵，`rbind()` 函数则按行组合。如果向量长度不等，R会使用常规的循环规则。需要注意的是，如果有一个向量是字符型，整个矩阵将变为字符型。 矩阵填充默认按列进行，如果需要按行填充，可以使用 `byrow = TRUE` 参数。 #### 7. 矩阵的基本操作 - **长度与维度**：`length()` 函数返回矩阵的元素总数，而 `nrow()` 和 `ncol()` 函数分别返回矩阵的行数和列数，`dim()` 函数则同时返回行数和列数。 ```R length (a) dim (a) ``` - **算术运算**：矩阵的算术运算按元素进行，如 `A^2` 对矩阵 `A` 的每个元素进行平方运算，`A * B` 对两个矩阵的对应元素进行乘法运算。矩阵特定运算有特殊符号，如 `A %*% B` 进行常规矩阵乘法，`t(A)` 对矩阵进行转置，`solve()` 对矩阵求逆。 #### 8. 矩阵元素的提取与赋值 - 可以像操作向量一样使用单个下标提取或替换矩阵元素，但更常见的是使用两个下标（行和列），中间用逗号分隔。 ```R a[6] a[6] <- 999 a[1,2] a[1,2] <- 999 ``` - 可以一次提取多个元素，形成子矩阵。也