DAY 16 数组的常见操作和形状

知识点：

1. numpy数组的创建：简单创建、随机创建、遍历、运算
2. numpy数组的索引：一维、二维、三维
3. SHAP值的深入理解

数组的创建

NumPy 数组基础笔记

1. 理解数组的维度 (Dimensions)

NumPy 数组的维度 (Dimension)或称为轴 (Axis)的概念，与我们日常理解的维度非常相似。

直观判断：数组的维度层数通常可以通过打印输出时中括号 [ ] 的嵌套层数来初步确定：

• 一层 [ ]：一维 (1D)数组。
• 两层 [ ]：二维 (2D)数组。
• 三层 [ ]：三维 (3D)数组，依此类推。

2. NumPy 数组与深度学习 Tensor 的关系

在后续进行频繁的数学运算时，尤其是在深度学习领域，对 NumPy 数组的理解非常有帮助，因为 PyTorch 或 TensorFlow 中的 Tensor 张量本质上可以视为支持 GPU 加速和自动微分的 NumPy 数组。掌握 NumPy 的基本操作，能极大地降低学习 Tensor 的门槛。

3. 一维数组 (1D Array)

一维数组在结构上与 Python 中的列表（List）非常相似。它们的主要区别在于：

• 打印输出格式：当使用 print( ) 函数输出时：
  •  NumPy 一维数组的元素之间默认使用空格分隔。
  •  Python 列表的元素之间使用逗号分隔。

4. 二维数组 (2D Array)

二维数组可以被看作是“数组的数组”或者一个矩阵。其结构由两个主要维度决定：

• 行数：代表整个二维数组中包含多少个一维数组。
• 列数：代表每个一维数组（也就是每一行）中包含多少个元素。

值得注意的是，二维数组不一定是正方形（即行数等于列数），它可以是任意的 n * m 形状，其中 n 是行数，m 是列数。

5. 数组的创建

NumPy 的 array() 函数非常灵活，可以接受各种“序列型”对象作为输入参数来创建数组。这意味着你可以将 Python 的列表 (List)、元组 (Tuple)，甚至其他的 NumPy 数组等数据结构直接传递给 np.array() 来创建新的 NumPy 数组。

数组的随机化创建

1. 在后续深度学习中，我们经常需要对数据进行随机化处理，以确保模型的泛化能力。

2. 为了测试很多函数的性能，往往需要随机化生成很多数据。

Numpy随机数生成方法对比表

import numpy as np
np.random.seed(42)  # 设置随机种子以确保结果可重复

# 生成10个语文成绩（正态分布，均值75，标准差10）
chinese_scores = np.random.normal(75, 10, 10).round(1)

# 找出最高分和最低分及其索引
max_score = np.max(chinese_scores)
max_index = np.argmax(chinese_scores)
min_score = np.min(chinese_scores)
min_index = np.argmin(chinese_scores)

print(f"所有成绩: {chinese_scores}")
print(f"最高分: {max_score} (第{max_index}个学生)")
print(f"最低分: {min_score} (第{min_index}个学生)")


'''
所有成绩: [80.  73.6 81.5 90.2 72.7 72.7 90.8 82.7 70.3 80.4]
最高分: 90.8 (第6个学生)
最低分: 70.3 (第8个学生)
'''

数组的遍历

import numpy as np
scores = np.array([5, 9, 9, 11, 11, 13, 15, 19])
scores += 1 # 学习一下这个写法，等价于 scores = scores + 1
sum = 0
for i in scores: # 遍历数组中的每个元素
    sum += i   
print(sum)

#100

数组的运算

1. 矩阵乘法：需要满足第一个矩阵的列数等于第二个矩阵的行数，和线代的矩阵乘法算法相同。
2. 矩阵点乘：需要满足两个矩阵的行数和列数相同，然后两个矩阵对应位置的元素相乘。
3. 矩阵转置：将矩阵的行和列互换。
4. 矩阵求逆：需要满足矩阵是方阵且行列式不为0，然后使用伴随矩阵除以行列式得到逆矩阵。
5. 矩阵求行列式：需要满足矩阵是方阵，然后使用代数余子式展开计算行列式。

数组的索引

一维数组索

arr1d = np.arange(10)  # 数组: [0 1 2 3 4 5 6 7 8 9]
arr1d

# 1. 取出数组的第一个元素。
arr1d[0]

# 2. 取出数组的最后一个元素。-1表示倒数第一个元素。
arr1d[-1]

# 3. 取出数组中索引为 3, 5, 8 的元素。
# 使用整数数组进行索引，可以一次性取出多个元素。语法是 arr1d[[index1, index2, ...]]。
arr1d[[3, 5, 8]]

# 4. 切片取出索引
arr1d[2:6] # 取出索引为2到5的元素（不包括索引6的元素，取左不取右）

# 取出数组中从头到索引 5 (不包含 5) 的元素。
# 使用切片 slice [:stop]
arr1d[:5]

# 取出数组中从索引 4 到结尾的元素。
# 使用切片 slice [start:]
arr1d[4:]

# 5. 取出全部元素
arr1d[:]

# 6. 取出数组中所有偶数索引对应的元素 (即索引 0, 2, 4, 6, 8)。
# 使用带步长的切片 slice [start:stop:step]
arr1d[::2]

二维数组索引

# 数组:
arr2d = np.array([[1, 2, 3, 4],
                  [5, 6, 7, 8],
                  [9, 10, 11, 12],
                  [13, 14, 15, 16]])
arr2d

索引顺序：在二维数组 arr2d 里，第一个索引值代表行，第二个索引值代表列。

比如 arr2d [i, j] ，i 是行索引，j 是列索引。

# 取出第 1 行 (索引为 1) 的所有元素。
#
# 使用索引 arr[row_index, :] 或 arr[row_index]
arr2d[1, :]

# 也可以省略后面的 :
arr2d[1]

# 取出第 2 列 (索引为 2) 的所有元素。
# 使用索引 arr[:, column_index]
arr2d[:, 2]

# 取出位于第 2 行 (索引 2)、第 3 列 (索引 3) 的元素。
# 使用 arr[row_index, column_index]
arr2d[2, 3]

# 取出由第 0 行和第 2 行组成的新数组。
# 使用整数数组作为行索引 arr[[row1, row2, ...], :]
arr2d[[0, 2], :]

# 取出由第 1 列和第 3 列组成的新数组。
# 使用整数数组作为列索引 arr[:, [col1, col2, ...]]
arr2d[:, [1, 3]]

# 取出一个 2x2 的子矩阵，包含元素 6, 7, 10, 11。
# 使用切片 slice arr[row_start:row_stop, col_start:col_stop]
arr2d[1:3, 1:3]

三维数组索引

• 索引从 0 开始，arr[0, 0, 0]是数组的第一个元素。
• 索引可以是负数，表示从后往前数，例如arr[-1, -1, -1]是数组的最后一个元素。
• 切片操作遵循[start:stop:step]的规则，例如arr[0:2, :, ::2]表示前两层，所有行，列每隔一个取一个。
• 确保索引在有效范围内，否则会引发IndexError

import numpy as np

# 创建一个3×4×5的三维数组（3层，每层4行5列）
arr = np.arange(60).reshape(3, 4, 5)
print("数组形状:", arr.shape)  # 输出: (3, 4, 5)
print("数组内容:\n", arr)

#数组内容:
 [[[ 0  1  2  3  4]
  [ 5  6  7  8  9]
  [10 11 12 13 14]
  [15 16 17 18 19]]
 [[20 21 22 23 24]
  [25 26 27 28 29]
  [30 31 32 33 34]
  [35 36 37 38 39]]
 [[40 41 42 43 44]
  [45 46 47 48 49]
  [50 51 52 53 54]
  [55 56 57 58 59]]]


# 访问第2层（索引1）、第3行（索引2）、第4列（索引3）的元素
element = arr[1, 2, 3]  # 等价于arr[1][2][3]
print("单个元素:", element)  # 输出: 33（计算方式：1×20 + 2×5 + 3 = 33）

# 获取第1层（索引0）的全部内容
layer0 = arr[0]
print("第1层形状:", layer0.shape)  # 输出: (4, 5)

# 获取第2层（索引1）的第3行（索引2）
row2 = arr[1, 2]  # 等价于arr[1][2]
print("第2层第3行:", row2)  # 输出: [25 26 27 28 29]

# 获取第3层（索引2）的第4列（索引3）的所有元素
col3 = arr[2, :, 3]  # 等价于arr[2][:, 3]
print("第3层第4列:", col3)  # 输出: [43 48 53 58]


# 获取前两层的前两行前三列
subset = arr[:2, :2, :3]
print("切片形状:", subset.shape)  # 输出: (2, 2, 3)

# 获取所有层的第2行（索引1）
all_rows = arr[:, 1, :]
print("所有层第2行形状:", all_rows.shape)  # 输出: (3, 5)

# 修改第1层（索引0）的第1行（索引0）的第1列（索引0）元素
arr[0, 0, 0] = 100
print("修改后的元素:", arr[0, 0, 0])  # 输出: 100

# 将第2层（索引1）的所有元素设为0
arr[1] = 0
print("修改后的第2层:\n", arr[1])

SHAP值的深入理解

总的来说就是三个维度分别对应样本数，特征，标签类别，比如shap_values[ : , : , 1].shape就是第一个类别的shap值形状（样本数，特征数），这个值就代表了第1个类别里，所有样本的所有特征的shap贡献值。

绘制shap图的时候需要注意传入的shap值和X_test的维度必须一致

比如shap.summary_plot：

import shap
import matplotlib.pyplot as plt
 
# 初始化 SHAP 解释器
explainer = shap.TreeExplainer(rf_model)
 
# 计算 SHAP 值（基于测试集），这个shap_values是一个numpy数组，表示每个特征对每个样本的贡献值
# 这里大家先知道这是个numpy数组即可，我们后面学习完numpy在来回头解读这个值
shap_values = explainer.shap_values(X_test) # 这个计算耗时
 
 
shap_values[0,:,:].shape   #（31，2）
#这个对应的是（特征数，类别数目）----每个特征对2个目标类别的shap值贡献
 
#所以这个值对应的就是这个样本对应的这个特征对2个目标类别的shap值贡献
 
 
 
# 三个维度
# 第一个维度是样本数
# 第二个维度是特征数
# 第三个维度是类别数
shap_values.shape   #（1500，31，2）
 
 
 
# 比如我想取出所有样本对第一个类别的贡献值
shap_values[:,:,0]
 
 
 
# # --- 1. SHAP 特征重要性条形图 (Summary Plot - Bar) ---
 print("--- 1. SHAP 特征重要性条形图 ---")
 shap.summary_plot(shap_values[:, :, 0], X_test, plot_type="bar",show=False)  
# 这里的show=False表示不直接显示图形,这样可以继续用plt来修改元素，不然就直接输出了
 plt.title("SHAP Feature Importance (Bar Plot)")
 plt.show()

• shap_values [:, :, 0] 的每一行代表的是一个特定样本每个特征对于预测类别的贡献值（SHAP 值）。缺乏特征本身的值
• X_test 的每一行代表的也是同一个特定样本的特征值

这二者组合后，就可以组合（特征数，特征值，shap值）构成shap图的基本元素
 

@浙大疏锦行