SciPy 稀疏矩阵

SciPy 稀疏矩阵：基础与应用

稀疏矩阵是处理大规模数据时的高效工具，尤其适用于元素大部分为零的矩阵。SciPy 提供了多种稀疏矩阵格式，每种格式针对不同的应用场景进行了优化。

稀疏矩阵的创建

COO（坐标格式）是创建稀疏矩阵的简单方式之一，适合从已有数据构建矩阵。以下代码演示了如何通过行索引、列索引和值数组创建 COO 矩阵：

import numpy as np
from scipy.sparse import coo_matrix

row = np.array([0, 3, 1, 0])
col = np.array([0, 3, 1, 2])
data = np.array([4, 5, 7, 9])
coo = coo_matrix((data, (row, col)), shape=(4, 4))

CSR（压缩稀疏行格式）更适合算术运算和矩阵操作。以下代码展示了如何将 COO 矩阵转换为 CSR 格式：

csr = coo.tocsr()

稀疏矩阵的运算

稀疏矩阵支持常规的线性代数运算。以下代码演示了稀疏矩阵的加法和点积操作：

from scipy.sparse import random

A = random(5, 5, density=0.1, format='csr')
B = random(5, 5, density=0.1, format='csr')
C = A + B
D = A.dot(B)

对于矩阵分解，可以使用 scipy.sparse.linalg 模块。以下代码展示了稀疏矩阵的奇异值分解：

from scipy.sparse.linalg import svds

U, s, Vh = svds(A, k=2)

稀疏矩阵的存储与加载

稀疏矩阵可以高效地存储为文件。以下代码演示了如何将稀疏矩阵保存为 .npz 文件并重新加载：

from scipy.sparse import save_npz, load_npz

save_npz('sparse_matrix.npz', A)
loaded_A = load_npz('sparse_matrix.npz')

实际应用案例

在文本处理中，TF-IDF 矩阵通常是稀疏的。以下代码展示了如何使用稀疏矩阵构建 TF-IDF 特征：

from sklearn.feature_extraction.text import TfidfVectorizer

corpus = ['This is the first document.',
          'This document is the second document.',
          'And this is the third one.']
vectorizer = TfidfVectorizer()
X = vectorizer.fit_transform(corpus)

对于推荐系统中的用户-物品矩阵，稀疏矩阵能显著减少内存消耗。以下代码模拟了一个用户-物品交互矩阵：

user_item = random(1000, 500, density=0.01, format='csr')

性能优化技巧

在处理大型稀疏矩阵时，选择合适的格式至关重要。CSR 格式适合行操作，CSC 格式适合列操作。以下代码比较了不同格式的访问速度：

from scipy.sparse import csc_matrix
import time

csc = A.tocsc()

start = time.time()
A[0, :]  # CSR 行访问
print(f"CSR row access: {time.time()-start:.6f}s")

start = time.time()
csc[:, 0]  # CSC 列访问
print(f"CSC column access: {time.time()-start:.6f}s")