一、引言
在 AI 技术迅猛发展的当下,DeepSeek 以其卓越的性能成为研究热点。清华大学的《DeepSeek:从入门到精通》这一珍贵资料,为我们深入挖掘 DeepSeek 核心原理提供了指引,其中张量计算范式更是关键所在,它构建起整个 DeepSeek 架构的数学根基,支撑着模型从训练到推理的每一步运作。
二、张量:深度学习世界的基石
张量,简单来说,是一种多维数组。在 DeepSeek 中,标量可视为 0 维张量,向量是 1 维张量,矩阵则是 2 维张量。例如,一个单一的数值 5 就是标量也就是 0 维张量;[1, 2, 3] 这样的数组是 1 维张量;而像 [[1, 2], [3, 4]] 就是 2 维张量。它之所以重要,是因为深度学习处理的数据往往具有复杂的结构,图像可能是三维(长、宽、通道)张量,文本序列在经过编码后也会形成高维张量表示,以涵盖词向量、序列长度等信息。在 Python 中,借助 NumPy 库能轻松创建张量。例如:
import numpy as np
# 0维张量(标量)
scalar = np.array(5)
# 1维张量(向量)
vector = np.array([1, 2, 3])
# 2维张量(矩阵)
matrix = np.array([[1, 2], [3, 4]])
在 DeepSeek 场景里,图像数据常以三维张量表示,如 (height, width, channels)
,文本经编码后也呈现为高维张量,用于承载序列、词向量等多维度信息,为后续模型处理奠定基础。
三、张量计算范式基础:核心运算详解
- 加法与减法:在神经网络训练时,权重更新离不开张量加减法。以简单的线性回归模型为例,假设我们有预测值张量
y_pred
和真实值张量y_true
,计算损失函数梯度时,常涉及二者差值:
import torch
# 模拟预测值和真实值张量(这里用 PyTorch 张量举例,实际 DeepSeek 框架类似)
y_pred = torch.tensor([2.0, 3.0, 4.0])
y_true = torch.tensor([