深度学习数学基础

线性代数

1. 张量：一般的，一个数组中的元素分布在若干维坐标的规则网格中，我们称之为张量。

2. 矩阵与向量相加：在深度学习中，我们允许矩阵和向量相加，产生另一个矩阵：C=A+b，其中Ci,j=Ai,j+bj。换言之，向量b和矩阵A的每一行相加。（这里隐式地复制向量b到很多位置的方式，称为广播）

3. 元素对应乘积（Hadamard乘积）：两个矩阵中对应元素的乘积。

4. 矩阵乘积满足结合律，但是不满足交换律。

5. 标量可以看作只有一个元素的矩阵，标量的转置等于它本身。

6. 生成子空间：一组向量的生成子空间，是原始向量线性组合后所能抵达的点的集合。（确定Ax=b是否有解，相当于确定向量b是否在A列向量的生成子空间中。这个特殊的生成子空间被称为A的列空间或者A的值域）

7. 奇异的：一个列向量线性相关的方阵被称为奇异的。

8. 范数（包括Lp范数）：是将向量映射到非负值的函数。直观上来说，向量x的范数衡量原点到x的距离。（当机器学习问题中零和非零元素之间的差异非常重要时，通常会使用L1范数）

9. 最大范数：表示向量中具有最大幅值的元素的绝对值。

10. Frobenius范数：衡量矩阵的大小。

11. 对角矩阵：只在主对角线上含有非零元素，其他位置都是零。我们用diag(v)表示对角元素由向量v中元素给定的一个对角方阵。

12. 对称矩阵：转置和自己相等的矩阵。

13. 正交：如果x的转置和y的乘积等于0，那么向量x和向量y互相正交。在Rn中，至多有n个范数非零向量互相正交。如果这些向量不但互相正交，而且范数都为1，那么我们称它们是标准正交。

14. 正交矩阵：行向量和列向量是分别标准正交的方阵，即A的转置与A的乘积为单位矩阵，且等于A与A的转置的乘积（这意味着A的逆矩阵与A的转置相等）。<