没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
内容概要:这篇文章详细讲解了奇异值分解(SVD)的基本理论和技术背景。主要涉及的内容从矩阵的正交变换出发,引申到基于SVD的理解,逐步引导出降维和数据压缩的实际用途,同时,作者提供了大量的直观图形以便于帮助读者理解和消化这一抽象概念,最终归纳SVD的主要应用场景。 适合人群:适用于需要从事数据预处理的技术人员,特别是正在尝试利用线性代数工具提高工作效率的研究员或软件工程师。 使用场景及目标:对于处理大量维度数据的专业人士来说特别有用——如降噪、数据可视化或者用于训练深度学习模型之前的数据处理步骤等。 其他说明:由于奇异值分解作为现代数据科学技术的基础,在多种领域均有深入应用,这篇资料也为想要深入了解SVD及其潜在影响的学习者准备。
资源推荐
资源详情
资源评论





























2020/2/16 奇异值分解(SVD)原理总结
https://mp.weixin.qq.com/s?__biz=MzU0MDQ1NjAzNg==&mid=2247486061&idx=1&sn=e24855d2dc675c9e896fc85ea7477c58&chksm=fb39af6…
1/11
奇异值分解(SVD)原理总结
前言
奇异值分解(SVD)在降维,数据压缩,推荐系统等有广泛的应用,任何矩阵都可以进行奇异值分解,本文
通过正交变换不改变基向量间的夹角循序渐进的推导SVD算法,以及用协方差含义去理解行降维和列降维,
最后介绍了SVD的数据压缩原理 。
目录
1. 正交变换
2. 特征值分解含义
3. 奇异值分解
4. 奇异值分解例子
5. 行降维和列降维
6. 数据压缩
7. SVD总结
1. 正交变换
正交变换公式:
上式表示:X是Y的正交变换 ,其中U是正交矩阵,X和Y为列向量 。
下面用一个例子说明正交变换的含义:
假设有两个单位列向量a和b,两向量的夹角为θ,如下图:
现对向量a,b进行正交变换:
, 的模:
原创
石头 2019-03-07机器学习算法那些事

2020/2/16 奇异值分解(SVD)原理总结
https://mp.weixin.qq.com/s?__biz=MzU0MDQ1NjAzNg==&mid=2247486061&idx=1&sn=e24855d2dc675c9e896fc85ea7477c58&chksm=fb39af6…
2/11
由上式可知 和 的模都为1。
和 的内积:
由上式可知,正交变换前后的内积相等。
和 的夹角 :
比较(2)式和(3)式得:正交变换前后的夹角相等,即:
因此,正交变换的性质可用下图来表示:
正交变换的两个重要性质:
1)正交变换不改变向量的模。
2)正交变换不改变向量的夹角。
如果向量 和 是基向量,那么正交变换的结果如下图:
上图可以得到重要结论:基向量正交变换后的结果仍是基向量 。基向量是表示向量最简洁的方法,向量在
基向量的投影就是所在基向量的坐标,我们通过这种思想去理解特征值分解和推导SVD分解。

2020/2/16 奇异值分解(SVD)原理总结
https://mp.weixin.qq.com/s?__biz=MzU0MDQ1NjAzNg==&mid=2247486061&idx=1&sn=e24855d2dc675c9e896fc85ea7477c58&chksm=fb39af6…
3/11
2. 特征值分解的含义
对称方阵A的特征值分解为:
其中U是正交矩阵, 是对角矩阵。
为了可视化特征值分解,假设A是2×2的对称矩阵, , 。(2.1)式展开为:
用图形表示为:
由上图可知,矩阵A没有旋转特征向量,它只是对特征向量进行了拉伸或缩短(取决于特征值的大小),因
此,对称矩阵对其特征向量(基向量)的变换仍然是基向量(单位化) 。
特征向量和特征值的几何意义:若向量经过矩阵变换后保持方向不变,只是进行长度上的伸缩,那么该向量
是矩阵的特征向量,伸缩倍数是特征值。
3. SVD分解推导
我们考虑了当基向量是对称矩阵的特征向量时,矩阵变换后仍是基向量,但是,我们在实际项目中遇到的大
都是行和列不相等的矩阵,如统计每个学生的科目乘积,行数为学生个数,列数为科目数,这种形成的矩阵
很难是方阵,因此SVD分解是更普遍的矩阵分解方法 。
先回顾一下正交变换的思想:基向量正交变换后的结果仍是基向量 。
我们用正交变换的思想来推导SVD分解:
假设A是M*N的矩阵,秩为K,Rank(A)=k。
存在一组正交基V:
矩阵对其变换后仍是正交基,记为U:
由正交基定义,得:
剩余10页未读,继续阅读
资源评论


亚傲智慧
- 粉丝: 142
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助


最新资源
- Python与Pygame游戏开发指南
- 计算机视觉-图像去模糊作业
- idealzouhu-CS-Note-58184-1753001949446.zip
- 基于 OpenCV3 与 Qt5 的计算机视觉应用开发指南
- 计算机视觉课程期末作业之任务 3 具体要求说明
- Groovy编程指南:从入门到精通
- 计算机视觉领域创新实践项目 GitHub 仓库合集
- 2020 年计算机视觉课程的实习作业任务
- Groovy编程实战指南:从入门到精通
- 计算机视觉创新实践github仓库
- 烟草行业信息化建设与发展的对策分析.docx
- 中等职业学校计算机专业课程建设的思考.docx
- 计算机视觉领域中的 SLAM、OpenCV、PCL 与深度学习技术概览
- 单片机的智能火灾报警系统40;本科研究与设计开发41;.doc
- 人工智能背景下的教育融合困境与路径选择.docx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈



安全验证
文档复制为VIP权益,开通VIP直接复制
