降维算法——LE算法的推导

本文深入讲解了LaplacianEigenmaps(LE)算法,一种基于图的降维方法,通过保持数据流形的局部结构特征,使相似点在降维后的空间中保持接近,详细推导了其目标函数及优化过程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

LE算法简介及其推导

1.简单介绍

Laplacian Eigenmaps是一种降维算法,它看问题的角度和常见的降维算法不太相同,是从局部的角度去构建数据之间的关系。具体来讲,拉普拉斯特征映射是一种基于图的降维算法,它希望相互间有关系的点(在图中相连的点)在降维后的空间中尽可能的靠近,从而在降维后仍能保持原有的数据结构。

2.推导

拉普拉斯特征映射通过构建邻接矩阵为W(邻接矩阵定义见这里)的图来重构数据流形的局部结构特征。其主要思想是,如果两个数据实例i和j很相似,那么i和j在降维后目标子空间中应该尽量接近。设数据实例的数目为n,目标子空间即最终的降维目标的维度为m。定义n×m大小的矩阵Y,其中每一个行向量yiTy_i^TyiT 是数据实例i在目标m维子空间中的向量表示(即降维后的数据实例i)。我们的目的是让相似的数据样例i和j在降维后的目标子空间里仍旧尽量接近,故拉普拉斯特征映射优化的目标函数如下:
min∑i,j∣∣yi−yj∣∣2Aijmin\sum_{i,j}||y_i-y_j||^2A_{ij}mini,jyiyj2Aij
=∑i=1n∑j=1n∣∣yi−yj∣∣2Aij=\sum_{i=1}^n\sum_{j=1}^n||y_i-y_j||^2A_{ij}=i=1nj=1nyiyj2Aij
=∑i=1n∑j=1n(yiTyi−2yiTyj+yjTyj)Aij=\sum_{i=1}^n\sum_{j=1}^n(y_i^Ty_i-2y_i^Ty_j+y_j^Ty_j)A_{ij}=i=1nj=1n(yiTyi2yiTyj+yjTyj)Aij
=∑i=1n(∑j=1nAij)yiTyi+∑j=1n(∑i=1nAij)yjTyj−2∑i=1n∑j=1nyiTyiAij=\sum_{i=1}^n(\sum_{j=1}^nA_{ij})y_i^Ty_i+\sum_{j=1}^n(\sum_{i=1}^nA_{ij})y_j^Ty_j-2\sum_{i=1}^n\sum_{j=1}^ny_i^Ty_iA_{ij}=i=1n(j=1nAij)yiTyi+j=1n(i=1nAij)yjTyj2i=1nj=1nyiTyiAij
其中AijA_{ij}Aij为度矩阵,且∑j=1nAij\sum_{j=1}^nA_{ij}j=1nAij∑i=1nAij\sum_{i=1}^nA_{ij}i=1nAij分别表示节点iiijjj的度数,故
=2∑i=1nDiiyiTyi−2∑i=1n∑j=1nyiTyiAij=2\sum_{i=1}^nD_{ii}y_i^Ty_i-2\sum_{i=1}^n\sum_{j=1}^ny_i^Ty_iA_{ij}=2i=1nDiiyiTyi2i=1nj=1nyiTyiAij
=2∑i=1n(Dijyi)T(Dijyi)−2∑i=1nyiT(∑j=1nyjAij)=2\sum_{i=1}^n(\sqrt{{D_{ij}}}y_i)^T(\sqrt{{D_{ij}}}y_i)-2\sum_{i=1}^ny_i^T(\sum_{j=1}^ny_jA_{ij})=2i=1n(Dijyi)T(Dijyi)2i=1nyiT(j=1nyjAij)
=strace(YTDY)−2∑i=1nyiT(YA)=strace(Y^TDY)-2\sum_{i=1}^ny_i^T(YA)=strace(YTDY)2i=1nyiT(YA)
=2trace(YTDY)−2trace(YTAY)=2trace(Y^TDY)-2trace(Y^TAY)=2trace(YTDY)2trace(YTAY)
=2trace[YT(D−A)Y]=2trace[Y^T(D-A)Y]=2trace[YT(DA)Y]
=2trace(YTLY)=2trace(Y^TLY)=2trace(YTLY)
其中,D−A=LD-A=LDA=LLLL 为拉普拉斯矩阵。
变换后的拉普拉斯特征映射优化的目标函数如下:
mintrace(YTLY),s.t.YTAY=Imin trace(Y^TLY), s.t.Y^TAY = Imintrace(YTLY),s.t.YTAY=I
其中限制条件s.t.YTLY=Is.t.Y^TLY = Is.t.YTLY=I保证优化问题有解,下面用拉格朗日乘数法对目标函数求解:
f(Y)=tr(YTLY)+tr[Λ(YTDY−I)]f(Y) = tr(Y^TLY) + tr[\Lambda(Y^TDY-I)]f(Y)=tr(YTLY)+tr[Λ(YTDYI)]
∂f(Y)∂Y=LY+LTY+DTYΛT+DYΛ\frac{\partial f(Y)}{\partial Y}=LY + L^TY + D^TY\Lambda^T + DY\LambdaYf(Y)=LY+LTY+DTYΛT+DYΛ
=2LY+2DYΛ=2LY + 2DY\Lambda=2LY+2DYΛ
令偏导数等于0,即LY=−DYΛLY = -DY\LambdaLY=DYΛ
Ly=λDyLy = \lambda DyLy=λDy是一个广义特征值问题。通过求得m个最小非零特征值所对应的特征向量,即可达到降维的目的。

3.步骤

1:构建图
使用某一种方法来将所有的点构建成一个图,例如使用KNN算法,将每个点最近的K个点连上边。K是一个预先设定的值。
2:确定权重
确定点与点之间的权重大小,例如选用热核函数来确定。
3:特征映射
计算拉普拉斯矩阵L的特征向量与特征值:Ly=λDyLy = \lambda DyLy=λDy
使用最小的m个非零特征值对应的特征向量作为降维后的结果输出。

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值