《统计学习方法》“支持向量机”一章中说可以取函数间隔等于 1 是为什么?

本文详细探讨了两条平行直线间最大间隔的数学推导过程,通过引入中间直线的概念,运用向量工具,最终得出间隔表达式的简化形式。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

假设两条平行直线分别是

(1)Wx+A=0, Wx+A=0,\tag{1} Wx+A=0,(1)

(2)Wx+B=0. Wx+B=0.\tag{2} Wx+B=0.(2)

那么和这两条直线平行,且位于中间的那条直线就可以表示成:
(3)Wx+A+B−A2=0. Wx + A + \frac{B-A}{2} = 0. \tag{3} Wx+A+2BA=0.(3)

t=B−At=B-At=BA,则有 B=t+AB=t+AB=t+A

t=B−At=B-At=BA 代入(3),得到
(4)Wx+A+t2=0. Wx+A+\frac{t}{2}=0.\tag{4} Wx+A+2t=0.(4)

B=t+AB=t+AB=t+A 代入(2),得到

(5)Wx+t+A=0. Wx+t+A=0.\tag{5} Wx+t+A=0.(5)

整理一下,这三条直线现在可以写成
(6)Wx+A=0, Wx+A=0,\tag{6} Wx+A=0,(6)
(7)Wx+t+A=0, Wx+t+A=0,\tag{7} Wx+t+A=0,(7)
(8)Wx+A+t2=0. Wx+A+\frac{t}{2}=0.\tag{8} Wx+A+2t=0.(8)
下面给等式(6)左右都加上 t2\frac{t}{2}2t,给等式(7)左右都减去 t2\frac{t}{2}2t,得到
(9)Wx+A+t2=t2, Wx+A+\frac{t}{2}=\frac{t}{2},\tag{9} Wx+A+2t=2t,(9)

(10)Wx+A+t2=−t2. Wx+A+\frac{t}{2}=-\frac{t}{2}.\tag{10} Wx+A+2t=2t.(10)
接下来将等式(8)、(9)、(10)的两边都乘以 2t\frac{2}{t}t2,得
(11)2tWx+2t(A+t2)=0, \frac{2}{t}Wx+\frac{2}{t}(A+\frac{t}{2})=0,\tag{11} t2Wx+t2(A+2t)=0,(11)
(12)2tWx+2t(A+t2)=1, \frac{2}{t}Wx+\frac{2}{t}(A+\frac{t}{2})=1,\tag{12} t2Wx+t2(A+2t)=1,(12)
(13)2tWx+2t(A+t2)=−1. \frac{2}{t}Wx+\frac{2}{t}(A+\frac{t}{2})=-1.\tag{13} t2Wx+t2(A+2t)=1.(13)
w=2tWw=\frac{2}{t}Ww=t2Wb=2t(A+t2)b=\frac{2}{t}(A+\frac{t}{2})b=t2(A+2t),则等式(11)、等式(12)、等式(13)又可以写成:
(14)wx+b=0, wx+b=0,\tag{14} wx+b=0,(14)
(15)wx+b=1, wx+b=1,\tag{15} wx+b=1,(15)
(16)wx+b=−1. wx+b=-1.\tag{16} wx+b=1.(16)
化简成这样的主要原因是,间隔(margin)的表达式最简单。
可以假设向量 x1x_1x1wx+b=1wx+b=1wx+b=1 上,向量 x2x_2x2wx+b=−1wx+b=-1wx+b=1 上,间隔(margin)的表达式为
(17)margin=d=∣x1−x2∣⋅cos⁡θ. margin = d = |x_1-x_2|\cdot \cos \theta.\tag{17} margin=d=x1x2cosθ.(17)
其中 θ\thetaθ向量x1−x2向量 x_1-x_2x1x2 与平行直线的法向量 www 的夹角。

为了利用向量的工具,我们可以在等式(17)两边都乘以 ∣w∣|w|w,则有

(18)d⋅∣w∣=∣x1−x2∣⋅∣w∣⋅cos⁡θ=∣w(x1−x2)∣. d\cdot |w| = |x_1-x_2| \cdot |w| \cdot \cos \theta = |w(x1-x2)| .\tag{18} dw=x1x2wcosθ=w(x1x2).(18)
又因为向量 x1x_1x1wx+b=1wx+b=1wx+b=1 上,向量 x2x_2x2wx+b=−1wx+b=-1wx+b=1 上,则
wx1+b=1,wx_1+b=1,wx1+b=1,

wx2+b=−1.wx_2+b=-1.wx2+b=1.
所以
∣w(x1−x2)∣=∣wx1−wx2∣=∣1−b−(−1−b)∣=2=d⋅∣w∣. |w(x1-x2)|=|wx_1-wx_2|=|1-b-(-1-b)|=2=d\cdot |w|. w(x1x2)=wx1wx2=1b(1b)=2=dw.
所以
d=2∣w∣. d = \frac{2}{|w|}. d=w2.

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值