假设两条平行直线分别是
(1)Wx+A=0,
Wx+A=0,\tag{1}
Wx+A=0,(1)
与
(2)Wx+B=0.
Wx+B=0.\tag{2}
Wx+B=0.(2)
那么和这两条直线平行,且位于中间的那条直线就可以表示成:
(3)Wx+A+B−A2=0.
Wx + A + \frac{B-A}{2} = 0.
\tag{3}
Wx+A+2B−A=0.(3)
令 t=B−At=B-At=B−A,则有 B=t+AB=t+AB=t+A。
将 t=B−At=B-At=B−A 代入(3),得到
(4)Wx+A+t2=0.
Wx+A+\frac{t}{2}=0.\tag{4}
Wx+A+2t=0.(4)
将 B=t+AB=t+AB=t+A 代入(2),得到
(5)Wx+t+A=0. Wx+t+A=0.\tag{5} Wx+t+A=0.(5)
整理一下,这三条直线现在可以写成
(6)Wx+A=0,
Wx+A=0,\tag{6}
Wx+A=0,(6)
(7)Wx+t+A=0,
Wx+t+A=0,\tag{7}
Wx+t+A=0,(7)
(8)Wx+A+t2=0.
Wx+A+\frac{t}{2}=0.\tag{8}
Wx+A+2t=0.(8)
下面给等式(6)左右都加上 t2\frac{t}{2}2t,给等式(7)左右都减去 t2\frac{t}{2}2t,得到
(9)Wx+A+t2=t2,
Wx+A+\frac{t}{2}=\frac{t}{2},\tag{9}
Wx+A+2t=2t,(9)
与
(10)Wx+A+t2=−t2.
Wx+A+\frac{t}{2}=-\frac{t}{2}.\tag{10}
Wx+A+2t=−2t.(10)
接下来将等式(8)、(9)、(10)的两边都乘以 2t\frac{2}{t}t2,得
(11)2tWx+2t(A+t2)=0,
\frac{2}{t}Wx+\frac{2}{t}(A+\frac{t}{2})=0,\tag{11}
t2Wx+t2(A+2t)=0,(11)
(12)2tWx+2t(A+t2)=1,
\frac{2}{t}Wx+\frac{2}{t}(A+\frac{t}{2})=1,\tag{12}
t2Wx+t2(A+2t)=1,(12)
(13)2tWx+2t(A+t2)=−1.
\frac{2}{t}Wx+\frac{2}{t}(A+\frac{t}{2})=-1.\tag{13}
t2Wx+t2(A+2t)=−1.(13)
令 w=2tWw=\frac{2}{t}Ww=t2W,b=2t(A+t2)b=\frac{2}{t}(A+\frac{t}{2})b=t2(A+2t),则等式(11)、等式(12)、等式(13)又可以写成:
(14)wx+b=0,
wx+b=0,\tag{14}
wx+b=0,(14)
(15)wx+b=1,
wx+b=1,\tag{15}
wx+b=1,(15)
(16)wx+b=−1.
wx+b=-1.\tag{16}
wx+b=−1.(16)
化简成这样的主要原因是,间隔(margin)的表达式最简单。
可以假设向量 x1x_1x1 在 wx+b=1wx+b=1wx+b=1 上,向量 x2x_2x2 在 wx+b=−1wx+b=-1wx+b=−1 上,间隔(margin)的表达式为
(17)margin=d=∣x1−x2∣⋅cosθ.
margin = d = |x_1-x_2|\cdot \cos \theta.\tag{17}
margin=d=∣x1−x2∣⋅cosθ.(17)
其中 θ\thetaθ 是 向量x1−x2向量 x_1-x_2向量x1−x2 与平行直线的法向量 www 的夹角。
为了利用向量的工具,我们可以在等式(17)两边都乘以 ∣w∣|w|∣w∣,则有
(18)d⋅∣w∣=∣x1−x2∣⋅∣w∣⋅cosθ=∣w(x1−x2)∣.
d\cdot |w| = |x_1-x_2| \cdot |w| \cdot \cos \theta = |w(x1-x2)| .\tag{18}
d⋅∣w∣=∣x1−x2∣⋅∣w∣⋅cosθ=∣w(x1−x2)∣.(18)
又因为向量 x1x_1x1 在 wx+b=1wx+b=1wx+b=1 上,向量 x2x_2x2 在 wx+b=−1wx+b=-1wx+b=−1 上,则
wx1+b=1,wx_1+b=1,wx1+b=1,
wx2+b=−1.wx_2+b=-1.wx2+b=−1.
所以
∣w(x1−x2)∣=∣wx1−wx2∣=∣1−b−(−1−b)∣=2=d⋅∣w∣.
|w(x1-x2)|=|wx_1-wx_2|=|1-b-(-1-b)|=2=d\cdot |w|.
∣w(x1−x2)∣=∣wx1−wx2∣=∣1−b−(−1−b)∣=2=d⋅∣w∣.
所以
d=2∣w∣.
d = \frac{2}{|w|}.
d=∣w∣2.