机器学习——SVM支持向量机模型

一、SVM 简介

        支持向量机是一种二分类模型，基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使得它有别于感知机；SVM 还包括可技巧，使之成为实质上的非线性分类器。SVM的学习策略就是间隔最大化，可形式化为一个求解凸二次规划问题，也等价于正则化的合页损失函数问题。SVM的学习算法就是求解凸二次规划的最优化算法。

        SVM学习的基本思想就是求解能够正确划分训练数据集并且几何间隔最大的分离超平面。对于线性可分的数据集，这样的超平面有无穷个，但是几何间隔最大的分离超平面是唯一的。

        对于输入空间中的非线性分类问题，可以通过非线性变化将它转化为某个维度特征空间中的线性分类问题。由于在线性支持向量机学习的对偶问题里，目标函数和分类决策函数都只涉及了实例和实例之间的内积，所以不需要显示地指定非线性变换，而是用核函数替换当中的内积。和函数表示，通过一个非线性转换后的两个实例间的内积。

看到一篇博客，博主解释的非常形象，链接如下：

机器学习（九）：支持向量机SVM(超详细理论基础）_支持向量机的分类模型-CSDN博客

二、公式推导

1. 数学建模

求解几何间隔最大的分离超平面——决策面的过程就是最优化，最优化问题有两个基本的因素：

        a. 目标函数，也就是希望什么东西的什么指标达到最好