基于SVM技术的手写数字识别

手写数字识别(Handwritten Digit Recognition)是光学字符识别技术的一个分支，是模式识别学科的一个传统研究领域。主要研究如何利用电子计算机自动辨认手写在纸张上的阿拉伯数字。手写数字识别分为脱机手写数字识别和联机手写数字识别。本文主要讨论脱机手写数字的识别。随着信息化的发展，手写数字识别的应用日益广泛，研究高识别率、零误识率和低拒识率的高速识别算法具有重要意义。

2.手写数字识别技术的理论价值

由于手写数字识别本身的特点，对它的研究有重要的理论价值：

⑴阿拉伯数字是唯一被世界各国通用的符号，对手写体数字识别的研究基本上与文化背景无关，各地的研究工作者基于同一平台开展工作，有利于研究的比较和探讨。

⑵手写数字识别应用广泛，如邮政编码自动识别，税表系统和银行支票自动处理等。这些工作以前需要大量的手工录入，投入的人力物力较多，劳动强度较大。手写数字识别的研究适应了无纸化办公的需要，能大大提高工作效率。

⑶由于数字类别只有 10 个，较其他字符识别率较高，可用于验证新的理论和做深入的分析研究。许多机器学习和模式识别领域的新理论和算法都是先用手写数字识别进行检验，验证理论的有效性，然后才应用到更复杂的领域当中。这方面的典型例子就是人工神经网络和支持向量机(Support Vector Machine)。

⑷手写数字的识别方法很容易推广到其它一些相关问题，如对英文之类拼音文字的识别。事实上，很多学者就是把数字和英文字母的识别放在一起研究的。

3.数字识别技术的难点

数字的类别只有 10 种，笔划简单，其识别问题似乎不是很困难。但事实上，一些测试结果表明，数字的正确识别率并不如印刷体汉字识别率高，甚至也不如联机手写体汉字识别率高，而只仅仅优于脱机手写体汉字识别。这其中的主要原因是：

⑴数字笔划简单，其笔划差别相对较小，字形相差不大，使得准确区分某些数字相当困难；

⑵数字虽然只有 10 种，且笔划简单，但同一数字写法千差万别，全世界各个国家各个地区的人都在用，其书写上带有明显的区域特性，很难做出可以兼顾世界各种写法的、识别率极高的通用性数字识别系统。

虽然目前国内外对脱机手写数字识别的研究已经取得了很大的成就，但是仍然存在两大难点：

一是识别精度需要达到更高的水平。手写数字识别没有上下文，数据中的每一个数据都至关重要。而数字识别经常涉及金融、财会领域，其严格性更是不言而喻。因此，国内外众多的学者都在为提高手写数字的识别率，降低误识率而努力。

二是识别的速度要达到很高的水平。数字识别的输入通常是很大量的数据，而高精度与高速度是相互矛盾的，因此对识别算法提出了更高的要求。

二、SVM技术

1.SVM方法简介

统计学习理论是建立在一套较坚实的理论基础之上的,为解决有限样本学习问题提供了一个统一的框架。它能将很多现有方法纳入其中,有望解决许多原来难以解决的问题比如神经网络结构选择问题、局部极小点问题等同时,在该理论基础上发展了一种新的通用学习方法——支持向量机（SupportVectorMachine，简称SVM）,已初步表现出很多优于己有方法的性能。一些学者认为正在成为继神经网络研究之后新的研究热点,并将推动机器学习理论和技术有重大的发展。

SVM方法是建立在统计学习理论的维理论和结构风险最小化原理基础上的,根据有限的样本信息在模型的复杂性即对特定训练样本的学习精度和学习能力即无误识别任意样本的能力之间寻求最佳折衷,以期获得最好的推广能力。

2.线性可划分问题

图1最大间隔法

3.近似线性可分问题的线性划分

4.非线性划分

讲到这里，做个思路整理：首先，面对线性可划分问题，我们可以很容易利用最大间隔法，找到最优分类面，将数据分成两类。面对有些线性不可分问题，我们找不到这样一个最优分类面，但是在我们允许很小程度上的错分后，我们可以找到一个最优分类面。这时我们寻找的依据处理要求间隔最大，还要错分的程度最小，这个要求统称为惩罚参数。最后，面对其他线性不可分问题，我们实在找不到一个最优分类面的情况下，我们需要先做一些非线性变换，将非线性问题转化为线性问题，然后再进行处理。