模式识别-Ch2-分类错误率

分类错误率

最小错误率贝叶斯决策

样本$x$的错误率： 任一决策都可能会有错误。
$$P(\text{error}|\mathbf{x})=\{\begin{array}{ll}P(w_2|\mathbf{x}),& \text{if we decide }\mathbf{x}\text{ as }{w}_1\\ P(w_1|\mathbf{x}),& \text{if we decide }\mathbf{x}\text{ as }{w}_2\end{array}$$
$P(w_2|x)$即：当我们将样本$x$判定为第一类$w_1$时，这个判定失误的概率为$P(w_2|x)$；（因为样本以该概率属于第二类）

样本$x$的最小错误率：
$$P(\text{error}|\mathbf{x})=\min (P({\omega }_1|\mathbf{x}),P({\omega }_2|\mathbf{x}))$$
贝叶斯决策的错误率：贝叶斯决策的错误率定义为所有服从独立同分布的样本上的错误率的期望：
$$P(\text{error})=\int P(\text{error}|\mathbf{x})p(\mathbf{x})dx$$

例：错误率(1D)

关于错误率，以一维为例说明： 考虑一个有关一维样本的两类分类问题。假设决策边界$t$将$x$轴分成两个区域$R_1$和$R_2$。$R_1$为$(-\infty ,t)$，$R_2$为$(t,\infty )$。

错误情形：样本在$R_1$中，但属于第二类的概率是存在的，即$P(w_2|\mathbf{x})$；样本在$R_2$中，但属于第一类的概率也是存在的，即$P(w_1|\mathbf{x})$；这两种情形就是决策一个给定样本$x$可能出现错误的概率。

考虑样本自身的分布后的平均错误率计算如下：
$$\begin{array}{rl}P(\text{error})& ={\int }_{-\infty }^{t}P(w_2|\mathbf{x})p(\mathbf{x})d\mathbf{x}+{\int }_t^{\infty }P(w_1|x)p(\mathbf{x})d\mathbf{x}\\ & ={\int }_{-\infty }^{t}P(\mathbf{x}|w_2)P(w_2)d\mathbf{x}+{\int }_t^{\infty }\\ & =P(\mathbf{x}\in R_1,w_2)+P(\mathbf{x}\in R_2,w_1)\end{array}$$

两类情形

平均错分概率：
$$\begin{gathered} P(\text{error})=P(\mathbf{x}\in R_2,w_1)+P(\mathbf{x}\in R_1,w_2) \\ ={\int }_{R_2}p(\mathbf{x}|w_1)P(w_1)d\mathbf{x}+{\int }_{R_1}p(\mathbf{x}|w_2)P(w_2)d\mathbf{x} \\ =P(\mathbf{x}\in R_2|w_1)P(w_1)+P(\mathbf{x}\in R_1| \end{gathered}$$