贝叶斯与频率

本文主要介绍并理解贝叶斯派概率和频率派概率。

一、场景

定义事件，A：一个人出现感冒； B：一个人出现发烧；
人员： 小叶：贝叶斯派； 小频：频率派；

【试验1】

某次医疗实验数据收集，统计 10000 个人，其中感冒人数为 800人。
此时，小贝和小频有了上述试验结果，对可能性做出估计，可以推理出：一个人出现感冒的概率为 0.08。

【试验2】

过了一段时间后，医疗实验室做了新的数据收集，统计 10000 个感冒的人中，有 900 个出现了发烧；同样的抽样 10000 个非感冒的人中，有 600 个出现了发烧。

1. 小贝角度

小贝认为，普通人可以根据个人经验和新信息来调整对未知的信念（即贝叶斯概率）。

有了两次试验数据后，

小贝推理出：
$$\begin{array}{rl}& P(B|A)=0.09\\ & P(B|\neg A)=0.06\end{array}$$
其中 P(B | A) 称为似然函数，表示在 A 发生的情况下，观察到 B 的概率。P(B | ¬A) 同。

在试验1，小贝定义了先验概率：
$$\begin{array}{rl}& P(A)=0.08\\ & P(\neg A)=0.92\end{array}$$

结合两次试验数据，小贝认为：

1. 出现感冒并且发烧的概率为：P(B | A) P(A)
2. 不出现感冒但是发烧的概率为：P(B | ¬A) P(¬A)

于是小贝计算出了边际概率P(B) :
P(B) = P(B | A) P(A) + P(B | ¬A) P(¬A) = 0.09 * 0.08 + 0.06 * 0.92 = 0.0624

根据贝叶斯公式，
$$P(A|B)=\frac{P(B|A)P(A)}{P(B)}$$

小贝计算出了后验概率P(A | B):
$$P(A|B)=\frac{0.09\ast 0.08}{0.0624}=0.115$$

于是小贝有了新的结论：如果测试出来一个人发烧了，那么他发生感冒的概率为 0.115。

如果不知道该人发烧，那么小贝会认为感冒的概率为先验概率 0.08，有了新的信息（即此人发烧）小贝更新了自己认为此人患有感冒的概率。（信念发生了调整）

2. 小频角度

小频在这个过程中，并不认为判断一个人感冒的概率发生了变化，依然是 0.08（只相信大量同条件的重复试验的长期发生频率）

二、区别简述

摘自《概率与信息论》的一句话：

「关于不确定性的常识推理，如果我们已经列出了若干条期望它具有的性质，那么满足这些性质的唯一一种方法就是将贝叶斯概率和频率派概率视为等同的。」

1. 不确定性的常识推理

不确定性推理是处理未知事件或不确定情况下做出决策的方法。所谓“常识推理”指的是，人们希望这种推理具备某些合理的、符合直觉的性质。例如：

• 一致性：推理方法的结果不应该自相矛盾。
• 更新性：当获得新信息时，推理结果可以适当地更新。
• 可重复性：在重复实验的极限下，推理结果应与频率派概率的结果一致。

这些性质是人们对合理推理方法的期望。

2. 期望推理方法满足的性质

这段话提到，“列出了若干条期望它具有的性质”。这些性质通常是数学或逻辑上的公理。例如：

• 加法法则：如果 A 和 B 是互斥事件，则 P(A∪B)=P(A)+P(B)。
• 乘法法则：如果事件 A 和 B 是独立的，则 P(A∩B)=P(A)P(B)。
• 一致性：对于相同的信息和条件，推理结果不因方法不同而改变。

这些性质是概率论的核心公理，既是频率派概率的基本要求，也是贝叶斯概率模型的数学基础。

3. 贝叶斯概率和频率派概率的区别

频率派概率：定义概率为事件在大量重复试验中的长期发生频率。例如，上述【试验1】中进行了数据统计，患有感冒的概率为 0.08。
贝叶斯概率：将概率视为主观信念的度量，依赖于已有信息和背景知识，并可以通过贝叶斯公式动态更新。

从定义上看，这两种概率的本质不同：频率派依赖大量试验的客观事实，贝叶斯概率则是个体对事件发生的主观信念。

• 频率派强调实验的可重复性和客观性，这与科学研究的核心理念一致。
  例如：在药物试验中，研究人员需要通过统计显著性（如p-值）来验证药物效果，而这种验证基于频率派的理论框架。
• 贝叶斯派虽然灵活，但在某些场景下会因为主观性被质疑。例如，两个研究者可能选择不同的先验分布，从而得到不同的后验概率，这可能削弱其科学公信力。

三、其他

先验概率和后验概率的区别：（贝叶斯概率）
先验概率是推理的起点，它反映你在没有观察到证据时的初始信念。
后验概率是推理的结果，它反映你在结合新证据后对事件可能性的更新信念。

至此结束~