理解贝叶斯定理

首先贴一下百度百科上贝叶斯定理的简介：

贝叶斯定理由英国数学家贝叶斯 ( Thomas Bayes 1702-1761 ) 发展，用来描述两个条件概率之间的关系，比如和。按照乘法法则，可以立刻导出

如上公式也可变形为

什么是贝叶斯定理

在贝叶斯定理之前，我们先来认识全概率公式：

设是样本空间的一个划分，且，则对的任一事件，有

假设，有

根据乘法定理，上式可改写为

式被称为 全概率公式.

根据全概率公式和条件概率的定义，可以推出贝叶斯定理：

即

在贝叶斯定理【式】中，每个名词都有约定俗成的名称：
是的先验概率或边缘概率。之所以称为”先验”是因为它不考虑任何方面的因素。
是已知发生后的条件概率，也由于得自的取值而被称作的后验概率。
是已知发生后的条件概率，也由于得自的取值而被称作的后验概率。
是的先验概率或边缘概率，也作标准化常量（normalized constant）。
用这些术语，贝叶斯定理可以表述为：

其中的相似度指，比例被称为标准相似度，或可能性函数，由此贝叶斯定理可以表示为：

可能性函数是一个调整因子，也就是新信息带来的调整，作用是将先验概率调整到更接近真实概率。

，表明新信息增强了的真实性。
，表明新信息对的真实性没有影响。
，表明新信息减弱了的真实性。

贝叶斯定理能做什么

逆概率问题

贝叶斯定理的产生是为了计算“逆概率”问题，比如：

已知某疾病患病概率为，某检测方法的准确率为，误报率为，某人检测结果为阳性，求该人患病的概率。

设为患病，为检测结果为阳性，则：


于是我们得到：

即该人患病的概率约为。
这也是检测患病人群要多次检测的原因。

机器学习中的应用

贝叶斯定理是一种推理方法，它与人脑的工作机制很像，这一特征让贝叶斯定理成为机器学习的基础。

贝叶斯定理的性质，使得它能够将先验知识和新证据结合起来，形成新的知识，这让它对于那些需要在庞大数据库中进行数据匹配的问题非常有效。

例如，我们可以用贝叶斯定理来进行垃圾邮件的过滤。我们可以先从大量的邮件中学习出一些关键词，比如“药物”、“银行”、“免费”、“领奖”等等，然后根据这些关键词来判断一封邮件是否是垃圾邮件。这里，关键词就是先验知识，而新邮件中是否包含这些关键词就是新证据，我们可以根据贝叶斯定理来计算一封邮件是垃圾邮件的概率。

或者制作一个拼写检查器。