贝叶斯定理

贝叶斯定理（Bayes's theorem）

亦称“贝叶斯公式”、“后验概率公式”。概率计算公式。有两种形式：（1）事件的形式。假定\(A_1,A_2,\dotsc,A_k\)是互不相容的事件组（即\(A_i \bigcap A_j=\varnothing , i \not = j\)），事件\(\displaystyle \bigcup_{i=1}^{k} A_i\)包含事件B（即\(\displaystyle B \subset \bigcup_{i=1}^{k} A_{i}\)）且\(P(A_i)>0\)，\(P(B)>0\)，(\(i=1,2,\dotsc,k\))；则有\(P(A_i|B)=\frac{\displaystyle P(A_i) \bullet P(B|A_i)}{\displaystyle \sum_{i=1}^k P(A_i)P(B|A_i)} )(i=1,2,\dotsc,k)\)，即贝叶斯公式。更一般地，\(A_1,A_2,\dotsc,A_k\)是可列个事件，而且\(\displaystyle \bigcup_{i=1}^{k} A_{i}=\Omega\)，\(A_i \bigcap A_j=\varnothing (i \not = j)\)，\(P(A_i)>0\)。这时\(A_1,A_2,\dotsc,A_k\)是一个完备基本事件组，贝叶斯公式仍然成立。通常称\(P(A_i)\)为事件\(A_i\)的先验概率。而\(P(A_i|B)\)为事件\(A_i\)的后验概率。（2）随机变量的形式。假设随机变量\(\xi\),\(\eta\)的联合密度为\(p(x,y)=p_{\xi} (x) \bullet f_{\eta|\xi} (y|x)\)，式中\(p_{\xi} (x)\)是\(\xi\)的边缘密度函数，\(f_{\eta|\xi} (y|x)\)是当\(\xi=x\)时，\(\eta\)对\(\xi\)的条件密度函数，则\(\xi\)对\(\eta\)的条件密度\(g_{\xi|\eta} (x|y)\)可表示为\(g_{\xi|\eta} (x|y)=\frac{\displaystyle p_{\xi} (x) f_{\eta|\xi} (y|x)}{\displaystyle \intop_{-\infty}^{+\infty} p_{\xi} (x) f_{\eta|\xi} (y|x) dx}\)。①类似地有\(f_{\eta|\xi} (y|x)=\frac{\displaystyle q_{\eta} (y) \bullet g_{\xi|\eta} (x|y)}{\displaystyle \intop_{-\infty}^{+\infty} q_{\eta} (y) f_{\xi|\eta} (x|y) dx}\)。②式中\(q_{\eta} (y)\)是\(y\)的边缘分布密度。若将公式①、②中的随机变量\(\xi\)、\(\eta\)改为随机向量，类似结果也成立。对于离散型随机变量，只要将分母中的积分号改为求和号。