Skip to main content

贝叶斯判别

贝叶斯判别(Bayes discriminant)

判别分析的一种方法。以平均误判损失最小为最优准则来建立判别规则,并以此对样品(被试)作出归属何个总体的判别分析。设有\(k\)个\(p\)维总体\(G_1,G_2,\dotsc,G_k\),密度函数分别为\(f_i (x)\),各总体出现的先验概率为\(q_1,q_2,\dotsc,q_k\),记\(C(j|i)\)为实际来自\(G_i\)的样品误判到\(G_j\)产生的损失(\(i,j=1,2,\dotsc,k\)),约定\(C(i|i)=0\)。又设\(D_1,D_2,\dotsc,D_k\)是根据判别规则产生的样本空间的一个划分,若样品\(x \in D_i\),则将\(x\)判归\(G_i(i=1,2,\dotsc,k)\)。在这些假设下,来自\(G_i\)的样品\(x\)被误判为\(G_j\)的概率为\(P(j|i)=\int_{D_1} f_i(x)dx\),从而来自\(G_i\)的样品被误判的平均损失为\(L(D_i)=\displaystyle \sum_{j=1}^k P(j|i)C(j|i)\)。于是总的平均误判损失为\(L(D_1,D_2,\dotsc,D_k)=\displaystyle \sum_{i=1}^k q_i \displaystyle \sum_{j=1}^k P(j|i)C(j|i)\)。贝叶斯判别相当于选择样本空间的一个划分,使\(L(D_1,D_2,\dotsc,D_k)\)达到极小。记\(h_t (x)=\displaystyle \sum_{j=1}^k q_j f_j (x) C(t|j)\),\(t=1,2,\dotsc,k\),贝叶斯判别的规则是:若\(x\)使得\(min\{h_t (x)\}=h_t (x)\),则将\(x\)判归\(G_l\)。若误判损失都相同,则贝叶斯判别规则为:若\(x\)使得\(q_l f_l (x)>q_i f_i (x)\)(对所有的\(i\)),则将\(x\)判归\(G_l\)。对于两个正态总体,若误判损失相同,先验概率也相同,贝叶斯判别与距离判别结果一致,判别函数和判别规则也一致。