贝叶斯判别

贝叶斯判别（Bayes discriminant）

判别分析的一种方法。以平均误判损失最小为最优准则来建立判别规则，并以此对样品（被试）作出归属何个总体的判别分析。设有\(k\)个\(p\)维总体\(G_1,G_2,\dotsc,G_k\)，密度函数分别为\(f_i (x)\)，各总体出现的先验概率为\(q_1,q_2,\dotsc,q_k\)，记\(C(j|i)\)为实际来自\(G_i\)的样品误判到\(G_j\)产生的损失（\(i,j=1,2,\dotsc,k\)），约定\(C(i|i)=0\)。又设\(D_1,D_2,\dotsc,D_k\)是根据判别规则产生的样本空间的一个划分，若样品\(x \in D_i\)，则将\(x\)判归\(G_i(i=1,2,\dotsc,k)\)。在这些假设下，来自\(G_i\)的样品\(x\)被误判为\(G_j\)的概率为\(P(j|i)=\int_{D_1} f_i(x)dx\)，从而来自\(G_i\)的样品被误判的平均损失为\(L(D_i)=\displaystyle \sum_{j=1}^k P(j|i)C(j|i)\)。于是总的平均误判损失为\(L(D_1,D_2,\dotsc,D_k)=\displaystyle \sum_{i=1}^k q_i \displaystyle \sum_{j=1}^k P(j|i)C(j|i)\)。贝叶斯判别相当于选择样本空间的一个划分，使\(L(D_1,D_2,\dotsc,D_k)\)达到极小。记\(h_t (x)=\displaystyle \sum_{j=1}^k q_j f_j (x) C(t|j)\)，\(t=1,2,\dotsc,k\)，贝叶斯判别的规则是：若\(x\)使得\(min\{h_t (x)\}=h_t (x)\)，则将\(x\)判归\(G_l\)。若误判损失都相同，则贝叶斯判别规则为：若\(x\)使得\(q_l f_l (x)>q_i f_i (x)\)（对所有的\(i\)），则将\(x\)判归\(G_l\)。对于两个正态总体，若误判损失相同，先验概率也相同，贝叶斯判别与距离判别结果一致，判别函数和判别规则也一致。