C3：贝叶斯分类.pptVIP免费

25/1/261第3讲贝叶斯分类25/1/262贝叶斯网络学习概述•简单地说，贝叶斯网络是一种用来表示变量间连续概率的有向无环图模型，图中的节点表示变量，有向边表示变量间的依赖关系。•基于贝叶斯网络的推理为衡量多个假设的置信度提供了定量方法，为直接操作概率的学习算法提供了理论基础，也为其他算法的分析提供了理论框架。25/1/263先验概率和后验概率•用P(h)表示在没有训练数据前假设h拥有的初始概率。P(h)被称为h的先验概率。•先验概率反映了关于h是一正确假设的机会的背景知识•如果没有这一先验知识，可以简单地将每一候选假设赋予相同的先验概率•类似地，P(D)表示训练数据D的先验概率，P(D|h)表示假设h成立时D的概率•在分类中，我们关心的是P(h|D)，即给定D时h的成立的概率，称为h的后验概率25/1/264贝叶斯公式•贝叶斯公式提供了从先验概率P(h)、P(D)和P(D|h)计算后验概率P(h|D)的方法•P(h|D)随着P(h)和P(D|h)的增长而增长，随着P(D)的增长而减少，即如果D独立于h时被观察到的可能性越大，那么D对h的支持度就越小。)()()|()|(DPhPhDPDhP25/1/265基本概率公式表•乘法规则：P(AB)=P(A|B)P(B)=P(B|A)P(A)•加法规则：P(AB)=P(A)+P(B)-P(AB)•贝叶斯法则：P(h|D)=P(D|h)P(h)/P(D)•全概率法则：如果事件A1...An互斥，且满足，则1)(1niiAPniiiAPABPBP1)()|()(25/1/266贝叶斯网络与联合概率分布25/1/267贝叶斯网络分类器•设每个实例x可由属性值的合取描述，而目标函数f(x)从某有限集合V中取值。•应用贝叶斯网络方法的新实例分类目标是在给定描述实例的属性值下，得到最可能的目标值vMAP•使用贝叶斯公式变化上式),...,|(maxarg1njvMAPaavPvj)()|,...,(maxarg),...,()()|,...,(maxarg111jjnVvnjjnVvMAPvPvaaPaaPvPvaaPvjj25/1/268最优贝叶斯网络分类器25/1/269贝叶斯网络分类器的困难•基于训练数据估计上面式子中的两个数据项的值–估计P(vj)虽然很容易：计算每个目标值vj出现在训练数据中的频率。–估计P(a1,...an|vj)却非常困难，除非有一个非常大的训练数据集，否则无法获得可靠的估计。25/1/2610属性条件独立假设•为避免估计P(a1,...an|vj)遇到的困难，朴素贝叶斯网络分类器引入了一个简单的假定：在给定目标值时，属性值之间相互条件独立。这个假设被广泛第称作属性条件独立假设。•所以有成立。ijijnvaPvaaP)|()|,...,(125/1/2611朴素贝叶斯分类器•朴素贝叶斯网络分类器的计算公式如...