第四章贝叶斯分类器问题的提出KNN？决策树？概率方法？贝叶斯•贝叶斯(约1701-1761)ThomasBayes，英国数学家。约1701年出生于伦敦，做过神甫。1742年成为英国皇家学会会员。1761年4月7日逝世。贝叶斯在数学方面主要研究概率论。他首先将归纳推理法用于概率论基础理论，并创立了贝叶斯统计理论，对于统计决策函数、统计推断、统计的估算等做出了贡献。他死后，理查德·普莱斯(RichardPrice)于1763年将他的著作《机会问题的解法》(Anessaytowardssolvingaprobleminthedoctrineofchances)寄给了英国皇家学会，对于现代概率论和数理统计产生了重要的影响•贝叶斯决策就是在不完全情报下，对部分未知的状态用主观概率估计，然后用贝叶斯公式对发生概率进行修正，最后再利用期望值和修正概率做出最优决策。•贝叶斯决策理论方法是统计模型决策中的一个基本方法，其基本思想是：•1、已知类条件概率密度参数表达式和先验概率。•2、利用贝叶斯公式转换成后验概率。•3、根据后验概率大小进行决策分类。贝叶斯•最早的PathFinder系统，该系统是淋巴疾病诊断的医学系统，它可以诊断60多种疾病，涉及100多种症状;后来发展起来的Internist−I系统，也是一种医学诊断系统，但它可以诊断多达600多种常见的疾病。•1995年，微软推出了第一个基于贝叶斯网的专家系统，一个用于幼儿保健的网站OnParent(www.onparenting.msn.com)，使父母们可以自行诊断。贝叶斯网络的应用•(1)故障诊断(diagnose)•(2)专家系统(expertsystem)•(3)规划(planning)•(4)学习(learning)•(5)分类(classifying)贝叶斯网络的应用12001212,,,,,1,,1,2,,;2,,,,.nijnnEBBBEBBijnBBBBBB定义设为试验的样本空间为的一组事件若则称为样本空间的一个划分样本空间的划分1B2B3BnB1nB概率(回顾)全概率公式1211221,,,,,,()0(1,2,,),()(|)()(|)()(|)()()(|)ninnniiEAEBBBPBinPAPABPBPABPBPABPBPBPAB定义设为试验的样本空间为的事件为的一个划分且则概率(回顾)•训练数据集：•由X和Y的联合概率分布P(X,Y)独立同分布产生•朴素贝叶斯通过训练数据集学习联合概率分布P(X,Y)，•即先验概率分布：•及条件概率分布：•注意：条件概率为指数级别的参数：基本方法•条件独立性假设：•“朴素”贝叶斯名字由来，牺牲分类准确性。•贝叶斯定理：•代入上式：基本方法•贝叶斯分类器：•分母对所有ck都相同：基本方法•朴素贝叶斯法将实例分到后...
