第五章决策树例子•套用俗语，决策树分类的思想类似于找对象。现想象一个女孩的母亲要给这个女孩介绍男朋友，于是有了下面的对话：•女儿：多大年纪了？母亲：26。女儿：长的帅不帅？母亲：挺帅的。女儿：收入高不？母亲：不算很高，中等情况。女儿：是公务员不？母亲：是，在税务局上班呢。女儿：那好，我去见见。例子关于分类问题名称体温表皮覆盖胎生水生动物飞行动物有腿冬眠类标号人类恒温毛发是否否是否哺乳动物海龟冷血鳞片否半否是否爬行类鸽子恒温羽毛否否是是否鸟类鲸恒温毛发是是否否否哺乳类Xy分类与回归分类目标属性y是离散的，回归目标属性y是连续的决策树通过以上对分类问题一般方法的描述，可以看出分类问题一般包括两个步骤：1、模型构建（归纳）通过对训练集合的归纳，建立分类模型。2、预测应用（推论）根据建立的分类模型，对测试集合进行测试。决策树-解决分类问题的一般方法TIDA1A2A3类1Y100LN2N125SN3Y400LY4N415MN学习算法学习模型模型应用模型TIDA1A2A3类1Y100L？2N125S？3Y400L？4N415M？训练集（类标号已知）检验集（类标号未知）归纳推论决策树-解决分类问题的一般方法•决策树是一种典型的分类方法•首先对数据进行处理，利用归纳算法生成可读的规则和决策树，•然后使用决策对新数据进行分析。•本质上决策树是通过一系列规则对数据进行分类的过程。决策树•决策树的优点•1、推理过程容易理解，决策推理过程可以表示成IfThen形式；•2、推理过程完全依赖于属性变量的取值特点；•3、可自动忽略目标变量没有贡献的属性变量，也为判断属性变量的重要性，减少变量的数目提供参考。决策树•决策树技术发现数据模式和规则的核心是归纳算法。•归纳是从特殊到一般的过程。•归纳推理从若干个事实中表征出的特征、特性和属性中，通过比较、总结、概括而得出一个规律性的结论。•归纳推理试图从对象的一部分或整体的特定的观察中获得一个完备且正确的描述。即从特殊事实到普遍性规律的结论。•归纳对于认识的发展和完善具有重要的意义。人类知识的增长主要来源于归纳学习。决策树和归纳算法•归纳学习由于依赖于检验数据，因此又称为检验学习。•归纳学习存在一个基本的假设：•任一假设如果能够在足够大的训练样本集中很好的逼近目标函数，则它也能在未见样本中很好地逼近目标函数。该假定是归纳学习的有效性的前提条件。决策树和归纳算法•归纳过程就是在描述空间中进行搜索的过程。•归纳可分为自顶向下，自底向上和双向...
