贪心科技|让每个人享受个性化教育服务核函数Kernel贪心科技|让每个人享受个性化教育服务今天的安排引言：核函数VC维和结构最小化准则损失函数结构风险经验风险期望风险核函数Mercer’stheoremQuickReview_1QuickReview_2贪心科技|让每个人享受个性化教育服务引言近年来，出现了一些基于核函数的机器学习方法，其中最出名的就是SVM系列（支持向量机）。这些方法在分类问题，回归问题，以及无监督学习上都具有现实意义。这类核函数方法以及成功应用到模式识别的各个领域，比如目标、文本分类、时间序列预测等等。贪心科技|让每个人享受个性化教育服务VC维的概念Vanik和Chervonenkis（1968年）提出了VC维的概念。对于一个指示函数（即只有0和1两张取值的函数）集，如果存在h个样本能够被函数集里的函数按照所有可能的2^n种形式分开，则称函数集能够把h个样本打散，函数集的VC维就是能够打散的最大样本数目。VC维是描述函数集或机器学习的复杂性或者学习能力的一个重要指标，在此概念基础上发展出了一系列关于统计学习的一致性、收敛速度、泛化性能等的重要结论贪心科技|让每个人享受个性化教育服务VC维的概念一般而言，VC维越大，学习能力就越强，但是学习起来也越复杂。目前还没有通用的关于计算任意函数集的VC维的理论，只有对一些特殊函数集的VC维可以准确知道贪心科技|让每个人享受个性化教育服务VC维的例子参考链接：https://www.zhihu.com/question/23418822平面中线性指示函数的VC维等于3。因为平面中任意3个点总能被一条直线分开，而四个点却不行贪心科技|让每个人享受个性化教育服务结构风险最小化准则StructuralRiskMinimizationPrinciple（SRMP）Vanik和Chervonenkis（1974年）提出了SRMP的概念。传统机器学习方法中普遍采用的经验风险最小化原则在样本数目有限时是不合理的，因此，需要同时最小化经验风险和置信范围。统计理论提出一直新策略，即把函数集构造为一个函数子集序列，使得各个子集按照VC维的大小排列；在每个子集中寻找最小经验风险，在子集间折中考虑经验风险和置信范围，取得实际风险的最小。这种策略被叫做SRMP。贪心科技|让每个人享受个性化教育服务损失函数、经验风险、期望风险和结构风险损失函数：针对单个具体的样本。表示的是模型预测的值与样本真实值之间的差距。比如对于某个，其真实值是Yi。我们的模型决策函数是f，通过模型预测出来的是f(Xi)。损失函数就是用来表示Yi与f(Xi)的差距，我们用函数L（f(Xi),...
