感知机和统计学习方法总结感知机(Perceptron)•输入为实例的特征向量，输出为实例的类别，取+1和-1；•感知机对应于输入空间中将实例划分为正负两类的分离超平面，属于判别模型；•导入基于误分类的损失函数；•利用梯度下降法对损失函数进行极小化；•感知机学习算法具有简单而易于实现的优点，分为原始形式和对偶形式；•1957年由Rosenblatt提出，是神经网络与支持向量机的基础。感知机模型•定义(感知机):•假设输入空间(特征空间)是，输出空间是•输入表示实例的特征向量，对应于输入空间（特征空间）的点，输出表示实例的类别，由输入空间到输出空间的函数：•称为感知机，•模型参数：wx，内积，权值向量，偏置，•符号函数：感知机模型•感知机几何解释：•线性方程：•对应于超平面S，w为法向量，b截距，分离正、负类：•分离超平面：感知机学习策略•如何定义损失函数？•自然选择：误分类点的数目，但损失函数不是w,b连续可导，不宜优化。•另一选择：误分类点到超平面的总距离：•距离：误分类点：误分类点距离：总距离：感知机学习策略•损失函数：•M为误分类点的数目感知机学习算法•求解最优化问题：•随机梯度下降法，•首先任意选择一个超平面，w，b，然后不断极小化目标函数,损失函数L的梯度：•选取误分类点更新：感知机学习算法•感知机学习算法的原始形式：感知机学习算法•例：正例：负例：感知机学习算法•解：构建优化问题：•求解：w，b，•得线性模型：•感知机学习算法•得到线性模型：•如此继续下去：•分离超平面：•感知机模型：感知机学习算法•算法的收敛性：证明经过有限次迭代可以得到一个将训练数据集完全正确划分的分离超平面及感知机模型。•将b并入权重向量w，记作：•定理：感知机学习算法则感知机学习算法•证明:(1)•由线性可分,存在超平面：•,由有限的点，均有：•存在•使：感知机学习算法•算法在训练集的误分类次数k满足不等式,•证明：令是第k个误分类实例之前的扩充权值向量，即：•第k个误分类实例的条件是：•则w和b的更新：即：感知机学习算法•算法在训练集的误分类次数k满足不等式,•推导两个不等式:•(1)•由：•得：感知机学习算法•感知机算法在训练集的误分类次数k满足不等式,(2)•则：感知机学习算法•感知机算法在训练集的误分类次数k满足不等式,结合两个不等式：得：感知机学习算法•定理表明：•误分类的次数k是有上界的，当训练数据集线性可分时，感知机学习算法原始形式迭代是收...
