第十章隐马尔科夫模型AndreyMarkov•中文名马尔科夫•国籍俄国•出生地梁赞•出生日期1856年6月14日•逝世日期1922年7月20日•主要成就开创了随机过程这个新领域HMM应用•人脸识别•语音识别•入侵检测例：•隐马尔可夫模型是关于时序的概率模型;•描述由一个隐藏的马尔可夫链随机生成不可观测的状态随机序列(statesequence)，再由各个状态生成一个观测而产生观测随机序列(observationsequence)的过程,序列的每一个位置又可以看作是一个时刻。隐马尔科夫模型的定义•组成•初始概率分布•状态转移概率分布•观测概率分布•Q：所有可能状态的集合•V：所有可能观测的集合•I:长度为T的状态序列•O：对应的观测序列隐马尔科夫模型•组成•A：状态转移概率矩阵隐马尔科夫模型•组成•B：观测概率矩阵•：初始状态概率向量隐马尔科夫模型•三要素•两个基本假设•齐次马尔科夫性假设，隐马尔可分链t的状态只和t-1状态有关：•观测独立性假设，观测只和当前时刻状态有关；隐马尔科夫模型•盒子：1234•红球：5368•白球：5742•转移规则：•盒子1下一个盒子2•盒子2或3下一个0.4左，0.6右•盒子4下一个0.5自身，0.5盒子3•重复5次：O={红，红，白，白，红}例：盒子和球模型•状态集合：Q={盒子1，盒子2，盒子3，盒子4}，N=4•观测集合：V={红球，白球}M=2•初始化概率分布：•状态转移矩阵：观测矩阵：例：盒子和球模型观测序列的生成过程•1、概率计算问题•给定：•计算：•2、学习问题•已知：•估计：，使最大•3、预测问题（解码）•已知：•求：使最大的状态序列隐马尔科夫模型的三个基本问题•直接计算法•给定模型：和观测概率：•计算：•最直接的方法：•列举所有可能的长度为T状态序列，•求各个状态序列I与观测序列的联合概率•然后对所有可能的状态序列求和，得到概率计算方法•直接计算法•状态序列概率：•对固定的状态序列I，观测序列O的概率：•O和I同时出现的联合概率为：•对所有可能的状态序列I求和，得到观测O的概率：复杂度概率计算方法•前向概率定义：给定隐马尔科夫模型λ，定义到时刻t部分观测序列为：，且状态为qi的概率为前向概率，记作：•初值：•递推：•终止：前向算法•因为：•所以：•递推：复杂度前向算法•减少计算量的原因在于每一次计算，直接引用前一个时刻的计算结果，避免重复计算。复杂度前向算法例：例：例：•定义10.3后向概率：给定隐马尔科夫模型λ，定义在时刻t状态为qi的条件下，从t+1到T的部分观测序...
