贪心科技|让每个人享受个性化教育服务Contents•EM(ExpectationMaximizationAlgorithm)•HMM(HiddenMarkovModel)贪心科技|让每个人享受个性化教育服务ExpectationMaximizationAlgorithm最大期望算法（Expectation-maximizationalgorithm，又译为期望最大化算法），是在概率模型中寻找参数最大似然估计或者最大后验估计的算法，其中概率模型依赖于无法观测的隐性变量。最大期望算法经过两个步骤交替进行计算，第一步是计算期望（E），利用对隐藏变量的现有估计值，计算其最大似然估计值；第二步是最大化（M），最大化在E步上求得的最大似然值来计算参数的值。M步上找到的参数估计值被用于下一个E步计算中，这个过程不断交替进行。贪心科技|让每个人享受个性化教育服务FlippingCoins假设有2枚硬币，A，B。假定随机抛掷后正面朝上概率分别为PA，PB。为了估计这两个硬币朝上的概率，轮流抛硬币A和B，每一轮都连续抛5次，总共5轮：硬币结果统计A正正反正反3正-2反B反反正正反2正-3反A正反反反反1正-4反B正反反正正3正-2反A反正正反反2正-3反贪心科技|让每个人享受个性化教育服务FlippingCoins假设有3枚硬币，A，B，C。假定随机抛掷A，B后正面朝上概率分别为PA，PB，我们用如下规则生成观察结果：1.抛硬币C2.C是正面朝上，那么抛5次硬币A，记录其正反3.C是反面朝上，那么抛5次硬币B，记录其正反硬币结果统计AorB正正反正反3正-2反AorB反反正正反2正-3反AorB正反反反反1正-4反AorB正反反正正3正-2反AorB反正正反反2正-3反贪心科技|让每个人享受个性化教育服务FlippingCoins迭代1：PA=0.2PB=0.7轮数结果统计如果是硬币A如果是硬币B1正正反正反3正-2反0.005120.030872反反正正反2正-3反0.020480.013233正反反反反1正-4反0.081920.005674正反反正正3正-2反0.005120.030875反正正反反2正-3反0.020480.01323BAABAZ=PA=（2+1+2）/15=0.33PB=（3+3）/10=0.6贪心科技|让每个人享受个性化教育服务LatentVariableModels贪心科技|让每个人享受个性化教育服务i.e.,images贪心科技|让每个人享受个性化教育服务CompletevsIncompleteCase贪心科技|让每个人享受个性化教育服务MLEforCompleteandIncompleteCaseCompleteCaseIncompleteCase贪心科技|让每个人享受个性化教育服务EMAlgorithm输入：观测变量Y，隐变量数据Z，联合分布P(Y,Z|θ)，条件概率分布P(Z|Y,θ)输出：模型参数θ1.选择模型参数的初始值θ02.E步：记θi为第i次迭代后模型参数的值，在第i+1次迭代的E步，计...
