第十九章马尔可夫链蒙特卡罗法马尔可夫链蒙特卡罗法•蒙特卡罗法（MonteCarlomethod)，也称为统计模拟方法（statisticalsimulationmethod)，是通过从概率模型的随机抽样进行近似数值计算的方法。•马尔可夫链蒙特卡罗法（MarkovChainMonteCarlo,MCMC)，则是以马尔可夫链（Markovchain)为概率模型的蒙特卡罗法。•马尔可夫链蒙特卡罗法构建一个马尔可夫链，使其平稳分布就是要进行抽样的分布，首先基于该马尔可夫链进行随机游走，产生样本的序列，之后使用该平稳分布的样本进行近似数值计算马尔可夫链蒙特卡罗法•Metropolis-Hastings算法是最基本的马尔可夫链蒙特卡罗法•吉布斯抽样（Gibbssampling）是更简单、使用更广泛的马尔可夫链蒙特卡罗法，•马尔可夫链蒙特卡罗法被应用于概率分布的估计、定积分的近似计算、最优化问题的近似求解等问题，特别是被应用于统计学习中概率模型的学习与推理，是重要的统计学习计算方法。蒙特卡罗法随机抽样•蒙特卡罗法要解决的问题是，假设概率分布的定义己知，通过抽样获得概率分布的随机样本，并通过得到的随机样本对概率分布的特征进行分析。•比如，从样本得到经验分布，从而估计总体分布•或者从样本计算出样本均值，从而估计总体期望•所以蒙特卡罗法的核心是随机抽样(randomsampling)。随机抽样•蒙特卡罗法•直接抽样法•接受-拒绝抽样法•重要性抽样法•接受-拒绝抽样法、重要性抽样法适合于概率密度函数复杂(如密度函数含有多个变量，各变量相互不独立，密度函数形式复杂)，不能直接抽样的情况。随机抽样•接受-拒绝抽样法(accept-rejectsamplingmethod)•假设有随机变量x，取值x∈X，其概率密度函数为p(x)•目标是得到该概率分布的随机样本，以对这个概率分布进行分析随机抽样•假设p(x)不可以直接抽样。找一个可以直接抽样的分布，称为建议分布(proposaldistribution)•假设q(x)是建议分布的概率密度函数，并且有q(x)的c倍一定大于等于p(x)，其中c>0，如图中所示接受-拒绝法接受-拒绝法•接受-拒绝法的优点是容易实现，缺点是效率可能不高•如果p(x)的涵盖体积占cq(x)的涵盖体积的比例很低，就会导致拒绝的比例很高，抽样效率很低。•注意，一般是在高维空间进行抽样，即使p(x)与cq(x)很接近，两者涵盖体积的差异也可能很大数学期望佑计•一般的蒙特卡罗法也可以用于数学期望估计（estimationofmathematicalexpectation)。•假设有随机变量x，取值，其概率密度函数为p(x),f(x)为定义在X上的函数•...
