-207-第十七章马氏链模型§1随机过程的概念一个随机试验的结果有多种可能性，在数学上用一个随机变量（或随机向量）来描述。在许多情况下，人们不仅需要对随机现象进行一次观测，而且要进行多次，甚至接连不断地观测它的变化过程。这就要研究无限多个，即一族随机变量。随机过程理论就是研究随机现象变化过程的概率规律性的。定义1设},{Ttt∈ξ是一族随机变量，T是一个实数集合，若对任意实数tTtξ,∈是一个随机变量，则称},{Ttt∈ξ为随机过程。T称为参数集合，参数t可以看作时间。tξ的每一个可能取值称为随机过程的一个状态。其全体可能取值所构成的集合称为状态空间，记作E。当参数集合T为非负整数集时，随机过程又称随机序列。本章要介绍的马尔可夫链就是一类特殊的随机序列。例1在一条自动生产线上检验产品质量，每次取一个，“废品”记为1，“合格品”记为0。以nξ表示第n次检验结果，则nξ是一个随机变量。不断检验，得到一列随机变量L,,21ξξ，记为},2,1,{L=nnξ。它是一个随机序列，其状态空间}1,0{=E。例2在m个商店联营出租照相机的业务中（顾客从其中一个商店租出，可以到m个商店中的任意一个归还），规定一天为一个时间单位，“jt=ξ”表示“第t天开始营业时照相机在第j个商店”，mj,,2,1L=。则},2,1,{L=nnξ是一个随机序列，其状态空间},,2,1{mEL=。例3统计某种商品在t时刻的库存量，对于不同的t，得到一族随机变量，)},0[,{+∞∈ttξ是一个随机过程，状态空间],0[RE=，其中R为最大库存量。我们用一族分布函数来描述随机过程的统计规律。一般地，一个随机过程},{Ttt∈ξ，对于任意正整数n及T中任意n个元素ntt,,1L相应的随机变量nttξξ,,1L的联合分布函数记为},,{),,(1111nttnttxxPxxFnn≤≤=ξξLLL（1）由于n及),,1(nitiL=的任意性，（1）式给出了一族分布函数。记为},2,1;,,1,),,,({11LLLL==∈nniTtxxFinttn称它为随机过程},{Ttt∈ξ的有穷维分布函数族。它完整地描述了这一随机过程的统计规律性。§2马尔可夫链2.1马尔可夫链的定义现实世界中有很多这样的现象：某一系统在已知现在情况的条件下，系统未来时刻的情况只与现在有关，而与过去的历史无直接关系。比如，研究一个商店的累计销售额，如果现在时刻的累计销售额已知，则未来某一时刻的累计销售额与现在时刻以前的任一时刻累计销售额无关。上节中的几个例子也均属此类。描述这类随机现象的数学模型称为马氏模型。定义2设},2,1,{L=nnξ是一个随机序列，状态空间E为有限或可...
