信源编码定义：信源的相对率（信息效率）为信源实际的信息熵与同样符号数的最大熵的比值；信源的冗余度为1减去信源熵的相对率，冗余度也称为多余度，剩余度或富余度。maxmax:1()/HHH冗余度maxmax()/()()/()HXHXHXHX或信源编码和码的分类1.编码的定义和基本概念2.码的分类码的分类：定长码：码中所有码字的长度都相同。可变长度码：码中码字的长度不相同。码字与信源符号一一对应奇异码：码字与信源符号不能一一对应。非奇异码：唯一可译码：任意有限长度的码元序列，只能被唯一地分割为一个个码字，则称为唯一可译码。否则为非唯一可译码。任何一个码字不是其它码字的延长或前缀即时码与非即时码：一个唯一可译码，在接收端收到一个完整码字后，是否能立即译码。能即时译码，为即时码。否则为非即时码。即时码与码树：即时码可用码树来构造。构造方法的要点。唯一可译码定理定理：设信源S的符号集为S：{s1,s2,…,sq}，码符号集X:{a1,a2,…,ar}，又设码字为W:{w1,w2,…,wq}其码长分别为n1,n2,…,nq。则存在唯一可译码的充分必要条件是：q，r，ni(i=1,2,…,q)满足克劳夫特（Kraft）不等式，即：qinir11定长编码定理：（1）由L个符号组成，每个符号的熵为H(X)的无记忆平稳信源X1X2…XL,可用K个符号Y1，Y2，…,YK(每个符号有r种可能性）。0,0,log(),KrHXL对任意的只要L当足够大，几乎可无失真译码，即译码差错概率小于。定长编码定理：（2）反之log()2,KrHXLL译码失真为有限值，当足够大，译码几乎必出错。()()1loglogHXHXnrr对离散单符号信源，符号熵为H(X),对信源进行r元变长编码，一定存在无失真的信源编码方法，n其码字平均长度满足：变长编码定理（1）：对离散平稳无记忆信源，消息长度为L，平均符号熵为H(X),对信源进行r元变长编码，一定存在无失真的信源编码方法，n其码字平均长度满足：变长编码定理（2）：()()1loglogLHXLHXrnmr平均信息率：log()KrRHXL编码效率：()HXR最佳编码效率：()()HXHX＋•香农编码香农编码•费诺编码费诺编码•哈夫曼编码编码方法：编码方法的比较：香农码、费诺码和哈夫曼码均基于信源的统计特性，编码原则均是：出现频率高的信源符号使用较短的码字。香农码有系统的、唯一的编码方式。但编码效率不高。费诺码和哈夫曼码的编码方式不唯一。费诺码适合于分组概率相等或接近的信源。哈夫曼码对统计特...
