《信息论与编码》

前言1

第一章序论3

1—1什么是信息论（一）3

1—2什么是信息论（二）4

1—3信息的编码5

1—4信息传输中的一个问题8

1—5一些问题11

第二章信息量与信源14

2—1信息量的定义14

2—2无记忆信源16

2—3熵的性质18

2—4无记忆信源的扩展23

2—5马尔科夫信源25

2—6伴随信源32

2—7马尔科夫信源的扩展34

2—8语言的构造39

第三章代码的性质55

3—1引言55

3—2单义可译代码56

3—3瞬时可译代码59

3—4瞬时可译代码的构成62

3—5克瑞弗特不等式64

3—6克瑞弗特不等式的证明68

3—7麦克米伦不等式70

3—8具体例子71

第四章信源编码77

4—1平均码长77

4—2特殊信源编码的一种方法80

4—3仙侬第一定理84

4—4马尔科夫信源的仙侬第一定理86

4—5不考虑扩展的信源编码87

4—6二元最简代码的构成法——哈弗曼代码89

4—7哈弗曼码为最简代码的证明94

4—8 r元最简代码96

4—9编码效率和冗长度99

第五章信道与互信息量110

5—1引言110

5—2信道111

5—3信道的各种概率关系115

5—4先验熵与后验熵118

5—5仙侬第一定理的推广120

5—6互信息量125

5—7互信息的性质127

5—8无噪声信道和确定信道132

5—9串联信道135

5—10简化信道与充分简化信道141

5—11互信息的相加性147

5—12一些字母的互信息量153

5—13信道容量157

5—14条件互信息162

第六章提高信道的可靠性——使用低可靠性的信道，以高的可靠性传输信息178

6—1引言178

6—2错误概率及判决规则180

6—3费诺界限184

6—4提高信道的可靠性——使用低可靠性的信道，以高的可靠性传输信息187

6—5纠错编码的例子191

6—6汉明距离195

6—7关于BSC信道的仙侬第二定理——第一步198

6—8随机编码——第二步203

6—9仙侬第二定理——讨论206

6—10仙侬第二定理——一般情况210

6—11后记217

附录（一）符号与熵表达式的一览表222

附录（二）以2为底的对数表226

附录（三）熵函数表228

参考文献230