《信息论》

第一章 绪论1

1-1 信息论的形成和发展1

1-2 通信系统模型3

1-3 早期关于信息的度量7

第二章 信息量11

2-1 离散无记忆信源的信息量11

2-2 熵函数的代数性质14

2-3 熵函数的解析性质20

2-4 互信息(mutual Information)24

2-5 数据处理中信息的变化(信息不增性原理)27

2-6 平稳随机序列的熵29

2-7 冗余度33

2-8 连续信源的信息量34

2-9 最大熵定理40

第三章 马尔可夫信源48

3-1 马尔可夫信源48

3-2 正规马尔可夫信源52

3-3 各态历经的马尔可夫信源58

3-4 一般马尔可夫信源与其次数62

3-5 马尔可夫信源的熵68

3-6 伴随信源70

3-7 马尔可夫信源的扩展74

3-8 语言模型80

第四章 信源编码85

4-1 信源编码简介85

4-2 编码的定义87

4-3 单义码存在定理89

4-4 最佳编码96

4-5 最佳编码与译码的技术设备100

4-6 香农与费诺编码法103

4-7 离散信源变长编码定理106

4-8 平稳信源和马尔可夫信源的变长编码定理112

4-9 离散无记忆信源定长编码定理114

第五章 信道与信道容量121

5-1 信道的分类121

5-2 信道模型125

5-3 信道与互信息132

5-4 对称信道133

5-5 延长信道136

5-6 无损信道和确定信道的互信息137

5-7 有扰离散无记忆信道的信道容量139

5-8 一些特殊信道的信道容量的计算142

5-9 任意有扰离散无记忆信道容量的计算--迭代计算法151

第六章 信道编码162

6-1 信道编码162

6-2 信道编码定理164

6-3 在二元对称信道上信道编码定理的证明168

6-4 可靠性函数172

6-5 信道编码的基本概念174

6-6 单一错误的检测与纠正176

6-7 码的纠错能力188

6-8 循环码199

6-9 有限域(伽罗瓦域Galois field)211

6-10 BCH码与Fire码216

第七章 连续信道219

7-1 连续信道与其互信息量219

7-2 信道中的噪音221

7-3 高斯信道225

7-4 时间连续信道229

7-5 连续信道的信道容量236

7-6 具有任意噪音功率谱密度的信道容量238

7-7 信号空间与连续信道编码定理245

7-8 相关检波247

7-9 连续信道上离散信息的传输252

7-10 连续信道的二元信息传输254

7-11 连续信道的M元信息传输256

7-12 连续信道的连续信息传输--线性调制理论262

7-13 连续信道的连续信息传输--非线性调制267

7-14 时间连续信号的传输269

第八章 信息率失真理论273

8-1 失真函数的基本概念273

8-2 信息率失真函数R(D)277

8-3 信息率失真函数R(D)的性质283

8-4 R(D)的参量表示法288

8-5 二元信源的信息率失真函数R(D)295

8-6 R(D)函数的迭代计算公式299

8-7 限失真信源编码定理305

8-8 模拟信源的信息率失真函数306

附录A 凸函数316

附录B 某些重要不等式322

附录C 概率空间326

附录D 计算熵用的数值表332

主要参考文献341