《信息论基础》

第一章绪论1

1.1 信息的概念1

1.2 信息论研究的对象、目的和内容7

1.3 信息论发展简史和现状9

第二章离散信源13

2.1 信源的数学模型及分类13

2.2 离散信源的信息熵15

2.3 熵的基本性质20

2.4 离散无记忆的扩展信源24

2.5 离散平稳信源26

2.6 马尔可夫信源34

2.7 信源的相关性和剩余度44

2.8 信息熵与热力学熵；意义信息和加权熵47

习题50

第三章离散信道54

3.1 信道的数学模型和分类54

3.2 信道疑义度及平均互信息59

3.3 平均互信息的特性63

3.4 离散无记忆的扩展信道68

3.5 串联信道的互信息73

3.6 信道容量及其迭代算法78

3.7 信源与信道的匹配96

习题98

第四章无失真信源编码101

4.1 编码器101

4.2 等长码和等长信源编码定理103

4.3 变长码110

4.4 变长信源编码定理116

4.5 变长码的编码方法123

习题130

第五章有噪信道编码134

5.1 错误概率和译码规则134

5.2 错误概率与编码方法140

5.3 有噪信道编码定理146

习题152

第六章保真度准则下的信源编码155

6.1 引言155

6.2 信息率失真函数的定义和性质156

6.3 信息率失真函数的参量表述及其计算168

6.4 保真度准则下的信源编码定理181

习题191

第七章连续信源和波形信道194

7.1 连续信源的统计特性和离散化194

7.2 连续信源的熵196

7.3 具有最大熵的连续信源203

7.4 熵功率206

7.5 连续信源熵的变换206

7.6 噪声211

7.7 波形信道的信息传输率和信道容量213

7.8 连续信源的信息率失真函数220

习题224

第八章多用户信息论227

8.1 多用户信道的分类227

8.2 联合典型序列230

8.3 相关信源编码238

8.4 多元接入信道242

8.5 相关信源的多元接入信道250

8.6 广播信道252

附录259

附录A凸函数和詹森不等式259

附录B 马尔可夫链263

附录C 熵函数计算用的函数表270

附录D 计算离散信道容量的实用程序272

参考书目及文献276