《信息与编码理论》

目 录1

第一章 引论1

§1.1 通信系统模型1

§1.2 Shannon信息论的中心问题3

第二章信息量和熵5

§2.1 离散变量的非平均信息量5

§2.2 离散集的平均自信息量——熵13

*§2.3 熵的唯一性定理19

§2.4 离散集的平均互信息量22

§2.5 连续随机变量的互信息和相对熵25

§2.6 凸函数与互信息的凸性31

*§2.7 随机过程的信息量和熵36

结论及参考文献39

习题39

第三章信源编码（一）——离散信源无失真编码43

§3.1 信源及其分类43

§3.2 离散无记忆源的等长编码45

§3.3 离散无记忆源的不等长编码50

§3.4 最佳不等长编码57

*§3.5 平稳源编码59

*§3.6 马尔可夫源66

结论及参考文献74

习题75

§4.1 信道分类80

第四章信道及其容量80

§4.2 离散无记忆信道81

*§4.3 离散无记忆信道容量的迭代算法89

*§4.4 离散有记忆信道94

§4.5 信道的组合97

§4.6 时间离散的无记忆连续信道101

§4.7 波形信道106

结论及参考文献108

习题109

第五章信道编码定理（一）——离散信道情况112

§5.1 离散信道编码问题112

§5.2 Fano不等式和信道编码逆定理115

§5.3 联合典型序列及信道编码定理118

*§5.4 错误概率上限123

*§5.5 改进的错误概率上限140

*§5.6 错误概率下限146

*§5.7 改进的错误概率下限153

*§5.8 信道编码的强逆定理156

结论及参考文献159

习题160

第六章信道编码定理（二）——连续信道情况163

§6.1 连续信道编码163

*§6.2 时间离散半连续信道错误概率的上限168

*§6.3 时间离散连续信道错误概率的上限170

*§6.4 高斯信道错误概率的上限174

*§6.5 等能正交编码信号178

结论及参考文献184

习题185

第七章信道编码（一）——分组码189

§7.1 线性分组码（一）189

§7.2 线性分组码（二）200

§7.3 循环码206

§7.4 BCH码215

§7.5 其它的重要循环码220

*§7.6分组码的性能限224

*§7.7 线性分组码的译码错误概率限227

结论及参考文献231

习题232

第八章 信道编码（二）——卷积码235

§8.1 卷积码的基本概念235

§8.2 卷积码的代数译码250

§8.3 纠正突发错误的卷积码255

§8.4 Viterbi译码264

§8.5 序列译码274

*§8.6 卷积码集合平均错误概率限282

§8.7 级连码292

习题295

结论及参考文献295

第九章信源编码（二）——无记忆信源的有失真编码（率失真理论）297

§9.1 一般概念与定义297

§9.2 率失真函数的基本性质与有失真时的逆信源编码定理299

§9.3 无记忆信源R（D）的计算303

*§9.4 R（D）上、下限的估计310

*§9.5 有失真时的离散无记忆信源编码——分组码314

*§9.6 有失真时的离散无记忆信源编码——格码320

*§9.7 连续幅度无记忆信源325

结论及参考文献328

习题328

§10.1多用户通信及多用户信道的分类331

第十章多用户信息论331

§10.2相关信源独立编码333

*§10.3相关源协同编码338

§10.4多元接入信道（MTC）344

*§10.5广播信道350

结论及参考文献357

习题358

附录A随机过程的正交展开360

附录B若干不等式、（5.4.47）式、（5.4.48）式和引理5.5.1的证明362

附录C代数基本概念367

附录D率失真函数的迭代算法377

参考书目382

参考文献385