《研究生教材 信息论》

第一章 信息量1

1.1 熵1

1.1.1 信息的定性描述1

1.1.2 信息的定理表征1

1.1.3 熵的基本性质6

1.2 互信息10

1.2.1 条件熵10

1.2.2 互信息11

1.2.3 数据处理定理14

1.2.4 互信息的凸性17

1.3 关于信息量的几个问题19

1.3.1 熵的唯一性19

1.3.2 Shannon熵的局限性24

1.3.3 信息量与可加集函数之类比34

1.4 问题与补充37

2.1.2 码的概念45

2.1.1 信源的概念45

2.1 信源与编码45

第二章 信源编码理论45

2.1.3 编码规则46

2.2 定长码47

2.2.1 无记忆信源的信息稳定性47

2.2.2 定长编码定理49

2.3 变长码53

2.3.1 码的分类53

2.3.2 几个引理56

2.3.3 平均码长定理62

2.4 带价值码69

2.4.1 一般离散信源的熵率69

2.4.2 码的价值71

2.4.3 平均价值定理73

2.5 具保真度码82

2.5.1 失真测度82

2.5.2 率失真函数87

2.5.3 保真信源编码定理96

2.5.4 率失真函数的计算107

2.6 问题与补充132

第三章 信道编码理论147

3.1 噪声信道编码问题147

3.1.1 信道与编码147

3.1.2 通信系统及误差概率147

3.1.3 无记忆信道150

3.2 逆编码定理153

3.2.1 信道容量153

3.2.2 逆编码定理156

3.3 具价值的编码定理160

3.3.1 价值容量函数160

3.3.2 编码定理170

3.4 具误差概率指数界的编码定理179

3.4.1 误差概率的指数形式179

3.4.2 指数界编码定理189

3.4.3 随机编码指数算例205

3.5 信道容量的计算213

3.5.1 基础算法213

3.5.2 特征方程法217

3.5.3 迭代算法234

3.6 问题与补充246

第四章 线性码概述264

4.1 线性码的表现264

4.1.1 线性码的定义及生成矩阵264

4.1.2 系统线性码与校验矩阵267

4.2 线性码的译码法271

4.2.1 校验子译码271

4.2.2 几何译法277

4.3 线性码的纠错能力280

4.3.1 几何译法与码的纠错能力280

4.3.2 线性码的纠错与检错284

4.4.1 纯检错译码误差概率289

4.4 线性码的误差概率289

4.4.2 最大似然译码误差概率界290

4.4.3 权计数子的计算--MacWilliams恒等式294

4.5 问题与补充299

第五章 循环码307

5.1 循环码的表现307

5.1.1 循环码的生成元307

5.1.2 校验式与对偶码313

5.2 循环码的编码法315

5.3 循环码的检错能力及通用译法321

5.3.1 循环码的检错能力322

5.3.2 循环码的伴随式与检错方法324

5.3.3 循环码的通用译法325

5.4 Hamming码328

5.4.1 (15，11)Hamming码328

5.4.2 二元(2m-1,2m-m-1)循环Hamming码332

5.4.3 循环Hamming码的捕错译法335

5.5 问题与补充337

第六章 Goppa码类341

6.1 BCH码导引341

6.1.1 推广Hamming码341

6.1.2 BCH码的定义及性能345

6.2 BCH码的推广与Goppa码类350

6.2.1 BCH码的Goppa表现350

6.2.2 Goppa码类352

6.2.3 Reed-Solomon码358

6.3 Goppa码类的通用译法361

6.3.1 关键方程361

6.3.2 欧氏算法364

6.3.3 Goppa码类译码法373

6.4 问题与补充383

第七章 卷积码394

7.1 卷积码的表现394

7.1.1 生成矩阵与生成元394

7.1.2 多项式矩阵与生成多项式398

7.1.3 卷积编码器400

7.2 门限译法406

7.2.1 系统卷积码与校验矩阵406

7.2.2 门限译法411

7.3 最大似然译法418

7.3.1 卷积码的状态图419

7.3.2 卷积码的格子图426

7.3.3 Viterbi译码法429

7.4 序贯译法434

7.4.1 卷积码的树形结构435

7.4.2 Fano译码法438

7.5 问题与补充442

第八章 密码446

8.1 密码系统446

8.1.1 引言446

8.1.2 基本字母表与加密原则447

8.1.3 密码系统449

8.2 Bayes对手密码分析452

8.2.1 保密通信系统452

8.2.2 密码分析的Bayes模型456

8.2.3 Caesar加密与Bayes判决458

8.3 单表代换465

8.3.1 置换群与代换系统465

8.3.2 Caesar代换分析(Ⅰ)--最大似然法467

8.3.3 Caesar代换分析(Ⅱ)--相关分析法468

8.3.4 仿Caesar代换469

8.4 多表加密系统471

8.4.1 绝密系统471

8.4.2 Vigenere加密系统472

8.4.3 多表代换密码分析473

8.5 问题与补充481

附录A Galois域484

附录B 凸函数503

参考书目530