《信息论及其应用》求取 ⇩

目录1

第一章 绪论1

第二章 熵和互信息5

§2.1离散信源的熵和信息量5

2.1.1事件的互信息6

2.1.2条件互信息和联合事件的互信息7

2.1.3事件的自信息8

2.1.4离散随机变量的平均自信息熵9

2.1.5熵的性质11

2.1.6随机变量的相对熵和平均互信息14

2.1.7马尔可夫链和数据处理定理15

§2.2连续随机变量的互信息和微分熵17

2.2.1连续随机变量的互信息17

2.2.2连续随机变量的熵——微分熵18

2.2.3微分熵的极大化20

2.3.1凸函数的概念和性质22

§2.3凸函数和互信息的凸性22

2.3.2KuhnTucker条件24

2.3.3互信息的凸性26

§2.4平稳离散信源28

2.4.1平稳离散信源一般概念28

2.4.2平稳信源的熵29

2.4.3马尔可夫信源33

§2.5随机过程的信息量和熵36

习题38

第三章 离散信源的无错编码44

§3.1AEP性质和离散无记忆源（DMS）的等长编码44

3.1.1AEP性质44

3.1.2离散无记忆源的等长编码49

§3.2离散无记忆源（DMS）的不等长编码52

3.2.1Kraft不等式53

3.2.2不等长编码定理56

3.2.3最佳不等长编码（Huffman编码）58

3.2.4其他不等长编码方法62

3.2.5Shannon编码的竞争最佳性（Compctitiveoptimality）67

§3.3平稳信源和马尔可夫信源的编码定理69

3.3.1平稳信源的编码69

3.3.2马尔可夫信源的编码72

习题76

第四章 离散无记忆信道（DMC）的容量和编码定理80

§4.1离散无记忆信道（DMC）及其容量80

4.1.1信道容量的定义和例子81

4.1.2离散无记忆信道（DMC）的容量定理85

4.1.3对称离散无记忆信道容量的计算86

4.1.4转移概率矩阵可逆信道的容量计算91

4.1.5离散无记忆信道（DMC）容量的迭代计算92

§4.2信道的组合98

4.2.1积信道（平行组合信道）99

4.2.2和信道101

4.2.3级联信道103

§4.3离散无记忆信道（DMC）的编码定理103

4.3.1几个有关定义104

4.3.2联合典型列对105

4.3.3信道编码定理107

4.3.4Fano不等式和逆编码定理111

4.3.5具有反馈的离散无记忆信道的容量113

4.3.6信源——信道联合编码115

习题117

第五章 高斯信道123

§5.1高斯信道概念124

5.1.1高斯信道的容量124

5.1.2高斯信道编码定理125

5.1.3高斯信道编码定理之逆128

§5.2带限信道130

§5.3平行高斯信道131

§5.4有色高斯噪声信道134

§5.5具有无噪反馈的高斯信道137

5.5.1无记忆高斯信道上无噪反馈通信137

5.5.2一阶自回归高斯信道上无噪反馈通信140

习题144

第六章 率失真理论147

§6.1率失真函数的定义149

§6.2简单信源的率失真函数计算151

6.2.1贝努利信源151

6.2.2高斯信源154

6.2.3高斯矢量信源156

§6.3率失真函数的性质159

6.3.1R(D)的定义域（0,Dmax）159

6.3.2R(D)的向下凸性160

6.3.3R(D)是单调递减的连续函数161

§6.4率失真函数R(D)的参数表示式162

§6.5率失真函数的迭代计算165

§6.6限失真信源编码定理167

习题172

7.1.1多元接入信道176

7.1.2广播信道176

§7.1多用户信息传输系统模型176

第七章 多用户信息论176

7.1.3串扰信道177

7.1.4中继信道178

7.1.5相关信源的编码和译码178

§7.2推广的联合典型序列及联合AEP性质179

§7.3多接入信道183

§7.4广播信道191

7.4.1广播信道的定义192

7.4.2退化的广播信道193

§7.5相关信源的源编码198

习题203

第八章 密码学理论206

§8.1古典密码学206

8.1.1古典密码的例子207

8.1.2古典密码的破译208

§8.2基于信息论的密码学理论209

8.2.1密码系统理论安全性测度211

8.2.2密码系统的实用安全性215

8.3.1DES系统加密、解密运算的基本步骤216

§8.3DES系统216

8.3.2DES系统中密钥的选取221

§8.4公开钥密码系统224

§8.5确证系统、数字签名和密钥分配、管理229

8.5.1确证系统230

8.5.2数字签名230

8.5.3密钥的管理与分配231

§9.1最大熵分布233

第九章 最大信息原则和最大熵谱估计233

§9.2最大熵谱估计238

9.2.1高斯过程的熵率239

9.2.2Burg定理239

§9.3自回归高斯模型的定阶准则242

9.3.1Akike的信息量准则AIC[22]242

9.3.2Rissanen的最小描述长度准则MDL[41]247

第十章 类型理论及其应用252

§10.1类型理论252

§10.2大偏离理论258

§10.3通用信源编码与Z-L算法262

10.3.1通用信源编码262

10.3.2Z—L算法[8][49]264

§10.4假设检验265

10.4.1Neyman—Pearson准则265

10.4.2Bayesian准则269

第十一章 Kolmogorov复杂性理论271

11.1.1计算模型——Turing机272

§11.1计算的模型和Kolmogorov复杂性定义272

11.1.2Kolmogorov复杂性定义273

11.1.3字符串复杂性的例子277

11.1.4整数的Kolmogorov复杂性279

§11.2Kolmogorov复杂性和Shannon熵280

§11.3Kolmogorov复杂性和通用概率283

§11.4停机问题、K(x)的不可计算性和魔数“Ω”288

11.4.1停机问题和K(x)的不可计算性288

11.4.2魔数“Ω”289

参考文献292