《信息理论基础》求取 ⇩

目录1

引论1

第一部分　数学基础7

第一章　集合论大要7

第一节 集合论的基本知识7

1.1.1　集合的概念7

1.1.2　集合的运算及其性质10

1.1.3　集合的分类与一一对应12

1.1.4　族（类）及其运算14

1.1.5　直积集合17

第二节 关系与函数18

1.2.1 概述18

1.2.2 函数23

1.2.3　次序关系（≤）25

第三节　测度28

1.3.1　波雷尔族28

1.3.2　测度30

1.3.3　可测函数33

1.3.4　勒贝格积分34

第一章　习题36

第二章　概率论大要42

第一节 概率空间和事件概率42

2.1.1　概率空间42

2.1.2　概率的性质44

第二节 随机变量和分布函数45

2.2.1　定义45

2.2.2　离散型分布和连续型分布47

2.2.3　常见分布举例49

第三节 数学期望和特征函数51

2.3.1　数学期望的定义51

2.3.2　随机变量的数字特征——各阶矩52

2.3.3　特征函数57

2.3.4　常见分布的特征函数59

第四节 随机矢量和多维分布61

2.4.1　定义61

2.4.2　随机矢量的特征函数与矩62

2.4.3　多维分布举例64

2.4.4　随机变量的独立性66

2.4.5　随机序列的收敛性68

第五节 随机变量的变换72

2.5.1　边缘分布73

2.5.2　函数变换73

第六节 条件概率，条件分布函数，条件期望79

2.6.1　条件概率79

2.6.2　条件分布函数80

2.6.3　条件期望83

第七节 极限定理88

2.7.1 大数法则89

2.7.2　中心极限定理91

2.7.3 小数极限94

第二章　习题96

第一节 一般理论101

3.1.1 随机过程的一般描述方法101

第三章　随机过程大要101

3.1.2 可离性，可测性，连续性102

第二节 独立变量过程104

第三节 可加过程（独立增量过程）105

3.3.1 定义105

3.3.2 正态可加过程107

3.3.3　帕桑过程117

3.3.4　勒维过程122

3.4.1　定义123

第四节 平稳随机过程123

3.4.2　相关函数125

3.4.3　弱平稳过程的谱分解129

3.4.4　强平稳过程的遍历性137

第五节 马尔柯夫过程139

3.5.1　马尔柯夫链140

3.5.2　马尔柯夫过程147

3.5.3　高阶马尔柯夫过程153

第三章　习题156

第一节 信源特性和分类164

第四章　信源和信息熵164

第二部分　仙侬信息论164

第二节 离散信源的信息熵178

4.2.1　信息量和熵178

4.2.2　熵函数的数学特性183

4.2.3　熵函数的公理构成193

第三节 互信息和序列的熵197

4.3.1 两个符号的熵和互信息197

4.3.2　序列信息的熵204

第四节 连续信源的熵210

4.4.1 连续随机变量的熵和信息211

4.4.2　最大熵定理215

第四章　习题224

第五章　信道和信道容量232

第一节 信道的主要参数和分类232

第二节 无干扰离散信道238

第三节　单符号信道243

5.3.1　信道容量的定义和计算举例243

5.3.2　离散信道容量的一般计算方法249

5.3.3 离散信道容量的迭代计算255

第四节 多符号信道261

5.4.1 独立并联信道的容量262

5.4.2　限频限功率高斯信道的容量264

5.4.3　有公共制约的多符号信道268

5.4.4　一般信道问题272

第五节 多用户信道275

5.5.1　多址接入信道277

5.5.2　广播信道286

5.5.3　相关信源的多用户信道问题291

第五章　习题295

第六章　信息率失真函数304

第一节 一般概念和定义304

第二节 R（D）函数的性质310

第三节 离散信源的R（D）函数的计算315

6.3.1　R（D）的参量表达式316

6.3.2　二元信源和对称失真函数的R（D）函数319

6.3.3　迭代计算公式324

第四节 连续信源的R（D）函数327

6.4.1　定义和一般公式328

6.4.2　d（x,y）只与（x-y）有关的情况331

第五节 信息价值337

第六节 广义信息率失真函数343

6.6.1　通信系统的性能指标的界343

6.6.2　一般化信息函数和信息率失真函数346

6.6.3　通信系统性能指标的界之例349

第六章　习题351

第七章　编码定理358

第一节 无失真离散信源编码定理359

7.1.1　定长编码定理360

7.1.2　变长编码定理368

第二节 限失真信源编码定理379

7.2.1 D（C）的上界379

7.2.2　E（β．P）的性质385

7.2.3 离散无记忆信源的限失真编码定理390

7.3.1　差错率Pe的上界392

第三节 离散信道编码定理392

7.3.2　离散无记忆平稳信道的编码定理398

7.3.3　E（R）的计算402

第四节 连续信道的编码定理411

7.4.1 半连续信道的编码定理412

7.4.2　连续信道的编码定理414

7.4.3　高斯信道可靠性函数的计算418

7.4.4　高斯信道的实际编码问题423

第五节 信道编码定理的改善429

7.5.1　差错概率的下界430

7.5.2　差错率上界的改善440

7.5.3　差错率下界的改善445

第六节 多用户信道编码定理449

7.6.1　二址接入信道的编码定理450

7.6.2　退化广播信道的编码定理454

7.6.3　有边信息的编码定理456

第七章　习题458

结束语464