《信号处理中的线性代数》

第一章 广义逆矩阵与Kronecker积1

1.1 基本概念与符号1

1.1.1 矩阵符号与基本矩阵运算1

1.1.2 独立性、子空间、基与维数5

1.1.3 值域、零空间与秩5

1.1.4 向量内积与外积6

1.2 范数7

1.2.1 向量范数7

1.2.2 向量范数作Lyapunov函数8

1.2.3 矩阵范数10

1.2.4 Hankel算子的范数11

1.3 逆矩阵13

1.3.1 逆矩阵13

1.3.2 矩阵求逆引理14

1.4.1 特征值问题16

1.4 特征值问题与广义特征值问题16

1.4.2 广义特征值问题19

1.5 广义逆矩阵20

1.5.1 Moore-Penrose逆矩阵20

1.5.2 最小二乘解21

1.5.3 最小范数解22

1.5.4 广义逆矩阵的阶数递推计算23

1.5.5 超定二维超越方程的求解25

1.6.1 Kronecker积及其性质27

1.6 Kronecker积27

1.6.2 Kronecker积的应用31

参考文献34

第二章 特殊矩阵36

2.1 对称矩阵与循环矩阵36

2.2 交换矩阵与置换矩阵40

2.3 正交矩阵与酉矩阵42

2.4 Hermitian矩阵43

2.5 带型矩阵47

2.6 Vandermonde矩阵48

2.7 Hankel矩阵52

参考文献55

第三章 矩阵的变换与分解56

3.1 正交投影56

3.2 Householder变换57

3.2.1 保范数性与协方差不变58

3.2.2 Householder变换算法60

3.3 Givens旋转62

3.3.1 Givens旋转63

3.3.2 快速Givens旋转64

3.3.3 Kogbetliantz算法66

3.4 相似变换与矩阵的标准型67

3.4.1 相似变换67

3.4.2 矩阵的标准型68

3.5 矩阵分解的分类69

3.6 对角化分解70

3.7 Cholesky分解与LU分解72

3.7.1 Cholesky分解72

3.7.2 KU分解73

3.8 QR分解及其应用75

3.8.1 QR分解的性质75

3.8.2 采用修正Gram-schmidt法的QR分解76

3.8.3 采用Householder变换的QR分解78

3.8.4 采用Givens旋转的QR分解78

3.8.5 基于QR分解的参数估计问题79

3.8.6 基于Householder变换的快速时变参数估计81

3.8.7 基于Givens旋转的时变参数估计83

3.9 三角-对角化分解85

3.9.1 LDMΤ和LDLΤ分解85

3.9.2 相似变换87

3.9.3 Schur分解88

3.10 三对角化分解90

3.11 矩形束的分解92

参考文献93

第四章 Toeplitz矩阵95

4.1 半正定性95

4.2 特征值与特征向量96

4.3 Toeplitz线性方程组的Levinson递推求解99

4.3.1 经典Levinson递推100

4.3.2 分基Levinson算法101

4.3.3 分基schur算法106

4.3.4 Hermitian Levinson递推107

4.3.5 多信道Toeplitz线性方程组的Levinson递推求解111

4.4 求解Toeplitz线性方程组的快速算法112

4.4.1 循环镶嵌112

4.4.2 Toeplitz矩阵的部分求逆113

4.4.3 Toeplitz线性方程组求解119

4.5.1 Toeplitz矩阵的快速余弦变换121

4.5 Toeplitz矩阵的快速余弦变换121

4.5.2 应用124

参考文献125

第五章 向量空间126

5.1 内积空间及其性质126

5.2 Hilbert空间129

5.2.1 n维Hilbert向量空间129

5.2.2 无限维Hilbert向量空间131

5.2.3 L2空间132

5.3 投影定理与均方估计132

5.3.1 投影定理133

5.3.2 均方估计134

5.4 新息过程与Kalman滤波138

5.4.1 新息定理138

5.4.2 Kalman滤波139

5.5 正交集与正交基141

5.6.1 投影矩阵和正交投影矩阵144

5.6 正交投影矩阵及其应用144

5.6.2 更新公式146

5.6.3 利用正交投影矩阵设计LS格型滤波器149

5.6.4 投影矩阵的导数152

5.7 横向滤波器算子及其应用153

5.7.1 横向滤波器算子及其递推153

5.7.2 快速横向滤波器更新155

参考文献159

第六章 奇异值分解160

6.1 数值稳定性与条件数160

6.2 奇异值分解163

6.2 1 奇异值分解及其几何意义163

6.2.2 奇异值的性质165

6.2.3 秩亏缺最小二乘解168

6.2.4 奇异值分解的数值计算172

6.3 乘积奇异值分解173

6.3.1 三角矩阵的奇异值分解175

6.3.2 矩阵乘积的奇异值分解176

6.3.3 乘积奇异值分解算法的实现177

6.4 广义奇异值分解179

6.4.1 对称正定问题179

6.4.2 广义奇异值分解181

6.4.3 广义奇异值分解的实际算法186

6.4.4 二次型不等式约束最小二乘189

6.5 约束奇异值分解191

6.5.1 约束奇异值192

6.5.2 约束奇异值分解193

6.6 结构奇异值198

6.6.1 结构奇异值的定义与性质198

6.6.2 结构奇异值的计算199

6.7 奇异值分解的应用202

6.7.1 静态系统的奇异值分解202

6.7.2 系统辨识205

6.7.3 阶数确定206

6.7.4 系统的可控性209

6.8 广义奇异值分解的应用210

参考文献212

第七章 总体最小二乘方法215

7.1 最小二乘方法215

7.1.1 矩阵方程解的可辨识性215

7.1.2 Gauss-Markov定理217

7.2 总体最小二乘：理论与方法219

7.2.1 总体最小二乘解219

7.2.2 总体最小二乘解的性能223

7.3 总体最小二乘：应用228

7.3.1 ATMA建模的总体最小二乘法228

7.3.2 频率估计的总体最小二乘法229

7.3.3 FIR自适应滤波的总体最小二乘算法234

7.4.1 约束总体最小二乘方法237

7.4.2 约束总体最小二乘与极大似然的关系241

7.4.3 约束总体最小二乘解的扰动分析243

7.4.4 应用245

7.5 结构总体最小二乘247

7.5.1 结构总体最小二乘解247

7.5.2 结构总体最小二乘解的性质250

7.5.3 逆迭代算法251

7.5.4 秩亏缺Hankel矩阵逼近252

7.5.5 有噪声的实现问题253

7.6 全局总体最小二乘256

7.6.1 静态总体最小二乘257

7.6.2 全局总体最小二乘258

7.6.3 状态表示259

7.6.4 系统的最优逼近262

7.6.5 最优性条件263

参考文献265

8.1 极大似然法268

8.1.1 极大似然准则268

第八章 极大似然法与推广的最小二乘方法268

8.1.2 基于特征结构的极大似然估计子270

8.1.3 迭代二次型极大似然(IQML)算法273

8.2 广义最小二乘方法275

8.3 渐近最小方差估计279

8.4 加权最小二乘方法283

8.4.1 最优加权最小二乘估计284

8.4.2 渐近最优加权最小二乘估计285

参考文献288

第九章 辅助变量方法289

9.1 基本的辅助变量方法289

9.1.1 基本辅助变量方法290

9.1.2 辅助变量的选择方法291

9.2 最优辅助变量方法296

9.2.1 扩展的辅助变量方法296

9.2.2 最优辅助变量估计297

9.2.3 一致性与精度分析298

9.2.4 Q(q-1)的最优选择300

9.3 超定的递推辅助变量方法301

9.3.1 超定的递推辅助变量方法301

9.3.2 双曲变换304

9.3.3 平方根超定递推辅助变量算法307

9.4 阶数递推的辅助变量方法311

9.5 辅助变量方法在模型阶数确定中的应用314

9.5.1 最小描述长度(MDL)准则314

9.5.2 综合MDL准则与辅助变量方法的模型定阶316

9.5.3 与奇异值分解定阶方法的关系318

参考文献319

第十章 特征子空间分析方法322

10.1 特征子空间322

10.1.1 特征子空间的性质322

10.1.2 子空间的比较326

10.2 噪声子空间分析方法328

10.2.1 Pisarenko谐波分解328

10.2.2 极小范数方法330

10.3 多重信号分类(MUSIC)334

10.3.1 白噪声情况下的MUSIC334

10.3.2 有色噪声情况下的MUSIC336

10.4 基于修正信号子空间的波束形成器337

10.4.1 基于特征子空间的波束形成器338

10.4.2 基于修正信号子空间的波束形成器339

10.4.3 波束形成器的权重向量简化343

10.5 ESPRIT方法344

10.5.1 基本ESPRIT方法344

10.5.2 ESPRIT方法的拓广347

10.5.3 广义特征值分解的SVD-TLS实现349

10.6 子空间拟合法350

10.6.1 子空间拟合问题350

10.6.2 子空间拟合方法351

10.7.1 问题的描述354

10.7 广义相关分析354

10.7.2 广义相关分解356

10.7.3 广义Hermitian矩阵与特征投影算子358

10.7.4 特征空间的渐近性质360

10.7.5 在到达波方向估计中的应用362

10.8 子空间约束与时频综合365

10.8.1 子空间的约束综合366

10.8.2 诱导的自相关函数域子空间367

10.8.3 时频综合算法370

10.8.4 Karhunen-Loeve展开371

10.8.5 无基综合方法373

参考文献374

第十一章 子空间跟踪与更新378

11.1 引言378

11.2 基于URV分解的噪声子空间跟踪379

11.2.1 URV分解380

11.2.2 平面旋转381

11.2.3 压缩映射与细化382

11.2.4 更新URV分解384

11.3 基于秩显露QR分解的噪声子空间更新386

11.3.1 更新问题387

11.3.2 秩显露分解方法388

11.3.3 噪声子空间的更新391

11.4 基于一阶扰动的自适应特征值分解393

11.4.1 秩1更新与扰动394

11.4.2 一阶扰动分析395

11.4.3 自适应特征值分解算法396

11.5 修正特征值分解及其递推更新401

11.5.1 修正特征值问题402

11.5.2 秩1修正406

11.5.3 秩2修正407

11.6 特征子空间估计的随机梯度法408

11.6.1 特征子空间计算的最优化理论框架408

11.6.2 LMS型算法411

11.7.1 共轭梯度法简述413

11.7 共轭梯度特征结构跟踪413

11.7.2 代价函数414

11.7.3 特征值分解迭代的共轭梯度算法415

11.7.4 特征结构跟踪的共轭梯度算法417

11.8 投影逼近子空间跟踪420

11.8.1 信号子空间的新解释420

11.8.2 子空间跟踪421

11.9 快速子空间分解424

11.9.1 Rayleigh-Ritz逼近424

11.9.2 基于三Lanczos迭代的快速子空间分解427

11.9.3 基于双Lanczos迭代的快速子空间分解428

11.10 基于QR分解的奇异值分解更新430

11.10.1 奇异值分解更新430

11.10.2 包括重新正交化的SVD更新432

参考文献433

索引436