《非线性规划》求取 ⇩

第一章 引言1

1.1 非线性规划概述1

1. 什么是非线性规划1

2. 建立非线性规划模型4

3. 对非线性规划的研究8

1.2 预备知识8

1. 向量模与矩阵模8

2. 函数的Hesse阵11

3. 无约束极小的必要条件和充分条件13

练习一15

第二章 最优性条件17

2.1 等式约束极小的最优性条件17

1. 约束超曲面的切向集17

2. 最优解的必要条件22

3. 最优解的充分条件25

1. Kuhn-Tucker条件27

2.2 一般非线性规划的最优性条件27

2. 对K-T点的进一步分析33

3. 最优解的二阶最优性条件38

4*. Lagrange乘子的意义41

2.3 凸规划的最优性条件44

1. 凸函数的极值44

2. 凸规划的最优性条件52

3*. Lagrange式的鞍点57

练习二64

第三章 算法理论与线性搜索技巧67

3.1 算法的收敛性67

1. 无约束极小化算法的收敛性67

2. 下降算法的整体收敛性70

3.2 算法的收敛速率77

1. 实数列的收敛速率77

2. 迭代点列的收敛速率80

3.3 线性搜索技巧81

1. Fibonacci方法82

2. 黄金分割法86

3. 二次插值方法89

4. 三次插值方法92

5. 非精确线性搜索方法93

练习三96

第四章 基本的无约束最优化方法98

4.1 最速下降法98

1. 算法及其收敛性98

2. 算法的收敛速率100

4.2 采用Armijo步长的最速下降法104

1. 算法的形成104

2. 算法的收敛性106

4.3 Newton法110

1. 算法的形成110

2. 算法的收敛性114

3. 算法的修改115

4. Murray修改119

4.4 最小二乘问题125

1. 线性问题125

2. Gauss-Newton方法127

3. Levenbeger-Marquart方法129

练习四131

第五章 共轭梯度法与变尺度法134

5.1 共轭梯度法134

1. 共轭方向法134

2. 共轭梯度方向的形成137

3*. 共轭梯度法的收敛速率142

5.2 变尺度法148

1. 问题的提出148

2. 对称秩1校正公式149

3. DFP公式和BFGS公式151

4*. Dennis矩阵族156

5*. Huang矩阵族158

6*. Broyden矩阵族162

7*. 关于Huang 矩阵族的进一步讨论164

练习五169

第六章 直接搜索法171

6.1 Powell方法171

1. 初期方法171

2. 方法的修改174

3. 用于非二次函数的极小化178

6.2 定步长下山算法181

2. Hooko-Jeeves方法182

1. 轴向搜索法182

3. 单纯形调优法183

6.3* 定步长下山算法的收敛性189

1. 正其及其生成测度190

2. 正基序列的收敛性192

3. 收敛性定理195

4. 典型算法的收敛性197

6.4 变步长下山算法200

2. Rosenbrock方法201

1. 变步长轴向搜索法201

练习六205

第七章 乘子法207

7.1 惩罚法207

1. 罚函数法207

2. 障碍函数法212

3. 惩罚法的数值困难215

7.2 Hestedes-Powell乘子法216

1. 改进罚函数法的设想216

2. 基本的对偶方法218

3. H-P乘子法220

4. 乘子法的效率223

7.3 对H-P乘子法的进一步研究225

1. Rockafellar的推广225

2*. 对加速收敛的研究227

3*. 对增广Lagrange函数的研究228

1. Polak给出的收敛算法模型229

7.4* Polak乘子法229

2. 增广目标函数的构造与性质232

3. 检验函数的构造235

练习七237

第八章 处理线性约束的一些最优化方法239

8.1 基本的算法模型239

1. 线性等式约束问题239

2. 线性不等式约束问题245

8.2 投影梯度法与既约梯度法246

1. 投影矩阵246

2. Rosen投影梯度法248

3*. Goldfarb共轭投影梯度法252

4. 既约梯度法258

5*. 能行方向法的收敛性263

8.3 二次规划问题的求解265

1. 等式约束问题265

2. Wolfe算法267

3. 线性约束下的最小二乘问题275

练习八280

第九章 处理非线性约束的一些最小优化方法282

9.1 复合形法282

1. 复合形282

2. 算法模型283

9.2 线性约束最优化方法的推广285

1. 广义既约梯度法285

2. Zoutendijk能行方向法292

9.3 线性逼近方法296

1. 近似规划方法297

2. KCG割平面法300

9.4 二次逼近方法(SQP方法)302

1. 等式约束问题303

2. 推广于不等式约束306

练习九307

主要参考书目309