《动态规划 确定性和随机模型》

第一章动态规划算法1

1.1 基本问题1

1.2 动态规划算法8

1.3 确定性系统和最短路径问题16

1.4 最短路径在统筹分析、编码理论和正向搜索中的应用19

1.5 时间滞后、相关扰动及预报29

1.6 注记33

第二章特殊领域中的应用41

2.1 线性系统和二次代价函数：确定性等价原理41

2.2 库存控制48

2.3 动态证券分析53

2.4 最优停止问题57

2.5 调度和次序互换理论63

2.6 注记66

第三章不完全状态信息问题72

3.1 简化成完全状态信息情况72

3.2 线性系统和二次代价；估计和控制的分离74

3.3 线性系统的最小方差控制78

3.4 充分统计和有限状态马尔科夫链：一个示教问题90

3.5 假设检验：序列概率比检验97

3.6 注记100

第四章次优与自适应控制106

4.1 确定性等价控制106

4.2 开环反馈控制器108

4.3 有限前瞻策略：在柔性制造和计算机下棋中的应用110

4.4 自适应控制：自校正调节器119

4.5 注记126

第五章无限时域问题：理论部分132

5.1 基本结果132

5.2 计算方法：逐次逼近，策略迭代，自适应集结，线性规划138

5.3 收缩映射的作用152

5.4 每阶段无界代价和无折扣问题153

5.5 非平稳与周期性问题165

5.6 注记169

第六章无限时域问题：应用部分180

6.1 线性系统与二次代价180

6.2 库存控制181

6.3 最优停止183

6.4 首次通过问题［原注］188

6.5 随机调度和多臂投赌机问题194

6.6 最优博奕策略201

6.7 连续时间马尔科夫链及其一致化：在排队系统中的应用［原注］207

6.8 注记218

第七章每阶段平均代价的极小化232

7.1 最优性条件232

7.2 逐次逼近、误差界限和线性规划解238

7.3 策略迭代246

7.4 无限状态空间：具有二次代价泛函的线性系统249

7.5 注记251

附录： 存在性结果和证明259

附录A： 数学综述259

A.1集合259

A.2 欧氏空间260

A.3 矩阵260

A.4 Ro 中的拓扑概念261

A.5 凸集和函数262

附录B：关于优化理论264

附录C：关于概率论266

附录D：关于有限状态马尔科夫链269

参考文献272