基于勒贝格采样的随机系统最优控制研究

论文摘要

随机动态系统和勒贝格采样系统在通讯网络、柔性制造、人工智能、军事指挥管理、生产生活等各个领域有着广泛的应用,是学习和优化领域科学者的研究热点。虽然,每个领域的科学研究对系统结构都有着各自的问题描述。但是,大多数研究方法都是围绕系统的最优性能为出发点,即寻找“最优策略”对系统性能进行优化。在性能势理论的基础上,本文将采用勒贝格采样技术,针对随机系统的优化问题进行策略研究。结合前人的观点,本文主要做了以下三方面的工作:1.针对随机动态系统的最优控制问题,采用策略迭代的方法进行求解。首先,基于性能势理论和反馈控制系统的最优性方程,给出了模型问题的策略迭代算法。然后,结合MATLAB仿真环境,在不需要辨识系统所有参数的情况下,运用该算法中的策略评价,可以从构造的样本路径上估计性能势。最后,实施策略改进以寻到最优策略来优化系统性能。2.针对勒贝格采样系统的最优控制问题,利用马尔可夫决策过程中的时间集结方法进行求解。首先,基于上一个工作中的最优控制问题的一般模型,给出了勒贝格采样系统的数学模型。然后,结合勒贝格采样技术、时间集结法、策略迭代算法和解析法对该模型进行求解,可以得出系统的最优性能以及相应的最优策略。最后,将勒贝格采样系统与传统的周期采样系统作比较,通过MATLAB仿真对比,得出勒贝格采样方法不仅可以改善系统性能,也能减小系统资源消耗。从而,在某种程度上解决了该类系统的“维数灾”问题。3.针对上述两类系统的优化问题,结合强化学习技术,解决了离散事件动态系统的最优控制问题。首先,基于样本路径和Q学习技术,给出了一阶连续时间随机动态系统的优化算法。然后,在性能势的基础上,引入一种在线策略迭代方法,又称SARSA算法,来求解该类系统的最优控制问题。最后,通过数值算例,与周期采样作比较,基于勒贝格采样的策略明显优于周期采样的策略。因此,勒贝格采样的方法更适用于实际的控制系统。

论文目录

致谢

摘要

Abstract

主要符号表

1 绪论

1.1 研究背景

1.1.1 随机系统最优控制

1.1.2 马尔可夫系统与性能势理论

1.1.3 基于学习和优化的方法

1.2 研究的意义与课题来源

1.3 课题研究现状

1.4 论文主要研究内容和结构

2 预备知识

2.1 马尔可夫决策过程

2.1.1 马尔可夫性与系统状态

2.1.2 马尔可夫过程

2.1.3 半马尔可夫过程

2.1.4 标准马尔可夫决策过程与策略

2.2 性能势

2.2.1 构造样本路径

2.2.2 性能势

2.3 策略迭代

2.4 勒贝格采样技术

2.5 本章小结

3 基于策略迭代的最优控制

3.1 引言

3.2 控制系统的模型建立

3.3 在线学习和优化方法

3.3.1 状态空间的离散化

3.3.2 策略迭代方法

3.3.3 性能势和相关参数的估计

3.4 数值算例

3.5 本章小结

4 基于勒贝格采样的最优控制

4.1 引言

4.2 问题描述

4.3 基于勒贝格采样系统的最优控制

4.3.1 勒贝格采样系统

4.3.2 时间集结法

4.3.3 策略迭代算法

4.3.4 解析法

4.4 周期采样系统的优化控制

4.5 仿真结果与分析

4.6 本章小结

5 基于样本路径的学习与优化

5.1 引言

5.2 问题描述

5.3 Q学习因子

5.4 SARSA算法

5.5 仿真结果与分析

5.6 本章小结

6 结论与展望

参考文献

作者简历

学位论文数据集

文章来源

类型: 硕士论文

作者: 朱萌萌

导师: 宋运忠

关键词: 随机动态系统,勒贝格采样系统,性能势,策略迭代,算法,最优控制

来源: 河南理工大学

年度: 2019

分类: 基础科学

专业: 数学

单位: 河南理工大学

基金: 国家自然科学基金项目(61340041,61374079)

分类号: O232

DOI: 10.27116/d.cnki.gjzgc.2019.000217

总页数: 77

文件大小: 2722K

下载量: 13

基于勒贝格采样的随机系统最优控制研究

论文摘要

论文目录

文章来源

相关论文文献

猜你喜欢