具有精英策略的深度强化学习无人机集群通信网络拓扑设计

具有精英策略的深度强化学习无人机集群通信网络拓扑设计

论文摘要

针对集群无人机背景下定向天线网络拓扑设计的NP-hard特点,基于网络高抗毁、低功耗、高稳定性等要求,以抗毁性(3-连通)、链路量、链路功耗和稳定性为奖励,提出了一种具有精英策略的深度强化学习通信网络拓扑生成算法,验证了精英经验池加速训练效果。与传统DQN相比,引入精英经验池能够有效加速模型收敛,训练时间减少3倍以上。与遗传算法相比,算法分离了训练与使用过程,当网络训练完成后,能够根据场景需要实时计算通信网络拓扑。实验阶段设计了随机给定空间位置的6节点、10节点、24节点和36节点的3-连通通信网络拓扑。实验结果表明:所提算法具有强的实时性和适用性,对于不大于36节点的网络,可在183 ms内实现网络拓扑的更新计算,达到了实际应用的实时性要求。

论文目录

  • 1 基本原理
  •   1.1 网络的k-连通和节点度
  •   1.2 集群通信网络的3-连通特征分析
  • 2 相关工作
  •   2.1 定向天线网络连通性
  •   2.2 深度强化学习和经验回放机制
  • 3 模型框架
  •   3.1 模型设定
  •   3.2 奖励设定
  •   3.3 精英算法
  • 4 实验及分析
  •   4.1 网络拓扑设计分析
  •   4.2 响应时间对比
  • 5 结语
  • 文章来源

    类型: 期刊论文

    作者: 董方昊,冯有前,尹忠海,梁晓龙,周诚,李明杰

    关键词: 深度强化学习,精英经验池,通信网络连通度,通信网络拓扑

    来源: 空军工程大学学报(自然科学版) 2019年04期

    年度: 2019

    分类: 工程科技Ⅱ辑,信息科技

    专业: 航空航天科学与工程,电信技术

    单位: 空军工程大学基础部,空军工程大学空管领航学院

    基金: 国家自然科学基金(61472443)

    分类号: V279;TN915.0

    页码: 52-58

    总页数: 7

    文件大小: 1012K

    下载量: 403

    相关论文文献

    标签:;  ;  ;  ;  

    具有精英策略的深度强化学习无人机集群通信网络拓扑设计
    下载Doc文档

    猜你喜欢