基于多智能体强化学习的无人艇集群集结方法 |
| |
引用本文: | 夏家伟,刘志坤,朱旭芳,刘忠.基于多智能体强化学习的无人艇集群集结方法[J].北京航空航天大学学报,2023(12):3365-3376. |
| |
作者姓名: | 夏家伟 刘志坤 朱旭芳 刘忠 |
| |
作者单位: | 1. 海军工程大学兵器工程学院;2. 海军航空大学青岛校区;3. 海军工程大学电子工程学院 |
| |
基金项目: | 中国博士后基金(2016T45686);;湖北省自然科学基金(2018CFC865)~~; |
| |
摘 要: | 为解决数量不定的同构水面无人艇(USV)集群以期望队形协同集结的问题,提出一种基于多智能体强化学习(MARL)的分布式集群集结控制方法。针对USV通信感知能力约束,建立集群的动态交互图,通过引入二维网格状态特征编码的方法,构建维度不变的智能体观测空间;采用集中式训练和分布式执行的多智能体近端策略优化(MAPPO)强化学习架构,分别设计策略网络和价值网络的状态空间和动作空间,定义收益函数;构建编队集结仿真环境,经过训练,所提方法能有效收敛。仿真结果表明:所提方法在不同期望队形、不同集群数量和部分智能体失效等场景中,均能成功实现快速集结,其灵活性和鲁棒性得到验证。
|
关 键 词: | 无人艇 集群系统 多智能体强化学习 深度强化学习 集结方法 近端策略优化 |
|