基于多智能体强化学习的无人艇集群集结方法

为解决数量不定的同构水面无人艇(USV)集群以期望队形协同集结的问题，提出一种基于多智能体强化学习（MARL）的分布式集群集结控制方法。针对USV通信感知能力约束，建立集群的动态交互图，通过引入二维网格状态特征编码的方法，构建维度不变的智能体观测空间；采用集中式训练和分布式执行的多智能体近端策略优化(MAPPO)强化学习架构，分别设计策略网络和价值网络的状态空间和动作空间，定义收益函数；构建编队集结仿真环境，经过训练，所提方法能有效收敛。仿真结果表明：所提方法在不同期望队形、不同集群数量和部分智能体失效等场景中，均能成功实现快速集结，其灵活性和鲁棒性得到验证。