基于增量式发育深度强化学习的无人机路径规划

为了克服深度强化学习训练时间长、收敛速度慢的问题，针对密集动态障碍环境下的无人机(UAV)路径规划，引入了增量式发育知识库，对深度确定性策略梯度(Deep Deterministic Policy Gradient, DDPG)算法进行改进。首先，根据模糊匹配的思想建立威胁模式知识库，将飞行过程中遇到的密集动态障碍作为知识进行增量式存储，避免对相似障碍环境的重复训练。其次，在底层DDPG算法规划安全航路的基础上构建避障策略知识库，根据威胁模式直接输出避障策略，缩短训练时间。最后，搭建发育式的威胁-避障映射关系，实现“线上实时避障，线下自主寻优”,不断提升UAV避障性能。对比实验结果表明，所提方法能极大提高DDPG训练效率，满足UAV在密集动态障碍环境中实时避障的需求。