基于多智能体强化学习的空间机械臂轨迹规划

针对某型六自由度（DOF）空间漂浮机械臂对运动目标捕捉场景,开展了基于深度强化学习的在线轨迹规划方法研究。首先给出了机械臂DH （Denavit-Hartenberg）模型,考虑组合体力学耦合特性建立了多刚体运动学和动力学模型。然后提出了一种改进深度确定性策略梯度算法,以各关节为决策智能体建立了多智能体自学习系统。而后建立了"线下集中学习,线上分布执行"的空间机械臂对匀速直线运动目标捕捉训练系统,构建以目标相对距离和总操作时间为参数的奖励函数。最后通过数学仿真验证,实现了机械臂对各向匀速运动目标的快速捕捉,平均完成耗时5.4 s。与传统基于随机采样的规划算法对比,本文提出的自主决策运动规划方法求解速度和鲁棒性更优。     

载人月球探测混合云架构体系仿真系统研究

针对载人月球探测工程任务需求,设计了一种基于混合云架构的体系仿真系统,实现了辅助设计、方案验证和协助任务等功能应用。分别从任务设计和应用模式角度分析了体系仿真系统功能需求;根据需求给出体系仿真系统总体架构,采用仿真平台和仿真支持库统筹建设的方式,完成了系统开发与集成;提出了针对体系仿真系统建设涉及的体系建模、任务规划、推演展示、效能评估和系统联动与扩展关键技术实现方案;应用该系统实现了对典型载人月面活动场景的仿真,得到了关键参数模拟推演结果,验证了体系仿真系统各项功能有效性和正确性;最后给出了思考和展望。该体系仿真系统可支撑未来载人月球探测相关任务开展发展论证和综合评估验证,能够为同类系统开发提供方案参考。     

月面巡视机器人快速安全路径规划

为提高月面巡视机器人自主探测任务的效率及安全性,提出了一种基于月面数字高程地图的大范围自主探测快速安全路径规划算法。首先根据获取的月面数字高程地图设计了一种地形可通过性分析方法,并生成了欧几里得距离地图（EDM）为安全路径规划提供参考。然后针对A^*算法解决月面巡视探测问题时搜索速度慢、未考虑路径安全性的问题,提出了FSA^*算法,改进了A^*算法的搜索机制以适用于月面大范围路径的快速搜索,并结合EDM地图设计了一种安全启发式函数,可使生成路径尽量远离危险区域,提高了巡视机器人自主探测过程的安全性。最后选取月球艾特肯盆地区域作为仿真场景,验证了该算法的有效性。     

基于强化学习的多无人机避碰计算制导方法

针对大量固定翼无人机在有限空域内的协同避碰问题,提出了一种基于多智能体深度强化学习的计算制导方法。首先,将避碰制导过程抽象为序列决策问题,通过马尔可夫博弈理论对其进行数学描述。然后提出了一种基于深度神经网络技术的自主避碰制导决策方法,该网络使用改进的Actor-Critic模型进行训练,设计了实现该方法的机器学习架构,并给出了相关神经网络结构和机间协调机制。最后建立了一个实体数量可变的飞行场景模拟器,在其中进行"集中训练"和"分布执行"。为了验证算法的性能,在高航路密度场景中进行了仿真实验。仿真结果表明,提出的在线计算制导方法能够有效地降低多无人机在飞行过程中的碰撞概率,且对高航路密度场景具有很好的适应性。     

弱全局信息下月面超远距离保通行性移动规划

针对月面超远距离移动规划任务因缺乏精确全局信息而导致的规划路径可通行性不足问题，提出了月面道路拓扑网的构建设想及相应路径规划技术，凭借复杂道路网络的连通能力确保巡视器超远距离规划路径的可通行性。首先进行月面道路拓扑网的设计方法研究，分别提出了基于滑动最优泊松采样算法的网络节点设计方法和基于均匀领邻网络拓扑模型网络结构设计方法，使月面道路网网络节点分布均匀、密度适中且覆盖完整，网络连接合理且各路径尽量远离障碍区域。然后进行基于月面道路拓扑网的超远距离移动规划研究，分析了基于月面道路拓扑网路径规划技术的概率完备性和整体可通行概率，并提出了基于月面道路拓扑网的K优路径规划方法，通过道路网的连通性来提高超远距离移动探测任务的整体可通行概率。最后以阿波罗两次登月任务的着陆点之间进行超远距离转移任务为仿真场景，验证了本方法的有效性。