行星软着陆GPS有模型强化学习制导方法

由于距离地球较远、测控延时误差较大、飞行环境十分复杂且难以提前预测，行星软着陆的自主制导技术目前存在水平位置估计困难、导航参考信息匮乏、复杂地形着陆困难等挑战。针对行星软着陆存在的困难和挑战，提出了基于引导策略搜索算法的有模型强化学习制导方法，实现了着陆器在初始状态受到扰动时，无需重新规划，仍能在满足约束条件的情况下降落在指定位置。该方法将迭代线性二次调节器作为控制器，产生初始轨迹；其次，使用多层神经网络拟合制导策略；最后，利用控制器监督策略学习，进而收敛产生可行策略。针对行星表面软着陆的仿真验证结果显示该算法仅通过几次循环，即可以实现初始状态变化的快速软着陆。一方面表明了基于有模型强化学习的数据高效利用率，另一方面也证明了强化学习方法在深空探测领域中具有广阔的应用前景。     

Deep reinforcement learning for six degree-of-freedom planetary landing

This work develops a deep reinforcement learning based approach for Six Degree-of-Freedom (DOF) planetary powered descent and landing. Future Mars missions will require advanced guidance, navigation, and control algorithms for the powered descent phase to target specific surface locations and achieve pinpoint accuracy (landing error ellipse <5 m radius). This requires both a navigation system capable of estimating the lander’s state in real-time and a guidance and control system that can map the estimated lander state to a commanded thrust for each lander engine. In this paper, we present a novel integrated guidance and control algorithm designed by applying the principles of reinforcement learning theory. The latter is used to learn a policy mapping the lander’s estimated state directly to a commanded thrust for each engine, resulting in accurate and almost fuel-optimal trajectories over a realistic deployment ellipse. Specifically, we use proximal policy optimization, a policy gradient method, to learn the policy. Another contribution of this paper is the use of different discount rates for terminal and shaping rewards, which significantly enhances optimization performance. We present simulation results demonstrating the guidance and control system’s performance in a 6-DOF simulation environment and demonstrate robustness to noise and system parameter uncertainty.     

基于深度强化学习的软件定义卫星姿态控制算法

深度强化学习（DRL）作为一种新型的基于机器学习的控制算法,在机器人和无人机等智能控制领域展现出了优异的性能,而卫星姿态控制领域仍然在广泛使用传统的PID控制算法。随着卫星的小型化、智能化以至软件定义卫星的出现,传统控制算法越来越难以满足姿态控制系统对适应性、自主性、鲁棒性的需求。因此对基于深度强化学习的姿态控制算法进行了研究,该算法使用基于模型的算法,比非基于模型的算法拥有更快的收敛速度。与传统控制策略相比,该算法无需对卫星的物理参数和轨道参数等先验知识,具有较强的适应能力和自主控制能力,可以满足软件定义卫星适应不同硬件环境,进行快速研发和部署的需求。此外,该算法通过引入目标网络和并行化启发式搜索算法之后,在网络精度和计算速度方面进行了优化,并且通过仿真实验进行了验证。      

基于深度增强学习的卫星姿态控制方法

针对卫星在执行丢弃载荷或捕获目标等复杂任务时遭遇的姿态突然发生变化的问题,采用深度增强学习方法对卫星姿态进行控制,使卫星恢复稳定状态。具体来说,首先搭建飞行器的姿态动力学环境,并将连续的控制力矩输出离散化,然后采用Deep Q Network算法进行卫星自主姿态控制训练,以姿态角速度趋于稳定作为奖励获得离散行为的最优智能输出。仿真试验表明,面向空间卫星姿态控制的深度增强学习算法能够在卫星受到突发随机扰动后稳定卫星姿态,并能有效解决传统PD控制器依赖被控对象质量参数的难题。所提出的方法采用自主学习的方式对卫星姿态进行控制,具有很强的智能性和一定的普适性,在未来卫星执行复杂空间任务中的智能控制方面有着很好的应用潜力。     

面向智能环境的活动模式迁移学习

针对智能环境中活动模式的学习和挖掘花销大、难以实际操作等问题,提出了能够有效地将已有活动模式迁移到新环境的整体框架。迁移学习框架将活动模式的迁移过程分解为轨迹的迁移和触发持续时间的迁移,首先对已有活动模式中的活动轨迹以及触发持续时间模糊化;然后采用备选轨迹生成(ATSG)算法在新环境中生成备选轨迹集;最后采用相似度计算(SC)算法进行活动模式中的轨迹与备选轨迹间的匹配,利用活动轨迹映射(TM)算法和触发持续时间迁移(TDT)算法对活动信息进行迁移,从而在新环境中得到活动模式。理论分析和实验结果表明,相比于基于频繁模式挖掘得到活动模式的方法,本文方法大幅度地降低了得到活动模式所需的时间开销,同时,利用本文方法获取的活动模式取得了较好的活动识别效果。      

无人机固定时间路径跟踪容错制导控制

针对无人机存在外部环境干扰及执行机构故障情况下的固定时间路径跟踪容错制导控制进行研究,提出了固定时间收敛的视线制导控制算法,利用反步法及固定时间收敛的视线制导控制算法确保无人机路径跟踪误差在固定时间内收敛。通过在视线制导控制算法中引入指令滤波器及误差补偿器,避免反步法中虚拟控制量微分项的复杂计算。为了抑制制导控制过程中系统状态剧烈变化,引入障碍李雅普诺夫函数对偏航角速度误差进行限制。通过非线性固定时间观测器对不确定性进行估计补偿,消除执行机构故障及外部环境干扰等因素对跟踪性能的影响。仿真结果表明:所提算法具备有效性和鲁棒性,具有良好的路径跟踪容错制导控制性能。      

Optimal guidance and collision avoidance for docking with the rotating target spacecraft

The guidance and control strategy for spacecraft rendezvous and docking are of vital importance, especially for a chaser spacecraft docking with a rotating target spacecraft. Approach guidance for docking maneuver in planar is studied in this paper. Approach maneuver includes two processes: optimal energy approach and the following flying-around approach. Flying-around approach method is presented to maintain a fixed relative distance and attitude for chaser spacecraft docking with target spacecraft. Due to the disadvantage of energy consumption and initial velocity condition, optimal energy guidance is presented and can be used for providing an initial state of flying-around approach process. The analytical expression of optimal energy guidance is obtained based on the Pontryagin minimum principle which can be used in real time. A couple of solar panels on the target spacecraft are considered as obstacles during proximity maneuvers, so secure docking region is discussed. A two-phase optimal guidance method is adopted for collision avoidance with solar panels. Simulation demonstrates that the closed-loop optimal energy guidance satisfies the ending docking constraints, avoids collision with time-varying rotating target, and provides the initial velocity conditions of flying-around approach maneuver. Flying-around approach maneuver can maintain fixed relative position and attitude for docking.     

一种基于时延约束的最优路径求解算法

作为QoS路由和流量工程的关键技术之一,基于时延约束的最优路径问题一直没有得到有效的解决.针对现有的算法很难得到最优解和计算复杂度过大等问题,提出了一种基于时延约束的最优路径求解(DCOP)算法,该算法通过减少算法的搜索空间来有效地降低算法的计算复杂度,可得到最优的无环解.算法采用自适应参数设计,提高了对网络规模和复杂业务变化的适应性.仿真表明该算法比同类算法计算复杂性降低了近一个数量级,且算法具有自适应能力,设计简单,易于工程实现.      

Modeling irregular small bodies gravity field via extreme learning machines and Bayesian optimization

Close proximity operations around small bodies are extremely challenging due to their uncertain dynamical environment. Autonomous guidance and navigation around small bodies require fast and accurate modeling of the gravitational field for potential on-board computation. In this paper, we investigate a model-based, data-driven approach to compute and predict the gravitational acceleration around irregular small bodies. More specifically, we employ Extreme Learning Machine (ELM) theories to design, train and validate Single-Layer Feedforward Networks (SLFN) capable of learning the relationship between the spacecraft position and the gravitational acceleration. ELM-base neural networks are trained without iterative tuning therefore dramatically reducing the training time. Analysis of performance in constant density models for asteroid 25143 Itokawa and comet 67/P Churyumov-Gerasimenko show that ELM-based SLFN are able learn the desired functional relationship both globally and in selected localized areas near the surface. The latter results in a robust neural algorithm for on-board, real-time calculation of the gravity field needed for guidance and control in close-proximity operations near the asteroid surface.     

基于模糊强化学习的多柔性梁振动控制仿真

空间机械结构趋向大型化、复杂化、柔性化特点,容易导致残余振动,且残余振动频率低,振动时间长.针对多柔性梁耦合结构残余振动问题,通过有限元法建立了动力学模型,分析了振动特性,呈现密频特性,拍频特征.对于残余振动问题,结合模糊强化学习控制算法,构建模糊规则表,使用ε-贪婪法选择每条规则中的动作,进而生成最终的控制电压,与环...     

基于MPC导引律的AUV路径跟踪和避障控制

针对欠驱动自主水下航行器（AUV）的三维直线路径跟踪和避障控制，基于级联控制策略设计了运动学和动力学控制器。首先，在设计运动学控制器时考虑了纵倾和艏摇角速度存在的约束，应用模型预测控制（MPC）设计了最优导引律。然后，考虑了推进器转速和舵角的饱和，应用滑模控制（SMC）技术设计了动力学控制器，从而保证了系统的鲁棒性。最后，通过仿真实验与基于视线法（LOS）导引律的传统控制方法进行了对比。仿真结果表明:所提方法不仅可以改善欠驱动AUV对三维直线路径的跟踪效果，而且可以有效减少舵角的饱和现象。      

适用于连续数值标签的兴趣漂移增量学习方法

针对现有兴趣漂移增量学习方法大多针对包含二值数据标签的用户反馈进行学习的不足,提出了一种适用于连续数值标签反馈的兴趣漂移增量学习方法,以或然概念集的形式描述用户兴趣,将用户反馈中包含的数据标签视为用户对该实例的喜好概率,并采用基于指数近度加权平均的方法对兴趣模型进行增量学习.在不同学习任务下的实验结果表明,该方法能够在反馈数据标签为连续数值的条件下达到比现有方法更好的学习效果.     

Propulsionless planar phasing of multiple satellites using deep reinforcement learning

This work creates a framework for solving highly non-linear satellite formation control problems by using model-free policy optimisation deep reinforcement learning (DRL) methods. This work considers, believed to be for the first time, DRL methods, such as advantage actor-critic method (A2C) and proximal policy optimisation (PPO), to solve the example satellite formation problem of propellantless planar phasing of multiple satellites. Three degree-of-freedom simulations, including a novel surrogate propagation model, are used to train the deep reinforcement learning agents. During training, the agents actuated their motion through cross-sectional area changes which altered the environmental accelerations acting on them. The DRL framework designed in this work successfully coordinated three spacecraft to achieve a propellantless planar phasing manoeuvre. This work has created a DRL framework that can be used to solve complex satellite formation flying problems, such as planar phasing of multiple satellites and in doing so provides key insights into achieving optimal and robust formation control using reinforcement learning.     

多种群合作学习的多模态多目标路径规划算法

为同时规划出满足多种目标需求的多条可行路径,提高规划路径的鲁棒性与实用性,提出一种基于多种群合作学习的路径规划算法。基于粒子群算法的基本思想,先针对单一种群在多维目标空间内搜索时容易陷入局优的问题,提出基于多目标分解的子种群划分策略,平衡算法在目标空间内各个维度上的搜索能力。再依据地图中栅格点的出入度信息提取关键路径点。在编码阶段,根据关键路径点提供的维度信息,利用实数编码的方式初始化种群,降低解空间大小;在解码阶段,提出利用精英解的解码经验指导可行解的快速搜索,使解码经验能够被有效传递,降低解码的不确定性,提高了算法的寻优能力。最后,将多个种群的搜索结果进行非支配排序,得到满足优化目标的所有路径。实验结果表明:与标准粒子群算法相比,基于解码经验表指导的多种群合作学习算法具有更强的搜索能力和寻优能力,能够解决多模态多目标路径规划问题。      

复杂低空物流无人机路径规划

针对复杂低空物流无人机路径规划问题，考虑空域环境、运输任务等内外限制，以飞行时间、能耗及危险度最小为目标函数，建立多限制条件物流无人机路径规划模型，设计启发算法以快速解算路径。采用栅格法对规划环境表征，引入物流无人机性能约束确保路径可飞。针对A*算法存在的问题及物流无人机航空运输特色，引入栅格危险度因子、货物质量惩罚系数，增加飞行时间、能耗等代价以提升避障能力、降低成本。为匹配所提启发算法解算效率与精度，采用动态加权法对函数赋权。为筛除冗余路径点及保证平稳飞行，采用双向交叉判断法等对原路径优化平滑。为验证所提路径规划模型及启发算法的有效性，对比4种算法规划结果，分析栅格粒度大小与代价权重值对结果的影响。在既定的运输环境及物流无人机性能约束下，研究结果表明:所提算法与A*算法相比，保证了物流无人机飞行安全、能耗少，将飞行时间由406 s降至386 s，降低了5%；飞行路径点数为129个、栅格危险度因子为11.69，降低了姿态改变次数，保证了运输安全；当栅格粒度大小为5 m，代价权重值为0.4、0.1、0.5时，采用所提算法规划的路径最佳。      

基于预测校正方法的RLV再入制导律设计

针对高超声速可重复运载器RLV(Reusable Launch Vehicles)的再入飞行问题,利用数值预测校正方法与准平衡滑翔条QEGC(Quasi-Equilibrium Glide Condition)相结合的方法在线设计同时满足热流、法向过载和动压等轨迹约束与末端精度要求的倾侧角制导律.建立三自由度动力学方程,确定初始条件、末端精度要求和轨迹约束要求;然后详细阐述预测校正方法和准平衡滑翔条件的原理,再利用预测校正方法设计制导律,用QEGC把约束转换为对倾侧角制导律的上界,通过限制倾侧角的幅值来限制约束.最后在计算机上进行制导仿真,并考虑初始条件不确定性,进行蒙特卡洛仿真,通过分析仿真结果,证明利用预测校正方法结合准平衡滑翔条件可以快速的设计出满足末端精度要求和轨迹约束的制导律,并对初始条件不确定性有较好的鲁棒性.     

三维真实地形环境下无人机救援航路规划方法

利用无人机(UAV)的三维飞行能力,采用优化方法规划路径,能够使其在救援任务中比地面车辆以更短的时间到达救援区域,提高救援效率.针对真实的地理环境,根据无人机约束采用均匀化网格方法进行地形建模,之后根据地形数据的特点设计适合数学计算与求解的数据结构.最后设计了包含偏离代价、高度代价、地形跟随/回避代价、威胁代价和安全距离代价的综合性能指标函数,并采用航路点交叉和网格搜索代替航路点搜索的方法,对蚁群算法进行改进完成航路规划.仿真结果表明:本文方法能够直接处理三维地形数据,在保持地貌的前提下,完成了无人机的三维航路规划任务,得到满足无人机约束的三维最优航路,提高了航路规划方法的实用价值.