再入飞行器自适应最优姿态控制

针对再入飞行器姿态控制问题,应用自适应动态规划（ADP）理论设计了姿态控制器。将再入飞行器的姿态控制建模为非线性系统的最优控制问题,提出单网络积分型强化学习（SNIRL）算法进行求解,该算法简化了积分型强化学习（IRL）算法在迭代计算中的执行-评价双网络结构,只需要采用评价网络估计值函数就可以求得最优控制律,其收敛性得到了理论证明。基于SNIRL算法设计了自适应最优控制器,并证明了闭环系统的稳定性。通过数值仿真校验了SNIRL算法比IRL算法计算效率更高,收敛速度更快,并校验了自适应最优姿态控制器的有效性 。     

基于深度学习的组合体航天器模型预测控制

利用模型预测算法先预测控制结果后控制的类人行为特点,借助深度学习在多参数寻优上的优势,提出了一种基于卷积神经网络的模型预测控制算法,满足航天工程低硬件需求,实现组合航天器多场景下姿态控制律的重构。该算法首先利用模型预测控制将组合航天器从初始状态控制到预期状态,然后将控制过程中状态量用于3层3核卷积神经网络的训练,训练完成后,用该卷积神经网络代替模型预测对组合航天器进行控制,从而降低计算资源需求。仿真校验表明：该算法可预测5个控制周期内的控制参数,相比传统模型预测算法所需硬件计算时间降低约5倍,在一般硬件环境下30 s内即可完成各场景下的组合航天器姿态控制,控制精度在10 -4 量级。     

航天器轨道追逃博弈多阶段强化学习训练方法

针对航天器轨道追逃博弈问题,提出一种多阶段学习训练赋能方法,使得追踪星在终端时刻抵近逃逸星的特定区域,而逃逸星需要通过轨道机动规避追踪星。首先,构建两星的训练策略集,基于逻辑规则设计追踪星和逃逸星的机动策略,通过实时预测对方的终端位置,设计己方的期望位置和脉冲策略,显式给出追逃策略的解析表达式,用于训练赋能;其次,为提升航天器的训练赋能效率及应对未知环境的博弈能力,提出一种基于强化学习技术多模式、分阶段的学习训练方法,先使追踪星和逃逸星分别应对上述逻辑规则引导下的逃逸星和追踪星,完成预训练;再次,开展二次训练,两星都采用邻近策略优化(PPO)策略进行追逃博弈,在博弈中不断调整网络权值,提升决策能力;最后,在仿真环境中验证提出的训练方法的有效性,经过二次训练后,追踪星和逃逸星可有效应对不同策略驱动下的对手,提升追逃成功率。     

基于卷积神经网络的运载火箭测发网络流量异常检测技术

运载火箭测发网络是维系各型号运载火箭远距离测试及发射控制的重要国防基础设施,对测发网络流量进行异常检测是保证其正常工作的关键举措。近年来,随着测发网络功能的拓展,其面临的网络安全威胁越来越严重,而当前的安全检测主要依赖于基于异常特征库匹配的流量异常检测方法,这种检测方法对一些新型攻击检测能力非常有限。本文结合运载火箭测发网络实际特点,针对以使用用户数据报协议(UDP)为主的测发网络流量,设计一种新的基于固定数据包数目的流量图片样本生成方法,首次提出在测发网络流量异常检测问题上使用卷积神经网络,以原始网络流量作为输入,避开难以解决的人工特征集设计问题。通过测发网络真实网络流量数据进行实验,取得了较高的精度、召回率和准确率,验证了本方法具备一定的实用性。     

最小二乘支持向量机的在线学习算法研究

针对最小二乘支持向量机在线逼近过程中求解矩阵维数逐渐扩大的问题,提出了一种最小二乘支持向量机的在线学习算法。借助滚动窗口的思想,建立一个随时间滑动的建模数据区间,在线逼近中通过接受新数据删除旧数据来保持数据区间长度不变,同时数据不断更新,从而实现模型的在线学习。仿真结果表明了这种学习算法的有效性。     

A spanwise loss model for axial compressor stator based on machine learning

In the early stage of aircraft engine design, the through-flow method is an important tool for designers. The accuracy of the through-flow method depends heavily on the accuracy of the loss model. However, most existing models cannot(or cannot well) provide the spanwise loss distribution. To construct an effective spanwise loss model, both turbomachinery knowledge and machine learning skills were used in this paper. A large number of numerical simulations were carried out to build a database con...     

Energy-optimal trajectory planning for solar-powered aircraft using soft actor-critic

High-Altitude Long-Endurance(HALE) solar-powered Unmanned Aircraft Vehicles(UAVs) can utilize solar energy as power source and maintain extremely long cruise endurance,which has attracted extensive attentions from researchers. Trajectory optimization is a promising way to achieve superior flight time because of the finite solar energy absorbed in a day. In this work,a method of trajectory optimization and guidance for HALE solar-powered aircraft based on a Reinforcement Learning(RL) framework is...     

基于深度学习的空间站舱内服务机器人视觉跟踪

为提升舱内跟随服务机器人的任务辅助能力,解决机器人对航天员的视觉跟踪问题,提出了一种基于深度学习和概率模型的人体视觉跟踪算法。利用深度卷积神经网络实现了对穿着多样、姿态任意人体的稳定检测。结合人体检测结果,设计了运动预测概率模型,实现了对指定人员准确、连续的跟踪。算法对包含大多数航天员活动的多个数据集进行了验证。实验结果表明:提出的跟踪算法实现了对穿着多样、姿态任意人体的稳定跟踪,并有效避免了由于穿着相似、遮挡可能造成的误跟踪问题。该算法为空间站舱内跟随服务机器人对航天员的视觉跟踪提供了有效的解决方法。算法基于融合的RGB-D图像,工程上易于构建和实现,也可拓展到其他跟随服务机器人视觉跟踪任务中。     

基于DDPG-PID的机器人动态目标跟踪与避障控制研究

针对机器人在动态复杂环境下的操作问题,研究机械臂跟踪运动目标及避障的运动控制方法。采用传统PID控制方法与DDPG强化学习算法相结合的方式,利用PID控制使得机械臂的工作平面快速接近目标物并与之重合,再使用DDPG算法让机械臂在平面内自主学习追踪目标物投影同时避开障碍物投影,最终在三维空间中实现跟踪与避障。该方法将机械臂作为一个智能体,智能体通过感知目标物和障碍物的距离偏差来自主学习避障跟踪策略。将本方法用于多自由度机械臂路径规划与避障任务中,对比单纯使用DDPG算法将机械臂作为智能体在空间中进行决策控制,仿真结果显示本文所提出的方法收敛效果和控制性能更好,机械臂能在训练后实现目标物的稳定跟踪和障碍物的躲避。     

元强化学习综述

元强化学习是指自动从一组相关任务中学习强化学习所需归纳偏置的相关理论和方法,对于提高强化学习算法在困难场景下的样本效率和泛化能力具有重要用途。本文提出一种新的元强化学习框架,指出设计和分析一个元强化学习算法需要同时考虑学习经验（相关任务）、归纳偏置及学习目标3个独立因素及这3个因素之间的依赖关系。在此基础上对该领域的研究现状进行了分析和总结,特别对近年来元强化学习若干文献进行了分析和归类,并详细阐述了几种代表性算法的原理及各自特点。本文还对元强化学习常用的实验环境和性能评价方法进行了介绍,对该领域的不足和未来的发展方向进行了讨论和分析。