基于启发强化学习的大规模ADR任务优化方法

随着航天事业的蓬勃发展,空间碎片尤其是低轨碎片已成为航天任务不可忽视的威胁。考虑到碎片清除的紧迫性和成本,低轨多碎片主动清除（ADR）技术成为缓解现状的必要手段。针对大规模多碎片主动清除任务规划问题,首先,基于任务规划的最大收益模型,提出一种强化学习（RL）优化方法,并依照强化学习框架定义了该问题的状态、动作以及收益函数;其次,基于高效启发因子,提出一种专用的改进蒙特卡罗树搜索（MCTS）算法,该算法使用MCTS算法作为内核,加入高效启发算子以及强化学习迭代过程;最后,在铱星33碎片云的全数据集中检验了所提算法有效性。与相关MCTS变体方法以及贪婪启发算法对比,所提方法能在测试数据集上更高效地获得较优规划结果,较好地平衡了探索与利用。     

基于强化学习的无人机空战机动决策

针对一对一空战中无人机机动决策问题,提出了一种基于强化学习的无人机空战机动决策方法。在强化学习的框架下,分析表征空战态势的各主要因素,建立空战优势函数并以此作为强化学习回报值的基础;设计空战机动决策的动态模糊Q学习模型,对空战机动决策的状态空间进行模糊化作为强化学习的状态输入;选取典型空战动作作为强化学习基本行动,通过各模糊规则的触发强度加权求和实现连续行动空间的覆盖。相对于传统方法,本方法具有更强的鲁棒性和自主寻优性,在不断的仿真和学习中无人机所做的决策水平能够不断提高。     

基于多智能体强化学习的月面极端区域协同探测方法

针对单个月球车难以高效鲁棒地探测月面极端区域的问题,提出了一种基于多智能体强化学习的月球车协同探测方法。首先,将探测区域进行离散化处理,并使用栅格地图表达探测信息及各月球车的位置信息,然后,使用深度神经网络对视觉图像信息、激光雷达信息以及栅格地图信息进行特征提取;之后,在多智能体强化学习的架构下学习月球车的协同探测策略,通过设计考虑探测时间、安全约束及通信约束的奖励函数,使月球车可以快速安全地对月面极端区域进行协同探测;最后,在Gazebo中搭建了月面仿真环境并进行了仿真验证。结果表明：所提出的方法具备较高的探测效率与较好的安全保障。     

基于条件随机场的遥感图像语义标注

遥感图像包含的信息丰富,纹理复杂,而遥感图像语义标注又为后续的目标识别、检测、场景分析及高层语义的提取提供了重要信息和线索,这使其成为遥感图像理解领域中一个关键且极具挑战性的任务。首先针对遥感图像语义标注问题,提出采用条件随机场(CRF)框架对遥感图像的底层特征和上下文信息建模的方法,将Texton纹理特征与CRF中的自相关势能结合来捕捉遥感图像中的纹理信息及其上下文分布,采用组合Boosting算法进行Texton纹理特征选择和参数学习;然后将Lab空间中的颜色信息与CRF中的互相关势能结合来描述颜色上下文;最后用Graph Cut算法对CRF进行推导求解,得到图像自动语义标注结果。同时,建立了可见光遥感图像数据库Google-4,并对全部图像进行了人工标注。Google-4上的实验结果表明:采用CRF框架与Texton纹理特征和颜色特征相结合对遥感图像建模的方法与基于支持向量机(SVM)的方法相比较,能够取得更准确的语义标注结果。     

基于Contourlet变换的可着陆草地识别技术研究

Contourlet变换具有各向异性和方向选择性特征,使其在特征提取和图像识别中拥有天然的优势。介绍了Contourlet变换的原理和构造方法,重点讨论了基于Contourlet变换的图像特征提取,并把此方法应用于无人机可着陆的草地地貌图像的识别。经仿真测试,基于Contourlet变换的草地地貌识别精度可达到93%。     

一种四元数矩阵建模的彩色图像质量评价方法

针对彩色图像的质量评估问题,提出了一种基于四元数矩阵模型的图像质量评价方法。利用四元数矩阵对彩色图像建模,构造出图像的四元数矩阵模型;对矩阵进行奇异值分解,得到一组奇异值向量;计算标准图像与失真图像对应奇异值向量间的欧式距离,获得失真映射图谱;由失真图谱计算两幅图像间的全局误差,作为失真图像的质量评价结果。通过对几组不同类型失真图像的评价测试,结果表明,方法对图像质量的客观评价结果与主观感知有较高的一致性,并且能够从失真映射图谱判定图像的失真类型。     

强化学习方法在翼型拍动实验中的应用

将深度强化学习方法应用于水洞实验，实现了实验室内的自动闭环优化框架，并用该框架优化了雷诺数Re=1.3×104下纯俯仰运动的NACA0012翼型模型的推进效率。现有的相关研究往往将运动模式限制为某种周期性函数，具有局限性。借助于强化学习方法，实现了在更广的非周期动作空间中的动作搜索。在实验中，模型自动地与水洞环境进行交互，最终学习到了高效推进的非周期运动策略。另外，通过修改奖励函数，实现了在给定推力阈值以上的效率优化。研究结果显示，强化学习模型可以在实验过程中通过不断调整拍动动作的幅度和频率来实现推进效率的持续提升，并且最终通过强化学习方法获得的最优拍动动作均与正弦拍动动作接近，得到的最优推进效率基本位于同等幅度正弦动作效率的上边界。研究展示了强化学习方法用于复杂流动控制问题的可行性。     

压缩感知下梯度投影在图像去噪中的应用

图像传输和接收的过程中不可避免地受到多种因素的影响而产生噪声,这样通常使得图像模糊不清难以辨识。针对去除图像高斯白噪声对图像辨识的干扰,提出利用压缩感知最优化求解思想,运用一种快速计算方法将高维数的图像信号投影在低维空间上,从而类比于压缩感知理论进行重构处理,并实现对含噪声信号的图像进行还原。实验结果证明,梯度投影法能较好地去除图像高斯白噪声,尤其对于图像中物体边界的辨识效果明显,为图像去除噪声提供了新的思路和方法。     

数字孪生-群智感知驱动的飞机大修生产态势分析与优化运行方法

针对飞机大修生产小批量、个性化以及过程不确定等引发的问题,面向飞机大修生产过程感知与优化运行,提出数字孪生-群智感知驱动的飞机大修生产态势感知框架,设计了包含大修生产数字孪生子系统、大修生产群智感知子系统和大修生产业务子系统的飞机大修生产态势分析与优化运行系统,并以对飞机大修生产影响显著的应用问题进行了应用分析,为飞机大修个性化生产分析与优化提供了框架与方法。     

激光探测“猫眼”效应目标识别算法

提出了一种基于压缩感知理论的＂猫眼＂效应目标识别算法,应用随机采样矩阵将原始二维图像线性投影为一维测量向量,通过对一维测量向量的处理提取出＂猫眼＂效应目标信息,进而通过压缩感知理论的恢复算法重建仅包含＂猫眼＂目标的图像。对应于此算法亦提出了一种相应的激光主动成像探测系统,以获取主被动图像序列。应用此算法,将传统的基于原...     

针对超临界翼型气动修型策略的强化学习

强化学习是一类用于学习策略的机器学习方法,通过模拟人的学习过程,与所处环境不断交互来学习动作策略,用以获得最大累积回报。以设计师在翼型气动设计中的增量修型过程为例,给出强化学习在气动优化设计中的要素定义和具体算法的实现。研究了预训练中选择不同示例对预训练和强化学习结果的影响,并将强化学习得到的策略模型在其他环境中进行了迁移测试验证。结果表明,合理的预训练能够有效提高强化学习的效率和最终策略的鲁棒性,且所形成的策略模型具有较好的迁移能力。     

低信噪比图像目标检测技术研究——Ⅰ.数据流程与背景感知

提出了一种将背景区域感知与目标特征分析相结合的自动提取图像目标的层次化数据处理流程;探讨了线性预测估计和非线性均值滤波两种常用背景估计技术和自适应空间滤波的形态学背景感知方法。实验测评表明,形态滤波算法对背景的自适应感知能力强,能真实贴切地反映图像背景的起伏变化规律。     

一种高光谱图像的双压缩感知模型

高光谱图像因其海量数据性,给存储、传输及后续分析处理带来了挑战。压缩感知理论提供了一种全新的信号采集框架。针对高光谱数据的三维特性,提出一种双压缩感知的采样与重构模型。该模型在采样阶段兼顾高光谱数据的空间和谱间稀疏特性,构造了能同时实现空间和谱间压缩采样的感知矩阵;重构阶段不同于传统的压缩感知重构方法直接重构高光谱数据,而是将高光谱数据分离成端元和丰度分别进行重构,然后利用重构的端元和丰度信息合成高光谱数据。实验结果表明,所提双压缩感知在低采样率下重构精度较三维压缩采样提高了10 dB以上,更为显著的是运算速度提升了3个数量级,同时该方法还便于获得端元和丰度信息。     

基于深度图推理的卫星背板部件检测方法

在轨加注是一种典型的在轨服务操作,它对于降低空间运输成本和任务风险起着重要的作用,视觉感知系统可以感知操作任务周围环境并提供给控制系统。目前在轨加注依赖于人,在人员监控下完成或通过遥操作完成,缺乏自主性。本文围绕未来高自主性的基于深度强化学习的在轨加注方法,对基于深度学习的视觉感知方法展开了研究,针对基于深度学习的方法对相似实例的检测存在精确率低、对光照变化敏感等缺点,提出了基于深度图推理的卫星背板部件检测方法。提出的方法可以有效地检测复杂形状的目标,不依赖于手工设计的特征;提高了复杂光照环境下部件的检测正确率;可以有效区分外形相似的不同部件;其有效性在数学仿真和物理仿真中均得到了验证。     

基于导向强化Q学习的无人机路径规划

随着无人机的广泛应用,其飞行能耗和计算能力面临着瓶颈问题,因此无人机路径规划研究越来越重要。很多情况下,无人机并不能提前获得目标点的确切位置和环境信息,往往无法规划出一条有效的飞行路径。针对这一问题,提出了基于导向强化Q学习的无人机路径规划方法,该方法利用接收信号强度定义回报值,并通过Q学习算法不断优化路径;提出"导向强化"的原则,加快了学习算法的收敛速度。仿真结果表明,该方法能够实现无人机的自主导航和快速路径规划,与传统算法相比,大大减少了迭代次数,能够获得更短的规划路径。     

低信噪比图像目标检测技术研究——I．数据流程与背景感知

提出了一种将背景区域感知与目标特征分析相结合的自动提取图像目标的层次化数据处理流程：探讨了线性预测估计和非线性均值滤波两种常用背号估计技术和自适应空间滤波的形态学背景感知方法。实验测评表明，形态滤波算法对背景的自适应感知能力强，能真实贴切地反映图像背景的起伏变化规律。     

基于态势评估及DDPG算法的一对一空战格斗控制方法

已有的空中格斗控制方法未综合考虑基于专家知识的态势评估及通过连续性速度变化控制空战格斗的问题。基于深度确定性策略梯度（DDPG）强化学习算法,在态势评估函数作为强化学习奖励函数的基础上,设计综合考虑飞行高度上下限、飞行过载以及飞行速度上下限的强化学习环境;通过全连接的载机速度控制网络与环境奖励网络,实现DDPG算法与学习环境的交互,并根据高度与速度异常、被导弹锁定时间以及格斗时间设计空战格斗结束条件;通过模拟一对一空战格斗,对该格斗控制方法在环境限制学习、态势评估得分以及格斗模式学习进行验证。结果表明：本文提出的空战格斗控制方法有效,能够为自主空战格斗进一步发展提供指导。     

安装主动侧杆的飞机的人机交互控制系统研究

主动侧杆人机交互控制是一种具有广泛应用前景和重要意义的技术，它不仅可以减轻飞行员的负担，也可以提高飞机的性能和安全性。为了解决飞机执行器出现故障时可能出现的飞机失控问题，本文构建了含有主动侧杆的飞机中飞行员与控制增稳系统之间的并联人机交互控制架构，设计了一种新的主动侧杆与飞行员交互方式，主动侧杆不仅传递操纵指令，还通过触觉反馈向飞行员传递飞行状态，使飞行员能够快速感知飞机故障并采取相应措施。同时，设计了控制增稳系统，选用自适应控制器，并在此基础上设计了改进型自适应控制器+PID控制器。利用模糊控制机制动态分配人机控制权重，为飞机系统和飞行员之间的交互提供更加灵活和精确的控制方式。最后，通过仿真验证了所设计的含主动侧杆的人机交互控制方法的有效性。     

基于模仿强化学习的固定翼飞机姿态控制器

研究了基于模仿强化学习的飞机姿态控制器。首先,建立专家经验数据集,并利用行为克隆对控制网络参数初始化;而后,控制网络利用强化学习和监督学习混合模式训练,通过奖励函数塑形和经验数据集监督学习引导强化学习算法快速收敛,使姿态控制器姿态响应优化的同时符合专家经验。控制网络输入为飞机姿态角误差、角速度等状态变量,输出控制增稳系统指令。实验表明,模仿强化学习控制器能够实现不同初始条件下飞机姿态角快速响应并与经验数据相符。     

复杂环境下微小飞行器惯性/激光雷达Robust-SLAM方法

针对微小型飞行器在巡检、探测和地图构建等应用中关键的自主导航技术,提出了一种基于惯性辅助的激光雷达Robust-SLAM方法用于微小型飞行器自主导航。相对于传统的激光雷达SLAM方法,该方法在SLAM框架中引入了感知环境突变检测方法,并且加强了惯性与SLAM的组合程度,有效地解决了高程方向感知环境发生突变时激光雷达SLAM定位误差大的问题。室内车库实际飞行实验结果表明,该方法能够实现微小型飞行器在三维空间中实时可靠的自主导航,具有较好的工程应用价值。