基于视频帧间运动估计的无人机图像车辆检测

基于人工智能(AI)芯片搭建轻量化深度神经网络，可以在无人机(UAV)机载端实现视频中车辆目标的自动检测，具有重要的应用前景。为此，提出了一种针对无人机图像车辆目标的检测方法，并在AI芯片上进行部署与测试。方法具体包括:结合无人机图像中车辆目标的尺寸范围，对MobileNet-SSD网络进行裁剪，构建轻量化单帧图像检测器；为解决小目标特性在轻量网络框架下引发的检测性能下降问题，引入帧间运动矢量估计，根据相邻帧信息辅助预测当前帧丢失目标的位置范围，并利用检测结果进行修正，实现丢失目标的再召回。通过对多个数据集进行融合与自动补充标注，搭建了一个高质量的无人机图像车辆目标数据集；同时将方法在基于RK3399芯片计算的嵌入式开发平台上进行实验验证，结果表明:搭建的网络能够显著减少存储资源占用，具有轻量化的特点；同时相比于单帧检测法，引入视频帧间运动估计方法可以有效提高检测精度，并在AI芯片上实现125.3 ms/帧的检测速度。      

融合语义信息的视频摘要生成

视频摘要任务旨在通过生成简短的视频片段来表示原视频的主要内容，针对现有方法缺乏对语义信息探索的问题，提出了一种融合语义信息的视频摘要生成模型，学习视频特征使其包含丰富的语义信息，进而同时生成描述原始视频内容的视频摘要和文本摘要。该模型分为3个模块:帧级分数加权模块、视觉-语义嵌入模块、视频文本描述生成模块。帧级分数加权模块结合卷积网络与全连接层以获取帧级重要性分数；视觉-语义嵌入模块将视觉特征与文本特征映射到同一空间，以使2种特征相互靠近；视频文本描述生成模块最小化视频摘要的生成描述与文本标注真值之间的距离，以生成带有语义信息的视频摘要。测试时，在获取视频摘要的同时，该模型获得简短的文本摘要作为副产品，可以帮助人们更直观地理解视频内容。在SumMe和TVSum数据集上的实验表明:该模型通过融合语义信息，比现有先进方法取得了更好的性能，在这2个数据集上F-score指标分别提高了0.5%和1.6%。      

一种地标点修正的高精度双目视觉导航方法

自主导航技术是无人机、智能机器人以及智能车辆等技术领域中的一项关键技术。为了克服传统视觉导航方法存在的不足,以摄像机自运动估计为理论基础,提出了一种使用地标点修正的高精度双目视觉导航方法。该方法从连续图像序列的帧间变化中提取摄像机自运动信息,再通过速度、角速度积分求得载体的位置姿态等参数。同时,通过引入地标点提供的绝对定位信息,进一步提高了长时间导航的精度。将地标点绝对定位与双目视觉相对定位相结合,并对双目视觉量测噪声建模和解相关,抑制了单纯使用双目视觉长时间导航时误差的积累发散。仿真结果表明此方法具有精度高、自主性强、导航信息完备等优点。     

一种用于实时数字稳像的全分辨率运动补偿方法

以室外视频监控中帧间平移运动为研究对象,提出一种基于平衡位置修正与自适应存储帧更新的实时全分辨率数字稳像方法。首先利用卡尔曼滤波在线估计镜头的主动运动,预先确定抖动图像补偿后的平衡位置;然后针对图像补偿后产生的空白区域,通过选择合适的参考帧及预存帧构成存储帧队列,根据存储帧队列的覆盖范围对平衡位置进行修正,实现修正后空白区域像素的全部拼接填补;最后以修正后的平衡位置为基准,根据同时满足左上、右上、左下和右下4个偏移方向的原则对参考帧队列进行自适应在线更新,用最新采集帧替换时间上较早、空间内容上冗余的参考帧,使得存储帧队列在有限长度内保证尽可能大的空间覆盖。本文提出的方法可以满足实时数字全分辨率稳像的要求,适用于集成式、嵌入式等各类视频监控系统。      

一种新的无人机航拍图像压缩方法

针对无人机机载视频图像由于受到天气或电磁波干扰产生的异常帧引起的压缩码率波动问题,提出了一种基于对图像进行预分析,剔除异常帧后进行压缩编码的方法.对于几种常见的异常帧进行建模,分析了其图像信号特点,结合信号统计特性和其信息熵量度,可靠地检测出视频序列中的异常帧, 最后对剔除了异常帧的序列应用H.264标准进行压缩编码.理论分析和试验结果都证明此方法在不丢失无人机机载视频图像序列信息量的情况下,可以保持压缩码率恒定并提高了其压缩效率.      

基于点云位姿平均的非合作目标三维重

针对在轨非合作目标，提出一种基于序列点云的三维重构方法，实现非合作目标交会过程中的目标三维结构恢复，并将恢复的结构用于后续点云姿态的跟踪.首先分析了非合作目标三维结构先验信息未知情况下目标相对姿态增量估计过程中的漂移问题；其次，提出一种基于位姿平均的漂移修正方法，并根据修正后的目标点云位姿对点云进行融合以实现目标的三维重构；最后，使用所提出的方法对半物理仿真试验中获取的目标点云序列进行处理，结果表明该方法能够有效地对非合作目标进行三维重构和位姿跟踪.     

基于多源图像弱监督学习的3D人体姿态估计

3D人体姿态估计是计算机视觉领域一大研究热点,针对深度图像缺乏深度标签,以及因姿态单一造成的模型泛化能力不高的问题,创新性地提出了基于多源图像弱监督学习的3D人体姿态估计方法。首先,利用多源图像融合训练的方法,提高模型的泛化能力;然后,提出弱监督学习方法解决标签不足的问题;最后,为了提高姿态估计的效果,改进了残差模块的设计。实验结果表明:改善的网络结构在训练时间下降约28%的情况下,准确率提高0.2%,并且所提方法不管是在深度图像还是彩色图像上,均达到了较好的估计结果。      

基于视觉原理的运动物体空间姿态测量技术研究

针对物体运动姿态的测量问题,以提高姿态求解方法的便捷性和准确性为目的,研究了一种基于双目视觉相机高速摄影测量物体姿态的测试技术。为实现该测量,使用高速相机获取同步影像,利用特征点间的几何约束关系,通过姿态优化算法确定被测物体空间姿态。试验结果表明：该方法正确、可靠,测量频率达到100帧/s,姿态角测量误差小于0.04°。     

一种基于分组截短PN码的SOFDM信道估计方法

基于PN序列的信道估计方法的特点是计算过程简明,已被广泛应用在地面无线局域网系统中。在卫星正交频分多路复用传输体制(SOFDM)系统中引入传统PN序列信道估计方法的主要问题在于卫星信道的多径延时远大于SOFDM数据符号的持续时间,信道特性比较复杂,使得传统方法的估计精度严重下降。提出了一种改进的方法,根据信道的近似周期特性对数据帧进行合理的等长度分组,并把长PN序列改为短PN码来跟踪信道局部特性的变化,再对分组后的数据子帧分别进行信道估计。对该方法的设计思想进行了理论分析,并通过仿真验证了该方法的估计精度比传统方法至少提高了10倍。     

基于序列影像的小天体三维形状重建方法研究

提出了一种基于序列影像的小天体三维形状重建方法。利用小天体序列影像间的内在几何约束关系,在无精确位置、姿态数据的条件下,基于稀疏光束法平差求解小天体序列影像的相对位置、姿态。综合利用核线几何约束、半全局匹配、多视最小二乘匹配等策略进行小天体序列影像的密集匹配,重建小天体三维形状信息。由于小天体序列影像尺度变化大、纹理贫乏,导致影像匹配的误匹配率较高,在匹配过程中采用随机KD树搜索策略与拟合透视变换模型的RANSAC算法剔除粗差。利用"黎明号"探测器的绕飞段实测影像,对灶神星(VESTA)的三维形状重建进行了实验,结果证明了该方法的有效性。     

基于分段化结构重建的2D/3D视频转换方法

为了缓解3D片源的不足,设计了一种分段化结构重建方法为视频2D/3D转换提供深度线索.采用分层提取的方式,将视频基于内容分解为子序列,在每个子序列中建立优化准则选择出处于非退化状态的关键帧,并以此为基础提出了分段化结构重建框架,利用改进的耦合自标定算法重构出每个子序列对应的离散3D结构信息,从而获取视频的深度线索.实验结果表明,该方法通过分段化后的局部优化,不仅使结构化重建能够有效处理多场景下的连续镜头,还加快了转换的效率,能够稳定、高效地获取深度信息,适用于视频2D/3D转换.      

基于三维Saab变换的高光谱图像压缩方法

高光谱图像中存储了丰富的光谱信息,具有极大的应用价值,但现有大部分高光谱图像压缩方法难以同时兼顾图像中的空间冗余与谱间冗余,导致压缩性能受到局限。针对该问题,提出了一种基于三维修正偏置的子空间(Saab)变换的高光谱图像压缩方法。采用三维Saab变换对高光谱图像的分块进行空间光谱信息融合的降维操作,同时去除谱间冗余和局部空间冗余;利用高效率视频编码(HEVC)中的帧内编码模块进一步去除空间冗余和统计冗余;实现低失真、高比率的高光谱图像压缩。在多个高光谱图像数据集上的实验结果表明,所提方法在同码率下重建图像的信噪比(SNR)比采用主成分分析(PCA)降维的方法至少提高0.62 dB,在高码率的情况下性能优于张量分解的压缩方法。同时,验证了不同降维方法对分类任务的性能影响,结果表明,所提方法更好地保留了图像中的重要特征,在低码率的情况下仍可以保持较高的分类精度。      

应用3D SPECK的视频编码方法

在基于提升格式的真三维小波包分解的基础上通过定义空间块结构, 实现了SPECK算法的真三维扩展。该方法不涉及运动估计和运动补偿, 具有计算量较小、编码快、低复杂的特点, 产生的视频流是完全嵌入的。实验结果表明该方法能够快速的高效的压缩视频图像, 是一种很有潜力的视频压缩编码方法。     

面向立方星的相对位姿测量视觉传感器设计

针对立方星在轨服务任务中的近距离相对导航问题，提出一种相对位姿测量视觉传感器设计。为应对空间复杂的光照条件，设计一种具有多层结构的立体靶标，选取波长为850nm的LED灯作为立体靶标的光源。在相机镜头处安装850nm的红外窄带滤镜以提高立体靶标成像质量。为提高视觉传感器的测量精度，提出一种迭代直接求解(iterative direct solution, IDS)的相对位姿估计算法。该算法直接利用立体靶标上的非共面点提供的深度信息获得初始相对位姿，然后引入Haralick迭代算法来优化初始测量结果。搭建六自由度实验平台对该视觉传感器进行性能测试。实验结果表明,该视觉传感器能克服背景光的干扰，且提出的 IDS相对位姿估计算法的精度优于经典的P3P算法和EPnP算法。     

基于特征点识别的头部姿态计算

为了提升使用随机回归森林进行头部姿态分析的精度,提出了一种基于特征点识别分析头部姿态的计算框架.考虑到高误差投票的干扰,该计算框架以随机森林的特征点识别为基础从而避免异常投票干扰,将头部姿态计算问题转换为空间鼻尖特征点和朝向特征点的识别问题.在随机森林的训练中,决策函数使用了高斯曲率和平均曲率作为图形特征,根据微分熵的信息增益在随机生成的决策函数库中搜索最优化决策函数.在训练完成的随机回归森林的叶子节点中,通过分析保存的样本数据,可以得到目标特征点的高斯分布估计.根据实验测试结果,在适当的阈值设定的情况下,该方法可以实现较高的识别成功率,使用曲率后明显提高了识别精度,能够在一定程度上处理有遮挡的数据,并且该方法已经成功应用于虚拟座舱的实时头部姿态分析计算系统.     

一种高动态条件下惯性星光组合定姿方法

针对高动态条件下星图拖尾导致惯性星光组合定姿精度下降甚至无法定姿的问题,提出了一种基于乘性扩展卡尔曼滤波的惯性星光深度组合姿态确定方法.利用星敏感器观测信息修正姿态误差,补偿陀螺漂移,并建立了陀螺输出的角度变化量与星图像移的关系,利用陀螺输出信息估计星图拖尾的模糊参数,采用维纳滤波复原方法对产生拖尾的星图进行复原以提高星图信噪比和观测精度.仿真结果表明该方法可以有效提高星像质心提取精度和星图识别率,对初始姿态误差修正更快,且不存在星图误匹配的情况,保证了惯性星光组合定姿方法在高动态条件下仍能保持较高的精度.     

基于截断最小二乘和半正定规划的空间非合作目标相对位姿估计

面向空间在轨服务、碎片清除重大应用需求,围绕空间光场复杂、空间目标尺度变化及相对姿态与位置强耦合等难题,提出一种基于截断最小二乘与半正定规划的空间非合作目标相对位姿估计方法。基于TOF相机,首先进行体素下采样,提取快速点特征直方图（Fast Point Feature Histograms, FPFH）特征,考虑目标的局部几何结构尺寸,计算两组FPFH特征的相似度并预测特征之间的对应关系,采用截断最小二乘和半正定规划方法对姿态、位置进行解耦,实现空间非合作目标相对位姿估计。使用非合作目标的3D模型进行仿真验证,仿真结果表明：该方法在三种不同高斯噪声强度下具有较好的估计特性,为后续的工程应用及在轨任务实施提供理论与技术支撑。