融合卷积注意力和Transformer架构的行人重识别方法

行人重识别技术是智能安防系统中的重要方法之一,为构建一个适用各种复杂场景的行人重识别模型,基于现有的卷积神经网络和Transformer模型,提出一种融合卷积注意力和Transformer(FCAT)架构的方法,以增强Transformer对局部细节信息的关注。所提方法主要将卷积空间注意力和通道注意力嵌入Transformer架构中,分别加强对图像中重要区域的关注和对重要通道特征的关注,以进一步提高Transformer架构对局部细节特征的提取能力。在3个公开行人重识别数据集上的对比消融实验证明,所提方法在非遮挡数据集上取得了与现有方法相当的结果,在遮挡数据集上的性能得到显著提升。所提方法更加轻量化,在不增加额外计算量和模型参数的情况下,推理速度得到了提升。     

基于Transformer的点云几何有损压缩方法

点云被广泛地用于三维物体表达,不过真实世界采集到的点云往往数据庞大,不利于传输与储存,针对点云数据冗余性问题,引入基于注意力机制的Transformer模块,提出一种基于Transformer的端到端多尺度点云几何压缩方法。将点云进行体素化,在编码端利用稀疏卷积提取特征,进行多尺度的逐步下采样,结合Transformer模块加强点空间特征感知与提取;在解码端进行对应的多尺度上采样重建,同样采用Transformer模块对有用特征进行加强与恢复,逐步细化并重建点云。与2种点云标准编码方法对比,所提方法平均获得80%和75%的BD-Rate增益;与基于深度学习的点云压缩方法对比,平均获得16%的BD-Rate增益,在相同码率点有约0.6的PSNR提升。实验结果表明：Transformer在点云压缩领域的可行性与有效性;在主观质量方面,所提方法也有明显的主观效果提升,重建的点云更接近原始点云。     

时空域上下文学习的视频多帧质量增强方法

卷积神经网络（CNN）在视频增强方向取得了巨大的成功。现有的视频增强方法主要在空域探索图像内像素的相关性,忽略了连续帧之间的时域相似性。针对上述问题,提出一种基于时空域上下文学习的多帧质量增强方法（STMVE）,即利用当前帧以及相邻多帧图像共同增强当前帧的质量。首先根据时域多帧图像直接预测得到当前帧的预测帧,然后利用预测帧对当前帧进行增强。其中,预测帧通过自适应可分离的卷积神经网络（ASCNN）得到;在后续增强中,设计了一种多帧卷积神经网络（MFCNN）,利用早期融合架构来挖掘当前帧及其预测帧的时空域相关性,最终得到增强的当前帧。实验结果表明,所提出的STMVE方法在量化参数值37、32、27、22上,相对于H.265/HEVC,分别获得0.47、0.43、0.38、0.28 dB的性能增益;与多帧质量增强（MFQE）方法相比,平均获得0.17 dB的增益。      

基于混合编码的天文序列图像无损压缩算法

提出了一种将时间和空间双维度预测与混合熵编码结合的图像无损压缩算法,应用于星体定点成像的天文序列图像.时间与空间双维度预测可以消除天文序列图像的时间相关性和空间相关性.混合熵编码融合了高熵编码与低熵编码算法,充分利用预测误差分布的稀疏性,进一步提升压缩效率.针对星体的天文序列图像,该算法首先在时间维度上进行帧间预测,去除时间相关性,再对帧间预测后的图像在空间维度上进行直方图滤波和上下文预测,去除空间相关性,最后将预测误差送入熵编码器进行编码.实验结果表明,本文所提出算法的压缩效果优于JPEG-LS,平均压缩比提升约15%.该算法结构简单,计算复杂度较低,易于硬件实现,适合星载天文图像的无损压缩.      

一种基于曼哈顿距离的帧间加权预测算法

合并模式通过共享邻域块的运动矢量（MV）来节省编码运动信息比特数,有效提升了编码器率失真性能。然而,当前合并模式中的运动补偿预测（MCP）不够准确。为此,分析了合并模式中的预测残差分布特点,并提出了一种基于曼哈顿距离的加权预测算法作为合并模式的附加候选项。首先,采用邻域合并候选项的运动矢量进行运动补偿预测得到多个预测块;然后,根据候选块位置与像素点的曼哈顿距离对获得的多个预测块进行加权平均得到附加候选项;最后,通过率失真优化（RDO）从附加候选项和原有候选项中选择出最佳的合并模式。实验结果显示:在联合探索测试模型JEM 7.0平台上,所提算法在不同的编码器配置下均获得了率失真性能的提升,其中低延迟P帧下达到了平均1.34%的比特率节省。      

基于多尺度残差卷积网络的HEVC视频隐写分析

图片、语音、视频等多媒体形式的信息交流在网络通信中占有重要地位,同时也有很多非法信息的传播隐匿于此。隐写分析是甄别隐秘信息是否存在的有效手段,提出了一种通用的基于多尺度残差卷积网络的HEVC视频隐写分析算法。网络主体由残差计算、特征提取和二分类3部分构成,其中在特征提取部分针对性地提出了残差卷积层、多尺度残差卷积模块及隐写分析残差块。实验结果表明:所提算法基于视频像素域分析网络的检测率高达99.75%,比传统的手工提取特征方法具有更大的优势。      

光学遥感运动补偿压缩成像

针对单像素相机的运动导致压缩成像品质下降问题,提出了运动补偿压缩成像方法。首先建立运动条件下压缩采样的精确模型,进而分析了逐帧重构与联合重构两种图像稀疏方法。同时探讨了所提方法对于更加复杂运动的适应性以及所提方法成像品质的分布特性。该方法利用成像系统的运动信息重新规整压缩采样,避免了由降低积分时间或者减少采样数导致的成像品质下降。数学仿真与半物理仿真表明,运动补偿压缩成像比未经补偿成像结果具有更好的成像品质。     

利用H.264中运动矢量实现运动目标检测

针对视频压缩和运动目标跟踪同时实现的应用,通过研究H.264压缩标准中运动矢量包含的图像运动信息并分析运动估计原理,提出了一种利用视频压缩中的运动矢量信息实现运动目标检测的方法,确立了H.264编码流中运动矢量与场景中物体运动状态的对应关系.将运动目标从背景中分离是检测算法的核心.对于双门限值的设置,可分离不同运动速度的目标;同时,算法排除了背景运动的干扰,因而可应用于摄像机运动的场合;由于检测算法所用的运动矢量直接来源于H.264编码过程,而大大降低了计算复杂度,利于硬件实现.     

HEVC对偶编码单元划分优化算法

为了解决视频数据量日益增长与用户享受高质量视频体验需求之间的矛盾,HEVC在H.264/AVC标准的基础上通过引入新型的编码结构和算法进一步将编码效率提升了50%,但是也极大地提升了编码复杂度。基于此,提出对偶编码单元(CU)划分网络DualNet,来降低HEVC中帧内编码复杂度。该网络由预测网络和目标网络2个部分组成,其中,预测网络通过分析图像统计特征实现编码单元划分决策,从而跳过四叉树的遍历搜索,提高编码单元划分决策的时间效率;目标网络基于率失真代价评价和优化决策模型提升编码单元划分性能,实现模型互补和最优率失真估计。实验结果表明:与HEVC标准对比,所提算法在实现相近的压缩效果的前提下能够节省64.06%的编码时间。      

基于调制卷积神经网络的空地数据链信道估计

针对复杂环境下空地数据链正交频分复用(OFDM)系统信道估计精度不足的问题,提出了一种基于调制卷积神经网络(MCNN)和双向长短时记忆网络(BiLSTM)结合的信道估计算法。利用最小二乘算法(LS)提取初始信道状态信息(CSI);利用MCNN网络提取初始CSI的深度特征,并对网络模型进行压缩;利用BiLSTM网络对最终CSI进行预测,实现信道估计。利用构建的空地信道模型生成信道系数数据集,实现神经网络模型的训练与测试。仿真结果表明:与传统算法和现有深度学习方法相比,所提出的信道估计算法具有更小的估计误差,高信噪比条件下的系统误码率(BER)性能提升接近一个数量级;由于引入了调制滤波器技术,随着神经网络层数增加,网络模型参数量大幅减少。      

空间液滴蒸发实验中液滴图像的无损压缩算法

为了提高空间液滴蒸发实验中图像无损压缩率, 根据连续采集到的液滴图像之间相关性很大的特点, 提出了一种基于JPEG-LS和帧间预测误差编码的图像序列无损压缩算法. 该算法对图像序列第一帧采用JPEG-LS算法编码, 对帧间预测误差帧进行Golomb编码, 从而实现对连续采集到的液滴图像序列进行无损压缩. 实验结果表明, 该算法比单纯采用JPEG-LS算法的压缩率有明显提高, 编解码过程更简单, 编码需要时间更少.      

基于Swin Transformer和多尺度特征融合的红外弱小目标检测方法

红外弱小目标的检测识别是军事侦察和遥感探测领域的一项关键技术。针对现有的传统目标检测方法普遍存在的检测误报率高、环境适应性差等问题,本文设计提出了一种基于Swin Transformer和多尺度特征融合的红外弱小目标检测方法。该方法首先在基于编解码Unet网络架构的基础上,通过引入Swin Transformer的自注意力机制代替常规的卷积核来进行目标特征的分层提取,从而有助于在更大的感受野下挖掘目标在不同尺度下的潜在信息;之后,通过设计一个自底向上的跨层特征融合模块作为网络模型的解码器,可以从复杂背景中保留红外弱小目标特征,并将目标的浅层局部信息和深层语义信息进行充分融合。试验测试结果表明,所提方法在红外小目标公共测试数据集SIRST上能够实现0.747的交并比指标(IoU),以及0.752的归一化交并比指标(nIoU),其性能均优于其它典型方法,在不同复杂场景下均拥有更好的检测效果。     

基于残差学习的自适应无人机目标跟踪算法

无人机已被广泛应用于军事和民用领域，目标跟踪技术是无人机应用的关键技术之一。针对无人机视频跟踪过程中目标易发生尺度变化、遮挡等问题，提出一种基于残差学习的自适应无人机目标跟踪算法。首先，结合残差学习和空洞卷积的优点构建深度网络提取目标特征，同时克服网络退化问题；其次，将提取的目标特征信息输入核相关滤波算法，构建定位滤波器确定目标的中心位置；最后，根据目标外观特性的不同进行自适应分块，并计算出目标尺度的伸缩系数。仿真实验结果表明:所提算法能够有效应对尺度变化、遮挡等情况对跟踪性能的影响，在跟踪成功率和精确度上均高于其他对比算法。      

复杂背景下单个运动物体的实时视觉追踪算法

介绍了一种完全基于图像信息的运动检测视觉追踪算法.该算法综合了已有的一些算法,并在他们的基础上进行改进,可以实现在摄像机运动不剧烈的情况下,对单个运动物体的追踪.由人工选取目标,计算机开始在第1帧和第2帧图像中提取特征点,并在两帧图像中对特征点进行匹配.利用匹配的特征点建立仿射运动模型,以估计背景的运动和预测目标位置.假设运动目标所占的像素面积很小,在预测点附近的一块小邻域内进行光流分割得到运动目标.该算法在640×480大小的两帧连续图片上验证,取得了较好的效果.在PC上的实验证明,设置适当的参数,本算法可以应用于12.5Hz或25Hz的图像采集频率.      

基于3D-Winograd的快速卷积算法设计及FPGA实现

近年来，卷积神经网络（CNN）已被计算机视觉任务广泛采用。由于FPGA的高性能、能效和可重新配置性，已被认为是最有前途的CNN硬件加速器，但是受FPGA计算能力、存储资源的限制，基于传统Winograd算法计算三维卷积的FPGA解决方案性能还有提升的空间。首先，研究了适用于三维运算的Winograd算法一维展开过程；然后，通过增加一次性输入特征图和卷积块的维度大小、低比特量化权重和输入数据等方法改善CNN在FPGA上的运行性能。优化思路包括使用移位代替部分除法的方法、分tile方案、二维到三维扩展及低比特量化等4个部分。相对传统的二维Winograd算法，优化算法每个卷积层的时钟周期数减少了7倍左右，相较传统滑窗卷积算法平均每个卷积层减少7倍左右。通过研究，证明了基于一维展开的3D-Winograd算法可以大大减少运算复杂度，并改善在FPGA运行CNN的性能。      

基于Transformer和动态3D卷积的多源遥感图像分类

多源遥感数据具有互补性和协同性,近年来,基于深度学习的方法已经在多源遥感图像分类中取得了一定进展,但当前方法仍面临关键难题,如多源遥感图像特征表达不一致,融合困难,基于静态推理范式的神经网络缺乏对不同类别地物的适应性。为解决上述问题,提出了基于跨模态Transformer和多尺度动态3D卷积的多源遥感图像分类模型。为提高多源特征表达的一致性,设计了基于Transformer的融合模块,借助其强大的注意力建模能力挖掘高光谱和LiDAR数据特征之间的相互作用;为提高特征提取方法对不同地物类别的适应性,设计了多尺度动态3D卷积模块,将输入特征的多尺度信息融入卷积核的调制,提高卷积操作对不同地物的适应性。采用多源遥感数据集Houston和Trento对所提方法进行验证,实验结果表明：所提方法在Houston和Trento数据集上总体准确率分别达到94.60%和98.21%,相比MGA-MFN等主流方法,总体准确率分别至少提升0.97%和0.25%,验证了所提方法可有效提升多源遥感图像分类的准确率。     

运动信息引导的目标检测算法

在室外监控视频的场景下，由于场景的复杂性及目标的多样性，监控视频中的目标存在难以检测的情况，如目标被遮挡、目标尺寸变化等，目标检测任务仍然存在挑战。基于此，提出了一种利用运动信息引导基于卷积神经网络的目标检测算法来提高目标检测的准确率。对运动目标检测算法进行一定的改进，使得到的运动前景图中能够保持静止目标前景的存在；利用运动前景图中的前景可以指示目标空间位置的特点，在特征层面将网络提取的特征图与获取的以运动前景图为主的运动信息相融合，提高特征图可能存在目标区域的响应值；在目标检测算法的检测器中，引入一个定位分支，利用视频帧的运动前景图，学习候选目标的定位置信度，并与目标的分类置信度加权求和，作为目标最终的置信度，再通过非极大值抑制方法得到检测结果。实验证明，在固定摄像机下采集的数据集中，所提算法能够提升目标检测的准确率。      

基于高置信局部特征的车辆重识别优化算法

根据车辆重识别中区域置信度不同，提出了基于高置信局部特征的车辆重识别优化算法。首先，利用车辆关键点检测获得对应的多个关键点坐标信息，分割出车标扩散区域和其他重要的局部区域。根据车标扩散区域的高区分度特性，提升局部区域的置信度。使用多层卷积神经网络对输入图片进行处理，根据局部区域分割信息，对卷积得到的特征张量进行空间维度上的切割，获得代表全局信息和关键局部信息的特征张量。然后，通过全连接层特征张量转化为表示车辆个体的一维向量，计算损失函数。最后，在测试阶段使用全局特征，并利用训练好的车标扩散区域提取分支获得高置信局部特征，缩短局部识别一致的车辆目标距离。在典型车辆重识别数据集VehicleID上进行测试，验证了所提算法的有效性。      

一种面向H.264/AVC的快速帧内预测选择算法

为提高I帧的编码效率,最新的视频压缩编码标准H.264/AVC,在空间域上 从多个方向进行多种模式的帧内预测,并使用率失真优化算法选择最佳模式,算法复杂度很 高.为此,提出了一种快速的帧内预测算法.针对亮度块的模式选择过程,提出了基于图像 熵值和滑动窗口机制自适应地调整熵值阈值的方法对宏块模式进行预判;针对亮度模式中多 个预测方向的选择,充分利用中间结果,预先排除一些可能性小的预测方向;在亮度块和色 度块相结合的率失真统计中,改变算法结构,预先计算色度块最佳模式.实验结果表明,算 法在不降低图像质量的基础上,编码速度平均提高76%,码率平均增加2.6%.