基于距离相关图的音频相似性度量方法

相似性度量是基于内容的音频分析中的关键环节之一,目前往往沿用传统的统计分析思想实现,缺乏有效的呈现手段和对语义层信息的准确表达.提出了一种基于图像分割技术的相似性度量方法,通过特征提取构造特征空间,进而绘制特征向量间的距离相关图,通过对该图的可视化分析判断最大相似方向,并分别计算出局部相似性和全局相似性.给出了实验验证过程,该方法适用于数字广播等音频流中的片段查找等应用.      

基于生成对抗网络的空间卫星低照度图像增强

针对空间低照度成像条件下卫星光学图像信息受损严重的问题,提出了一种基于生成对抗网络的空间卫星低照度图像增强方法,提高了图像的平均亮度及对比度,恢复图像细节信息,为图像识别等图像处理技术提供更高质量的数据信息。首先,设计了一种密集连接的生成器,加强了各特征提取阶段中的信息传递以及多层特征的融合,减少了特征信息的损耗,更好地提取正常照度图像及低照度图像中相似的语义信息;并结合EnlightenGAN的思想,采用了全局 局部辨别器结构,使图像增强效果更自然。然后,在少量样本的条件下,利用非配对样本对该方法进行训练,并通过对输入图像进行随机缩放及翻转等数据增强方法提高模型训练效果,进而提升低照度图像增强性能。最后,对所提出的空间卫星低照度图像增强方法进行了仿真验证。试验结果表明,在空间低照度条件下,该方法在NIQE指标上较LIME及EnlightenGAN分别降低了1.034和0.699,保留了更多的图像细节,具有更高的整体和局部亮度、更高的对比度以及更自然的增强效果。     

基于Logistic回归麻雀算法的图像分割

针对麻雀搜索算法后期种群多样性减少、易陷入局部最优解等问题,提出一种新的改进麻雀搜索算法。所提算法先引入小孔成像反向学习策略对发现者的位置进行更新,提升寻优位置的多样性;其次受Logistic模型的启发,提出一种新的自适应因子对安全阈值进行动态控制,平衡所提算法的全局搜索与局部开发的能力。通过与其他算法在6个基准函数上进行仿真对比,结果表明：所提算法的收敛精度与速度均优于其他算法。在工程应用上,用所提算法优化K-means聚类算法进行图像分割,峰值信噪比（PSNR）、结构相似性（SSIM）及特征相似性（FSIM）3种度量指标验证了其良好的分割性能。     

基于改进空间通道信息的全局烟雾注意网络

针对烟雾因半透明、形状不规则和边界模糊造成分割困难的问题，提出了基于注意力机制的长距离信息建模方法，以提取长距离像素间的依赖和连续性关系。通过注意力机制作用原理，解决孤立小块区域误分类问题，减少非连续区域的烟雾误判。为避免注意力网络大尺寸矩阵运算造成的内存和计算负担，对空间和通道2种注意力方式进行改进，分别设计了双向定位空间注意力(BDA)模块和多尺度通道注意力(MSCA)融合模块，弥补现有注意力全局池化操作导致的大量空间信息丢失。将所提注意力模块和残差深度网络合并，构建面向图像烟雾分割的全局烟雾注意网络，在尽可能不丢失全局信息相关性的同时减少内存消耗。实验结果表明:所提网络在DS01、DS02、DS03合成烟雾测试集上，取得的平均交并比分别为73.13%、73.81%、74.25%，总体上优于对比算法。      

多尺度特征和注意力融合的生成对抗壁画修复

针对现有深度学习图像修复算法修复壁画时，存在特征提取不足及细节重构丢失等问题，提出了一种多尺度特征和注意力融合的生成对抗壁画修复深度学习模型。设计多尺度特征金字塔网络提取壁画中不同尺度的特征信息，增强特征关联性；采用自注意力机制及特征融合模块构建多尺度特征生成器，以获取丰富的上下文信息，提升网络的修复能力；引入最小化对抗损失与均方误差促进判别器的残差反馈，从而结合不同尺度的特征信息完成壁画修复。通过对真实敦煌壁画数字化修复的实验结果表明，所提算法能够有效保护壁画图像的边缘和纹理等重要特征信息，并且主观视觉效果及客观评价指标均优于比较算法。     

基于信息隐藏的遥感图像分块压缩

目前JPEG2000等图像压缩方法受制于压缩倍数的限制,无法满足用户对海量遥感数据的实时传输要求,需要进一步减少高分辨率遥感图像产生的数据量,以满足遥感图像数据的空间传输要求。针对此情况提出了一种基于信息隐藏的遥感图像分块压缩方法,利用图像块的相似性判决出基准图像块和相似图像块,将相似图像块的编号隐藏在基准图像块中,只对基准图像块进行JPEG2000压缩。采用标准图像库作为样本图像进行仿真,结果表明,该方法将样本图像压缩前的数据量减少1/3,同时将该样本图像的压缩比提高1.5倍。     

基于多级语义对齐的图像-文本匹配算法

图像中的区域特征更关注于图像中的前景信息,背景信息往往被忽略,如何有效的联合局部特征和全局特征还没有得到充分地研究。为解决上述问题,加强全局概念和局部概念之间的关联得到更准确的视觉特征,提出一种基于多级语义对齐的图像-文本匹配算法。提取局部图像特征,得到图像中的细粒度信息;提取全局图像特征,将环境信息引入到网络的学习中,从而得到不同的视觉关系层次,为联合的视觉特征提供更多的信息;将全局-局部图像特征进行联合,将联合后的视觉特征和文本特征进行全局-局部对齐得到更加精准的相似度表示。通过大量的实验和分析表明：所提算法在2个公共数据集上具有有效性。     

基于残缺图像样本的生成对抗网络图像修复方法

针对大面积图像修复缺失严重时，需要完整且高质量训练样本的问题，提出了一种将残缺或含噪图像样本作为训练集的双生成器深度卷积生成对抗网络（DGDCGAN）模型。构建两个生成器和一个鉴别器以解决单一生成器收敛慢的问题，用残缺图像样本作为训练集，通过交叉计算、搜索损失区域类似的图像信息作为训练生成模型的样本，收敛速度更快。鉴别器损失函数改进为输出的Wasserstein距离，使用自适应估计算法优化生成器损失函数和鉴别器损失函数的模型参数，最小化两两图像之间的总距离差，使用鉴别模型和修复图像总距离变化均方差最小化两个指标优化修复结果。在4个公开数据集上进行主客观实验，结果表明:所提方法能使用残缺图像样本作为训练集，有效实现大面积失真图像的修复，且收敛速度和修复效果优于现有图像修复方法。      

一种高效准确的视觉SLAM闭环检测算法

同步定位与地图构建（SLAM）是视觉导航领域的关键技术之一，闭环检测是SLAM的基础问题。针对视觉SLAM闭环检测准确率不高的问题，提出一种高效准确的闭环检测算法。该算法由词袋模型、图像结构校验、跟踪预测模型3个模块构成。首先，将局部特征与全局特征相结合，设计了词袋模型与图像结构校验模块。词袋模型通过视觉单词比较图像之间的相似性，得到闭环候选帧。然后，图像结构校验模块灰度化、归一化当前图像与闭环候选图像。归一化之后的图像被直接作为局部特征的邻域，计算得到全局描述符，通过全局描述符判断闭环候选帧是否为有效的闭环。最后，针对传统闭环检测算法耗时随图像数量增加而显著增加的问题，设计了跟踪预测模块，以提高计算效率。实验中，与主流的DBoW算法相比，提出的闭环检测算法的准确率提升了20%以上，实时性也有更好的表现。      

基于多特征图像视觉显著性的视频摘要化生成

如何高效提取视频内容即视频摘要化,一直是计算机视觉领域研究的热点。简单通过图像颜色、纹理等特征进行检测已无法有效、完整地获取视频摘要。基于视觉注意力金字塔模型,提出了一种改进的可变比例及双对比度计算的中心-环绕视频摘要化方法。首先,以超像素方法对视频图像序列进行像素块划分以加速图像计算;然后,检测不同颜色背景下的图像对比度特征差异并进行融合;最后,结合光流运动信息,合并静态图像与动态图像显著性结果提取视频关键帧,在提取关键帧时,利用感知哈希函数进行相似性判断完成视频摘要化生成。在Segtrack V2、ViSal及OVP数据集上进行仿真实验,结果表明:所提方法可以有效提取图像感兴趣区域,得到以关键帧图像序列表示的视频摘要。      

基于多语义线索的跨模态视频检索算法

针对现有的大多数跨模态视频检索算法忽略了数据中丰富的语义线索,使得生成特征的表现能力较差的问题,设计了一种基于多语义线索的跨模态视频检索模型,该模型通过多头目自注意力机制捕捉视频模态内部对语义起到重要作用的数据帧,有选择性地关注视频数据的重要信息,获取数据的全局特征;采用双向门控循环单元（GRU）捕捉多模态数据内部上下文之间的交互特征;通过对局部数据之间的细微差别进行联合编码挖掘出视频和文本数据中的局部信息。通过数据的全局特征、上下文交互特征和局部特征构成多模态数据的多语义线索,更好地挖掘数据中的语义信息,进而提高检索效果。在此基础上,提出了一种改进的三元组距离度量损失函数,采用了基于相似性排序的困难负样本挖掘方法,提升了跨模态特征的学习效果。在MSR-VTT数据集上的实验表明:与当前最先进的方法比较,所提算法在文本检索视频任务上提高了11.1%;在MSVD数据集上的实验表明:与当前先进的方法比较,所提算法在文本检索视频任务上总召回率提高了5.0%。      

一种高效的油液磨粒图像自适应分割方法

为了提高油液磨粒图像的分割效果,优化磨粒自动识别工作的重要环节,提出了一种结合分水岭算法及区域相似度合并的油液磨粒图像自适应分割方法。对于待分割图像,首先通过形态学重构和基于形态学的自适应H-minima技术对梯度图像进行修正,利用分水岭算法完成磨粒图像的一次分割;其次提取分水岭分割后同质区域的Lab颜色特征、局部二值模式（LBP）纹理特征作为区域的量化指标,基于Bhattacharyya系数分别计算区域间的颜色、纹理相似度,设计可以实现权重自适应调整的颜色、纹理特征融合规则,以此来获取同质区域的综合相似度矩阵,实现过分割区域的合并;最后基于统一的后处理算法完成磨粒图像的完整分割。选择60幅磨粒图像对所提方法的分割效果进行测试,结果表明,单幅图像的平均分割速度在12 s左右,分割正确率稳定在90%以上,所提方法避免了用户在分割过程中对图像的交互式处理,较好地平衡了分割效率和分割精度,自适应程度明显提高。      

基于ASIFT的离线签名认证方法

通过分析现有局部不变特征方法及含伪装签名数据集的特点,提出了一种基于具有仿射不变性的尺度不变特征变换(ASIFT)的离线签名认证方法.该方法对签名图像进行预处理(包括灰度化和放缩),对处理后的图像进行ASIFT关键点检测和特征描述符提取,对从查询签名图像和参考签名图像中提取到的描述符进行匹配,对匹配的结果采用随机采样一致性(RANSAC)方法去掉错误匹配,并计算正确匹配点的描述符之间的平均距离;通过比较平均距离及正确匹配点的个数与给定阈值的大小来判断认证是否成功.使用了含伪装签名的数据库对提出的方法进行测试,实验结果表明该方法与现有方法相比等误率降低了5%.      

基于多尺度失真感知特征的重定向图像质量评估

在不同宽高比显示设备上的图像观看体验通常受到图像重定向操作方法的影响。为了提高重定向图像主观感知与客观评估之间的一致性,提出了基于多尺度失真感知特征（MSDA）的客观重定向图像质量评估（RIQA）方法。语义失真和细节失真经常出现在图像的不同尺度上,因此从图像的不同尺度中提取失真感知特征。提出了一个描述原始图像和重定向图像之间的宽高比相似度（ARS）的精确度量。此外,使用视觉注意力融合图来模拟人类视觉系统对图像的主观关注度。在2个基准数据库上的实验结果表明,所提出的MSDA方法的肯德尔排名相关系数（KRCC）、皮尔逊线性相关系数（PLCC）和斯皮尔曼秩次相关系数（SRCC）指标分别比对比方法中最优方法提高4.1%、1.8%和4.5%。      

An ensemble deep learning based shoreline segmentation approach (WaterNet) from Landsat 8 OLI images

Shorelines constantly vary due to natural, urbanization and anthropogenic effects such as global warming, population growth, and environmental pollution. Sustainable monitoring of coastal changes is vital in terms of coastal resource management, environmental preservation and planning. Publicly available Landsat 8 OLI (Operational Land Manager) images provide accurate, reliable, temporal and up-to-date information about coastal areas. Recently, the use of machine learning and deep learning algorithms have become widespread. In this study, we used our public Landsat 8 OLI satellite image dataset to create a majority voting method which is an ensemble automatic shoreline segmentation system (WaterNet) to obtain shorelines automatically. For this purpose, different deep learning architectures have been utilized namely as Standard U-Net, Dilated U-Net, Fractal U-Net, FC-DenseNet, and Pix2Pix. Also, we have suggested a novel framework to create labeling data from OpenStreetMap service to create a unique dataset called YTU-WaterNet. According to the results, IoU and F1 scores have been calculated as 99.59% and 99.79% for the WaterNet. The results indicate that the WaterNet method outperforms other methods in terms of shoreline extraction from Landsat 8 OLI satellite images.     

基于三元组网络的单图三维模型检索

随着媒体数据的多样化发展，联合图像与三维模型的跨域检索成为三维模型检索问题的一个新挑战。针对图像与三维模型差异大、难匹配问题，提出了一种基于三元组网络的跨域数据检索方法。以端到端的方式构建真实图像与三维模型的特征联合嵌入空间，通过特征间的距离度量不同模态数据之间的相似性，实现从单张图像检索相似的三维模型。为了提高跨域检索准确度，将三维模型用一组顺序视图表示，结合门控循环单元（GRU）聚合视图级特征，同时引入注意力机制提取图像特征，缩小真实图像与投影视图间的语义差异。实验结果表明:相比于同类方法，所提方法在两个跨域数据集上的检索平均准确率至少提升2.98%~3.05%。      

真实场景水下语义分割方法及数据集

随着水下生物抓取技术的不断发展,高精度的水下物体识别与分割成为了挑战。已有的水下目标检测技术仅能给出物体的大体位置,无法提供物体轮廓等更加细致的信息,严重影响了抓取效率。为了解决这一问题,标注并建立了真实场景水下语义分割数据集DUT-USEG,该数据集包含6 617张图像,其中1 487张具有语义分割和实例分割标注,剩余5 130张图像具有目标检测框标注。基于该数据集,提出了一个关注边界的半监督水下语义分割网络(US-Net),该网络通过设计伪标签生成器和边界检测子网络,实现了对水下物体与背景之间边界的精细学习,提升了边界区域的分割效果。实验表明:所提方法在DUT-USEG数据集的海参、海胆和海星3个类别上相较于对比方法提升了6.7%,达到了目前最好的分割精度。