基于对抗和迁移学习的灾害天气卫星云图分类

针对卫星云图中的灾害天气数据存在严重不平衡问题,提出一个结合生成对抗学习（GAN）和迁移学习（TL）的卷积神经网络（CNN）框架以解决上述问题进而提高基于卫星云图的灾害天气分类精度。该框架主要包含基于GAN的数据均衡化模块和基于迁移学习的CNN分类模块。上述2个模块分别从数据和算法层面解决数据的类间不平衡问题,分别得到一个相对均衡的数据集和一个可在不同类别数据上提取相对均衡特征的分类模型,最终实现对卫星云图的分类,提高其中灾害天气的卫星云图类别分类准确率。与此同时所提方法在自建的大规模卫星云图数据上进行了测试,消融性和综合实验结果证明了所提数据均衡方法和迁移学习方法是有效的,且所提框架模型对各个灾害天气类别的分类精度都有显著提升。      

结合多层特征及空间信息蒸馏的医学影像分割

U-Net在医学影像分割领域是目前应用最广泛的分割模型，其“编码-解码”结构也成为了构建医学影像分割模型最常用的结构。尽管U-Net在许多领域实现了非常高的分割准确度，但是存在着计算复杂度高、推理速度慢、运行消耗内存大等问题，导致其难以在移动应用平台部署。为解决这一问题，提出了一种结合多层特征及空间信息蒸馏的医学影像分割方法TinyUnet。该方法使用轻量化的U-Net作为学生网络。考虑到小模型没有足够的学习能力，通过选择合适的蒸馏位置，对多层教师特征图进行蒸馏; 同时加强教师网络深层特征图的边缘，并构建边缘关键点图结构，采用图卷积网络对学生网络进行空间信息蒸馏，从而补充重要的边缘信息和空间信息。实验表明:在3个医学影像数据集上，TinyUnet能够达到U-Net 98.3%~99.7%的分割准确度，但是将U-Net的参数量平均降低了99.6%，运算速度提高了约110倍; 同时，与其他轻量化医学影像分割模型相比，TinyUnet不仅具有较高的分割准确度，而且占用内存更少，运行速度更快。