基于残差SDE-Net的深度神经网络不确定性估计 |
| |
作者姓名: | 王永光 姚淑珍 谭火彬 |
| |
作者单位: | 1. 北京航空航天大学计算机学院;2. 北京航天计量测试技术研究所,国家市场监管重点实验室(人工智能计量测试与标准);3. 北京航空航天大学软件学院 |
| |
基金项目: | 国家重点研发计划(2018YFB1402600)~~; |
| |
摘 要: | 神经随机微分方程模型(SDE-Net)可以从动力学系统的角度来量化深度神经网络(DNNs)的认知不确定性。但SDE-Net面临2个问题,一是在处理大规模数据集时,随着网络层次的增加会导致性能退化;二是SDE-Net在处理具有噪声或高丢失率的分布内数据所引起的偶然不确定性问题时性能较差。为此设计了一种残差SDE-Net(ResSDE-Net),该模型采用了改进的残差网络(ResNets)中的残差块,并应用于SDE-Net以获得一致稳定性和更高的性能;针对具有噪声或高丢失率的分布内数据,引入具有平移等变性的卷积条件神经过程(ConvCNPs)进行数据修复,从而提高ResSDE-Net处理此类数据的性能。实验结果表明:ResSDE-Net在处理分布内和分布外的数据时获得了一致稳定的性能,并在丢失了70%像素的MNIST、CIFAR10及实拍的SVHN数据集上,仍然分别获得89.89%、65.22%和93.02%的平均准确率。
|
关 键 词: | 神经随机微分方程 卷积条件神经过程 不确定性估计 残差块 深度神经网络 |
|
|