多斜率自适应卷积神经网络激活函数

针对卷积神经网络中激活函数无法有效为处于不同激活程度的像素点提供特定梯度响应的问题,设计了一种由多个分段线性函数组成的自适应激活函数.首先依据像素激活值的取值范围,自适应地生成多个独立的激活域,各个激活域的并集包含激活图中全体像素点的激活值;随后在每个激活域中学习一个特定的线性函数,为处于该激活域中的像素点提供特定的梯度响应;最后以NIN网络和ResNet18网络为例,在CIFAR 10和CIFAR 100数据集上,验证所提激活函数的性能.实验结果表明,与现有激活函数相比,本文提出的激活函数,由于能够更好地为处于不同激活程度的像素点提供适当的梯度响应,使分类准确率在NIN网络上分别达到87.96%和69.01%,在ResNet18网络上分别达到88.56%和73.54%.