基于欠采样的零阶优化算法

非平衡学习吸引了许多研究者的关注。一般情况下,少数类是更值得关注的,并且其误分类代价要远高于多数类。由于非平衡数据分布的非均衡性,标准的分类算法将难以适用。为了解决非平衡数据分类问题,给出了基于欠采样的零阶优化算法。首先,为了降低数据非平衡分布的影响,针对不同非平衡比的数据集给出了不同的两种采样策略。然后,采用了一种引入间隔均值项的支持向量机(Support vector machine,SVM)优化模型进行分类,并使用带有方差减小的零阶随机梯度下降算法进行求解,提高了算法的精度。在非平衡数据上进行了对比实验,实验证明提出的方法有效提高了非平衡数据的分类效果。     

代价敏感惩罚AdaBoost算法的非平衡数据分类

针对非平衡数据分类问题，提出了一种基于代价敏感的惩罚AdaBoost算法。在惩罚Adaboost算法中，引入一种新的自适应代价敏感函数，赋予少数类样本及分错的少数类样本更高的代价值，并通过引入惩罚机制增大了样本的平均间隔。选择加权支持向量机（Support vector machine,SVM）优化模型作为基分类器，采用带有方差减小的随机梯度下降方法（Stochastic variance reduced gradient,SVRG）对优化模型进行求解。对比实验表明，本文提出的算法不但在几何均值（G-mean）和ROC曲线下的面积（Area under ROC curve,AUC）上明显优于其他算法，而且获得了较大的平均间隔，显示了本文算法在处理非平衡数据分类问题上的有效性。