少数类的集成学习

传统机器学习中研究的分类问题通常假定各类别是平衡的,但在很多场合各类别的出现概率相差很大,而且很多应用中需要区分重要而稀少的少数类.本文比较了3种基于AdaBoost集成学习方法,并推导出他们的精度几何平均(GMA)的下界.分析表明:类别越不平衡,这3种方法越难以通过提高基分类器准确率来提高GMA.在此结论的基础上,以Bagging为基础提出了单边Bagging算法,该算法只对多数类抽样,而保留所有少数类,因而每轮的训练集是类别平衡的,并通过UCI数据集验证了其有效性.