一种新型人工神经网络的实现与改进——概率逻辑神经网络

概率逻辑神经网络模型是一新兴的神经网络模型,它不仅具有较快的训练速度,而且具有“自退火”性能,并易于硬件实现,从而成功地克服了误差反向传播(BP)模型的训练时间长,易于陷于局部最小点的弱点。本文将给出概率逻辑神经网络(PLNN)的一般结构、学习算法及其模拟实现的情况。并由此推广到多层联想网络的实现与分析,最后给出了PLNN与BP的比较结果。     

双层通用自适应模式识别系统

单层n元自适应模式识别系统(WISARD)由于其大规模并行分布处理能力、通用性和自适应性而显示了巨大的应用潜力。但由于其结构的原因,系统性能受到了一定的限制。Kanerva提出的稀疏存贮器结构和WISARD的RAM阵列结构有相似之处。而且这种稀疏分布存贮的原理,可以从结构上解决WISARD的固有缺陷。根据SDM的概念,在WISARD的基础上,本文提出了一种新颖的双层自适应模式识别系统模型。它除了保持WISARD的原有特点之外,在解决大维数或非确定性模式数据的识别问题以及控制系统成本方面有着明显的优势。在该系统上进行的多体印刷汉字识别试验,初步优化了系统各参数的关系,验证了模型的可行性。     

具有认知能力的入侵检测系统模型

介绍了入侵检测的原理，对目前入侵检测的模型和方法进行分析，并给出了一个具有认知能力的入侵检测系统模型，该模型由基于规则的检测模块、神经网络组件、统计分析处理模块三个主要模块组成。模型采用了异常检测和误用检测相结合的方法，使系统既有对已知的攻击有较好的识别能力，又有检测未知攻击的能力。文末指出了当前入侵检测存在的问题及今后的发展方向。     

人工神经网络

本文叙述了人工神经网络的基本概念、信息处理原理及主要特征。分析了Hopfield、误差反向传播等典型神经网络模型的互连结构、学习方法及特点。对该学科的发展及今后人工智能的研究策略也作了简要阐述。     

多层自适应模式识别系统模型

在英国WISARD单层模式识别系统的基础上,借助P.Kanerva的稀疏分布存贮(SDM)的概念,提出了~种新的多层自适应模式识别系统模型(MAPR)。并就其工作过程和主要特点作了较详细的叙述,还列出了多体印刷体汉字识别的初步试验结果。MAPR用稀疏RAN阵列代替WISARD的常规RAM阵列,用对n元模式计频的训练策略代替了原系统的直接置位策略。使系统除了保持原系统的重要优点外,在大维数或非确定性模式数据识别方面,其性能有了明显改善。     

逻辑神经网络非线性可分性的实现

1985年，Aleksander领导的小组所实现的逻辑神经网络（LNN）成功地应用于脸谱实时识别。由于LNN无需学习算法，硬件可实现实时识别能力，在英国颇受工业界重视。然而，LNN存在一个缺陷就是在大模式划分成小的子模式后会造成LNN非线性能力下降甚至消失。针对上述问题，提出了一种在LNN中实现非线性可分性的方法。     

结构与纯度结合的新型决策树分裂准则

决策树（Desision tree， DT）生长关键步骤的分裂或分叉准则通常根据纯度和误分类误差等实现，分裂生长分为轴平行和非轴平行方式。这些分裂准则一般与数据内在结构（如类别是否是多簇或单簇组成）无关。为了弥补这一缺失，本文提出了两种混合分裂准则，分别用加权和两步法将同类内的节点间距（Between-node margin within the same class，BNM）和同一节点内的类紧性（Within-class compactness and between-class separation in the same inner node，CSN）与纯度度量相结合。由于传统决策树以贪婪方式生长，仅能确定出当前的一个局部最优分裂点，为改善这个缺点，本文首先根据纯度确定出前k个候选分裂点，然后通过最大化BNM和最小化CSN确定最终的分裂点，不仅缓和了纯度上的局部最优性，而且引入了数据结构的全局性，因此能较大程度地改进后代节点的分裂，增强树的泛化性和可解释性。将上述两种分裂准则组合还可以进一步提升性能。在21个标准验证数据集上的比较结果表明：新准则下的决策树不仅提高了预测性能、降低了复杂性，而且相比于其他采用混合分裂准则的DTs更具竞争力。