Web数据挖掘系统的设计及关键技术研究

Web数据挖掘是一种新兴的边缘科学技术,它涉及到机器学习、数据挖掘、信息检索、自然语言处理、数据库以及人工智能等技术,可用于网络检索、网站建设以及电子商务等方面。本文在对Web数据挖掘技术详细研究的基础上,提出了一个Web数据挖掘的通用系统框架,并对信息收集、信息选择和预处理、模式的提取和用户接口等各个组成部分所使用的技术和存在的问题及解决的方法进行了讨论。本文结合Web自身的特点,提出了一个智能网页收集器WebCrawler,它除具有一般WebRobot的基本功能外,还采用了一种既考虑文本重要性又考虑链接结构的URL排序方法,从而确保收集的Web页面是Web比较优秀的部分。     

数据仓库技术研究

作为数据库技术的一个发展方向 ,数据仓库技术由于具有数据分析的特点 ,正逐渐被人们接受和使用。创建一个分析型的环境供管理人员决策 ,将是企业建立自己数据中心的一个崭新的方法。文章阐述了数据仓库的基本概念、数据挖掘技术及数据仓库的架构。     

基于子元模型的全局优化与设计空间知识挖掘方法

为有效求解大资源黑盒子问题如叶轮机械设计优化等,提出了基于子元模型的全局优化与设计空间知识挖掘方法MBOE。该方法包括全局优化算法MBGO与数据挖掘两部分,其中MBGO算法需要极少的函数估值即可获得全局最优解;数据挖掘技术能有效分析变量间的相关关系,揭示最优设计性能提高的本质原因。利用MBOE,完成NASA Rotor37转子叶栅三维气动设计优化与知识挖掘,最优设计等熵效率相对参考设计提高1.74%。同时,利用MBGO算法所需要的计算量仅为进化算法的1/5。数据挖掘结果表明叶栅前缘及三维积叠参数对叶栅气动性能影响较大,最优设计由于上述叶型参数的改善有效减弱了叶栅进口激波损失,使得最优设计气动性能明显提高。由此,MBOE方法的正确性和有效性得到了验证。     

使用BP神经网络模型研究逆向卸荷膜片式减压器的稳定性能

采用数据挖掘中BP(back propagation)神经网络模型来研究逆向卸荷膜片式减压器的结构参数与稳定性能之间的依赖关系,得到结构参数变化,尤其是多结构参数耦合变化下减压器的稳定性结果.其中稳定性对阻尼孔直径、膜片刚度非常敏感,对弹性元件材料的阻尼系数、低压腔有效长度较为灵敏.由此提出减弱振荡的各种措施:增大阻尼孔直径、增大膜片刚度、在一定范围(标准值的6.5倍)内增大弹性元件材料的阻尼系数、增大低压腔有效长度、减小阀芯质量.数值实验误差分析表明:该模型不存在过拟合、局部最优的情况,其预测结果是可靠的,可为减压器的设计和系统分析提供决策支持.而且,该模型对不同类型的数据集具有通用性,可以用来研究其他部件的结构参数与性能指标的依赖关系.      

民用飞机健康管理技术研究

随着民用飞机的系统集成度和复杂性大大提高,为降低民用飞机的运营成本、提高安全性和可靠性,民用飞机健康管理系统成为航空制造行业的发展趋势。本文简要介绍了民用飞机健康管理技术在国内外的发展现状,现阶段技术条件下所面临的问题以及所涉及的关键技术。着重介绍了民用飞机健康管理技术研究的方法和研究的内容,并对民用飞机健康管理技术未来的发展趋势进行了展望。     

基于多最小支持度的加权关联规则挖掘算法

针对交易数据库中数据项重要性不同的现象,提出了新的加权关联规则模型,并基于该模型设计了一个基于多最小支持度的加权关联规则挖掘新算法,允许用户设定多个最小支持度,为数据项设置不同的权重,从而解决数据项的重要性各不相同且出现频率不均匀的问题,发现更多有趣的规则.理论证明了相关性质,并实验验证了算法的有效性.      

基于数据挖掘技术的液体火箭发动机试验数据分析和处理

分析了数据挖掘技术的研究概况,研究了偏差检测、人工神经网络等数据挖掘方法,实现了挖掘方法在液体火箭发动机试验数据分析处理中的应用。最后,用某发动机试验数据进行了验证。     

基于属性集等价类划分的数据约简

由于大型数据库中数据的高维、巨量,使得数据约简在数据库知识发现中起着越来越重要的作用.现有的数据约简方法有3类:穷举选择法、启发式选择法和随机选择法.这些方法效率低,可能丢失重要信息,效果都不理想.属性集等价类划分可以在本质上标识出冗余属性和无关属性,并且可以快速、准确地计算等价类划分个数,使得数据约简更有效,数据挖掘效率更高.      

基于信息熵的连续属性自动聚类算法

基于信息熵的有关理论，提出了一种新的连续属性的自动聚类算法。首先介绍了Shannon熵的概念及其两个重要的定理，基于信息的不确定测度，提出了一种Shannon熵的准则函数φ，并且指出了该准则函数必须满足的6条原则。其次，基于该准则函数，引出了一种针对单个连续属性自动聚类的FUSINTER算法。由于实际信息系统中有多个连续属性，这主需要对多个连续属性分别使用FUSINTER算法进行离散，并且要求最终保证整个信息系统离散是相容的和一致的，而且各个属性拥有较少的分割区间。最后，本文以干线飞机外形参数的变化趋势与其更新换代的关系来说明文中提出的属性离散化过程，并展示了该聚类算法的有效性。本文提出的方法可以用于机器学习或数据挖掘的数据前处理。     

航天器产品试验过程实时寿命及质量一致性评价技术

在航天器部组件产品试验时存在着海量闲置数据,但由于缺少有效的数据挖掘手段,型号产品的寿命和质量一致性一直得不到有效评估。本文给出了航天器部组件产品实时寿命预测方法和质量一致性评价方法的实施流程,并分析了各类退化预测建模方法和包络建模方法的适用条件。案例验证表明,实时寿命预测可以采用产品性能的实时监测信息,建立产品退化特征预测模型,实现对加速寿命的动态预测;质量一致性评价可以采用历史产品试验信息,构建成功包络线,实现对被试产品是否满足质量一致性要求的有效判别。