面向大数据的数据处理与分析算法综述

大数据处理是近年来广受关注和研究的技术领域,数据挖掘作为从大量数据中挖掘隐藏价值信息的技术,是处理大数据的有效工具。本文主要从数据挖掘的角度对大数据处理算法的研究现状进行分类总结。首先介绍了大数据中针对流式数据分类的方法,包括单模型算法和集成分类算法;其次分别从单机算法和基于分布式并行平台的多机算法两个角度概括介绍了大数据聚类方法以及大数据关联规则挖掘方法;最后总结了现有面向大数据的数据挖掘算法的研究进展并展望未来的发展趋势。     

两种基于图论的聚类算法改进(英文)

近年来,基于图论的聚类算法被广泛地应用在数据聚类和图像分割之中。聚类任务主要是挖掘一组给定数据隐含的分布规律和结构信息,而图像分割则是将一幅图像划分为若干互不交迭区域的过程。主要讨论两种比较流行的基于图论的聚类算法,即基于有向树的数据聚类算法和基于最小生成树的图像分割算法。创新在于:(1)改进基于有向树的数据聚类算法,将其应用于图像分割;(2)改进基于最小生成树的图像分割算法,将其应用于数据聚类。在人工数据和实际图像数据上的实验结果表明,改进的有向树算法可以很好地分割图像并保留图像中足够的细节,而改进的最小生成树聚类算法能比较好地聚类具有流形结构的人工数据。     

一种改进的隐私保护关联规则挖掘算法

部分隐藏的随机化回答方法是基于关联规则数据挖掘的隐私保护算法,针对该算法在重构频繁项集支持度上的指数级时间复杂度导致算法执行效率下降的不足,采用分治策略和集合运算方法对该算法进行改进,消除重构数据的指数级运算。改进算法降低了算法的时间复杂度并有效提高了执行效率。仿真实验与分析表明了改进算法的有效性。     

一种新的空间多维关联规则模型与算法

空间对象具有自相关、连续性、多尺度等特点，导致空间关联规则挖掘与传统的统计关联规则挖掘不同，不存在统计的“事务”，挖掘更加复杂。本文用基于空间相关的影响域来创建“空间事务”，以代替传统关联规则挖掘中的事务，建立了一种新的应用于挖掘空间多维数据的空间多维关联规则模型(Spatial multidimensional association rules model，SMARM)。设计并实现了一种新的挖掘算法SMARBIA，用基于影响域、空间支持度等剪枝技巧，克服了空间多维关联规则挖掘过程中候选项目集庞大的困难。实验表明，该算法能有效地减少候选项目集而获得较好的性能。     

最小支撑树算法在基因表达数据聚类分析中的应用

聚类分析已成为对基因表达数据进行挖掘以提取生物医学信息的主要方法.本文提出了基于图论的最小支撑树(Minimum spanning tree,MST)聚类算法,用MST表示多维基因表达数据,可将数据的聚类转换为对最小支撑树的分割,相对于传统聚类方法,最小支撑树算法具有形象直观、对一些准则函数能产生全局最优解等优点;将MST算法分别与Memetic algorithm及人工免疫算法(Artificial immune network,aiNet)相结合,则产生更优化的聚类结果.对酵母基因表达数据的实验结果表明,最小支撑树聚类算法是一种有效的基因表达数据的聚类方法.     

遗传算法在多维多层关联规则挖掘中的应用

关联规则生成是数据挖掘技术中一个非常重要的研究领域,自1993年提出经典频集算法后,出现了很多以此为基础进行了改进的算法,但都存在着明显的缺陷．文章中根据遗传算法的基本思想以及关联规则挖掘的有关理论构造了一种生成多维多层关联规则的遗传算法,在一定程度上克服了经典频集算法的不足之处,提高了生成关联规则的有效性．     

A NEW ALGORITHM FOR ALL EFFICIENT SPANNING TREES

Ｃｏｒｌｅｙ提出了一种求所有有效生成树的算法，但该算法得到的最终解含有许多非有效的生成树。本文提出一种新的算法，首先指明了Ｃｏｒｌｅｙ算法理论基础的缺陷，然后进一步提出并证明了一个子树是有效生成树的子树的两个必要条件。根据这个结果，建立了这种新算法并证明了它的有效性。     

一种基于元路径拥塞模式挖掘的移动对象位置预测方法

路网上移动对象位置预测是许多位置相关服务的基础。目前移动对象位置预测方法没有充分考虑到轨迹数据中所蕴含的道路拥塞信息,而路网上的道路拥塞状态对移动对象的位置更新会产生巨大影响。提出基于元路径拥塞模式挖掘的方法(Meta-congestion-pattern mining,MCPM)。在离线挖掘阶段,从历史轨迹的频繁路径(元路径)的紧集中挖掘当地的拥塞模式,并对运动模式进行建模,其中采用基于k均值的聚类算法解决数据稀疏性问题。在线预测阶段根据挖掘的拥塞模式和运动模式依概率进行预测。最后通过理论分析和实验验证得出了算法的有效性,与相同条件下的精度预测(WhereNext,WN)方法相比,平均预测准确性提高了近20%,预测时间平均缩短了近50%。     

三维曲面部分匹配的算法研究

将基于曲率分析的曲面片形状划分方法和几何哈希相结合，提出一种通用的空间曲面匹配算法。对待匹配的三维曲面模型，计算其网格顶点的主曲率和法矢；由主曲率和该点所在的曲面片类型来构造其无向脚标，有向脚标为该点的法矢。按照多重筛选标准生成数量少却有效的匹配点对，建立候选点对列表。由候选点对所生成的三维空间变换组成哈希表，运用双层哈希投票机制得出使模型能够正确匹配的三维坐标变换矩阵。实验表明，该算法适用于具有部分重叠的曲面模型的匹配，并能保证较好的匹配精度和速度。     

树自动机超最小化

提出一种新的树自动机超最小化算法,该算法将确定的树自动机转换为确定的有限自动机,再根据确定的有限自动机划分f-等价类方法及状态合并算法,对转换后的自动机进行超最小化,得到最终具有有限差异的确定的树自动机。通过采用实例算法证实:该算法与现有的确定的树自动机超最小化算法相比,具有过程简单、效率高等优点,是一种高效易用的算法。     

WEB访问信息挖掘中的关联规则发现算法的研究

本文采用了一种快速算法Aprioti，将传统数据挖掘技术中的关联规则发现技术引入web数据挖掘，并针对在Web应用的特点进行了改进，有效地提高了求高频站点集的效率。     

基于模糊数据挖掘的网络入侵检测模型

提出了一个基于模糊数据挖掘的入侵模型.异常检测的一个主要问题是正常模式随时间变化.如果一个实际的入侵行为稍有偏差就有可能与正常的模式相匹配,而异常检测系统则无法检测到这种入侵行为.为解决这个问题,本文利用模糊数据挖掘技术建立正常模式,并用一组模糊关联规则表示.在进行异常检测时,利用新的审计数据挖掘当前模糊关联规则,并计算其与正常模式的相似度,如相似度低于规定的阈值,使其产生入侵警报.最后,文中利用遗传算法优化模糊成员函数来选择其参数.     

外关联规则挖掘

根据项集内项的关联性,现有关联规则挖掘算法可分为正关联规则挖掘和负关联规则挖掘两大类,它们反映的是项集内频繁项之间的关联性。通过对实际数据集的分析发现,一个项集可以划分成若干子项集,子项集内的项有较高的相关性,而不同的子项集相关性则较低,这意味着每个子项集与其外部的一个潜在因子间存在着关联,由此本文提出了外关联规则的概念,并基于因子分析和主成分分析方法,提出了外关联规则挖掘算法(FAAR),从而将项集内的关联规则挖掘外推到子项集和潜在因子集之间的外关联规则挖掘,扩展和丰富了关联规则挖掘的应用,在此基础上还可进一步发现它所蕴涵的正、负关联规则。     

基于时间序列数据挖掘的旋转机械故障预报

提出一种基于时间序列数据挖掘的故障预报新方法。把故障前兆因子作为一种暂态,根据旋转机械轴承振动的实验数据建立时间序列．利用时延嵌入的方法重构状态空间,在状态空间中使用遗传算法搜寻最优暂态束．组成暂态集。用暂态集对旋转机械轴承振动的测试数据进行分析．判断是否为故障前兆因子．从而实现故障预报。     

面向电子商务的Web挖掘系统模型研究与应用

研究了电子商务和Web挖掘技术，提出了面向电子商务的Web挖掘系统模型，该模型包括数据采集层、数据处理层、数据存储层、模式发现层、模式分析利用层和客户层六个层次。详细研究了系统的数据采集、数据处理、数据存储以及模式发现、模式分析利用。基于该模型开发了面向电子商务的Web挖掘应用系统，此应用系统在实际应用中产生了巨大的经济效益。     

时空轨迹群体运动模式挖掘研究进展

群体运动模式是时空轨迹模式挖掘的重要内容，用于发现群体运动规律、群体运动趋势以及群体事件。本文首先对群体运动模式建模和群体运动模式挖掘两个层面存在的问题与挑战进行了阐述。接着，对群体运动模式进行了分类，将其分为有领导者运动模式、伴随模式、突变运动模式、流行运动模式、聚集运动模式和发散运动模式。最后，介绍了各种群体运动模式之间的区别与联系，对各种群体运动模式挖掘算法思想进行了综述。     

基于灰色GM(1,1)模型和灰关联的数据挖掘方法

根据灰色系统模型的特点,将灰色GM（1,1）模型应用于数据的预处理,把灰关联作为一种直接的数据挖掘工具对数据进行关联分析,结合GM（1,1）模型和灰关联,给出一个完整的数据挖掘算法。