一种基于Spark的国产化海量数据预处理和计算技术

以提升航天大数据软件的数据处理性能为目的,以原有的MapReduce框架为基础,提出一种新的面向国产平台的基于Spark内存计算和数据预处理技术相结合的技术。将原软件框架的数据解析算法前移,采用Kafka消息队列对不规格数据进行分布式预处理。针对MapReduce框架消耗内存过大的问题,利用RDD调用机制与Spark内存计算的优势,采用一种基于Spark的快速处理框架,并在国产平台上进行了移植适配。经工程验证,新的基于Spark框架的数据处理性能较之前的MapReduce的数据处理性能有了显著提升,稳定实现了在面向全国产平台的大数据批处理技术的性能优化。     

一种轻量化高可靠分布式数据处理架构

针对航天型号体系化高带宽智能总线数据的实时处理需求和现有架构数据整理耗时、运维复杂等问题,开展轻量化的高可靠分布式处理架构研究。通过构建元数据模型库和数据解析器完成数据的清洗和转换;采用基于ORC文件格式的分布式文件系统替代原有Hbase分布式列存储方案,增强平台的易用性和可靠性;基于Spark内存计算模型提升平台的计算、分析能力,结合数据流分片存储机制和索引库实现数据查询的优化加速。该分布式处理架构已应用到某装备系统中,保证了系统高密度试验数据的快速处理、稳定存储和高可靠应用,为高带宽实时数据的快速处理和管理提供了一种解决方案。