一种轻量化高可靠分布式数据处理架构

针对航天型号体系化高带宽智能总线数据的实时处理需求和现有架构数据整理耗时、运维复杂等问题，开展轻量化的高可靠分布式处理架构研究。通过构建元数据模型库和数据解析器完成数据的清洗和转换；采用基于ORC文件格式的分布式文件系统替代原有Hbase分布式列存储方案，增强平台的易用性和可靠性；基于Spark内存计算模型提升平台的计算、分析能力，结合数据流分片存储机制和索引库实现数据查询的优化加速。该分布式处理架构已应用到某装备系统中，保证了系统高密度试验数据的快速处理、稳定存储和高可靠应用，为高带宽实时数据的快速处理和管理提供了一种解决方案。