共查询到10条相似文献,搜索用时 15 毫秒
1.
以提升航天大数据软件的数据处理性能为目的,以原有的MapReduce框架为基础,提出一种新的面向国产平台的基于Spark内存计算和数据预处理技术相结合的技术。将原软件框架的数据解析算法前移,采用Kafka消息队列对不规格数据进行分布式预处理。针对MapReduce框架消耗内存过大的问题,利用RDD调用机制与Spark内存计算的优势,采用一种基于Spark的快速处理框架,并在国产平台上进行了移植适配。经工程验证,新的基于Spark框架的数据处理性能较之前的MapReduce的数据处理性能有了显著提升,稳定实现了在面向全国产平台的大数据批处理技术的性能优化。 相似文献
2.
试验数据管理平台设计研究 总被引:1,自引:0,他引:1
为了解决试验数据管理中面临的4方面问题,需建立基于关系数据库的试验数据管理平台.设计该平台需首先对试验数据管理平台设计需求进行全面分析梳理,基于软件4个方面的需求和软件设计思想,设计试验数据管理平台框架,平台框架的3个层面内容包括:数据访问层、业务逻辑层及界面展现层,搭建、配置及实现完成试验数据管理平台软件部分同时根据该平台软件性能需求配置与之匹配的硬件设备.针对试验数据管理平台开发设计中涉及的4项关键技术进行简要介绍,包括数据库架构设计、数据解析存储技术、数据查询、统计技术及数据协同类比分析技术.基于试验数据管理平台进行应用,实现海量试验数据存储,关键参数统计比对、包络线分析,数据分类解析导入与规范输出,试验资源管理. 相似文献
3.
4.
5.
6.
7.
8.
基于MPI的卫星遥感数据实时处理平台设计 总被引:2,自引:1,他引:1
针对高速率卫星遥感数据实时处理的要求,设计了一种卫星遥感数据实时处理平台。该平台采用分层设计思想,自上而下分为表现与控制层、业务处理层、基础服务层和应用支持层。结合消息传递接口(MPI)技术,构建了分布式实时并行处理平台框架。原型系统验证结果表明,该平台能处理下传码速率达450Mbit/s的双通道数据,单通道处理速率高达6Gbit/s。文章提出的平台设计应用于遥感卫星的地面检测系统,具有处理速度快、运行稳定的优点。 相似文献
9.
《航天器工程》2021,30(2)
针对航天器软件基于星内路由的进程间通信方式存在的通信过程不灵活,配置繁琐易产生错误,通信功能简单、难以满足复杂通信需要等问题,文章提出了一种基于数据分发服务(Data Distribution Service, DDS)的航天器软件通信框架(Satellite-based DDS,S-DDS),并对S-DDS进行了访真验证。结果表明:该框架实现了灵活便捷的进程间通信过程,无需对通信过程进行繁琐的配置,同时能够满足复杂的通信需要,使软件开发过程更为简单快捷,有效解决了目前航天器进程间通信存在的问题,可为航天器软件进程间实现灵活便捷的通信过程提供参考。 相似文献
10.
针对导弹武器系统抗干扰性能评估中无法综合利用不同来源试验数据的问题,提出了融合多源试验数据的工作流程和方法.该方法通过试验数据的汇集和筛选、分类和统一描述,实现了对不同导弹武器分系统、内外场、不同平台试验数据的融合,为定量、准确评估导弹武器系统的复杂电磁环境适应性能力,提升作战效能提供了基础理论支撑. 相似文献