一种基于Spark的国产化海量数据预处理和计算技术

以提升航天大数据软件的数据处理性能为目的,以原有的MapReduce框架为基础,提出一种新的面向国产平台的基于Spark内存计算和数据预处理技术相结合的技术。将原软件框架的数据解析算法前移,采用Kafka消息队列对不规格数据进行分布式预处理。针对MapReduce框架消耗内存过大的问题,利用RDD调用机制与Spark内存计算的优势,采用一种基于Spark的快速处理框架,并在国产平台上进行了移植适配。经工程验证,新的基于Spark框架的数据处理性能较之前的MapReduce的数据处理性能有了显著提升,稳定实现了在面向全国产平台的大数据批处理技术的性能优化。     

遥测数据实时预处理器

本文介绍我国首次研制成功的工程实用化的ＹＺ４—４遥测数据实时预处理器的设计思想、系统工作原理和主要技术特点。该预处理器采用数据流。作方式的硬件体系结构，以高速单片数字信号处理器作为核心运算单元，实现遥测数据的高速实时处理，全部数据处理功能均由软件实现，使预处理器具各通用性、功能可扩充性、实时性、可靠性等多种特点。该预处理器可配置于各类大、中型遥测地面实时处理系统，以提高系统的实时数据处理能力与多种任务的适应能力。     

用现成微处理机完成复杂的遥测预处理

本文介绍一个以微处理机为主机的系统,用以对复杂的高速遥测数据进行预处理。所用的微机是最新式的Motoroloa68020系列计算机。本文全面介绍系统的硬件和软件,并对所用的复杂算法和有关的数据处理作了说明。着重报道涉及参数容量和数据吞吐率的测试结果。对系统的体系结构采用多种通用的折衷法进行了分析,本系统把兆字极的遥测数据(如废点剔除、相位对齐和参数推导等)预处理技术推向新的高度。     

基于CCSDS—CDAS模型的空间机械臂数据管理软件设计

根据某空间机械臂的总线拓扑结构以及指令与数据特性，对空间数据系统咨询委员会（CCSDS）提出的指令与数据获取业务（CDAS）模型进行了研究，结合设备虚拟化业务，采用面向对象的方法进行设备抽象，阐述了设备数据池业务设计时的遥测数据更新、上层业务数据获取、数据有效性的判别等关键问题。提出了基于指令与数据获取业务模型的机械臂数据管理软件构架，并已在某机械臂中央控制器上成功应用。     

可编程配置高码速率遥感卫星数据帧同步记录设备的研制

介绍了可编程配置高码速率遥感卫星数据帧同步记录设备的研制和实际测试结果。对帧同步器、PCI总线接口逻辑、数据记录及软件编程等进行了较详尽地说明。最后，集中概括了该设备的突出特点，即完全可编程控制、帧同步速度快、数据记录速率高、易扩展等。     

Fairchild Weston System公司遥测地面站

一、EMR8715多路预处理机现代飞行器试验中,数据率不断增大,帧结构也越来越复杂,同时,还要求不断提高实时决策能力。这就要求遥测地面站必须有功能更强的遥测处理机。Fairchild Weston System公司(FWS公司)为此开发了遥测多路预理系统(TEMPS)。它包括EMR8715遥测预处理机和一套主计算机软件。8715预处理机可与EMR8300系列硬件联合使用。8715使     

法国遥感卫星SPOT数据1A级预处理技术

航天遥感原始数据的预处理是建立地面数据应用工程运行系统的关键技术之一。在１Ａ级预处理中，需要解决处理任务组织和系统环境支持问题，需要完成数据回放、相对辐射校正、景地理坐标计算作业，这些问题的解决方法对遥感数据处理技术具有一定普遍意义。本文还介绍了一种数据预处理系统。     

多格式载荷数据处理与管理平台的设计和实现

为了解决现有航天器载荷数据处理软件灵活度差、处理效率低的问题,设计了一种基于多级解包预处理策略以及并行处理调度算法的多格式载荷数据处理与管理平台。通过在某卫星的载荷试验数据处理与存储管理任务中的应用,验证了该平台设计的可行性和有效性。研究结果可为航天器多种格式的载荷数据并行处理与统一管理提供参考。     

远置单元的设计和研制

远置单元是星载数据管理系统的一个重要单元,是直接面对测控用户的设备。它以80C31CPU为核心,组成智能化的测控单元,使传统的、经典的采集体制起了根本的变革,从集中采集变为分散采控;从硬件采集结构变为软、硬件结合的智能化采控设备。它与主机配合可以完成数据预处理和数据压缩、自主闭环控制、可编程序遥测等任务。设计中采用功能模块和内总线母板的先进方法,为产品通用化、系列化、组合化的要求,打下了技术基础。星栽设备中,由中央控制单元(CTU),串行数据总线(SDB)和远置单元(RTU)组成了分级分布式的计算机采控和数据管理系统。     

基于移动云平台的户外安全监护APP的设计

为了方便了解老人、儿童等特殊人群的户外安全问题,开发了一种移动设备监控软件系统。该系统借助移动云平台存储和处理数据,用户通过手机等移动设备使用,可实施紧急定位、位置追踪及SOS报警等,以获取有重要价值的信息。     

基于先验动力学轨道的星载双频GPS数据预处理

针对星载双频GPS数据预处理中的野值剔除和周跳检测问题,提出了基于先验动力学轨道的星载双频GPS数据预处理方法。与传统GPS数据预处理方法在数据利用上局限于GPS原始观测数据本身不同,该方法还利用了动力学定轨产生的先验轨道信息以及GPS卫星精密轨道、钟差数据,并构造接收机钟差估计量和接收机钟差差分值估计量来剔除野值和探测周跳,提高了野值剔除和小周跳探测能力。对CHAMP卫星在轨实测数据的处理分析表明,该方法可以探测出1周甚至0.5周的周跳,可为高精度定轨提供更“干净”的数据源。     

现代计算机遥测系统中的预处理

目前,许多数据处理工作正越来越多地从主计算机转给主机前端的小型通用预处理器。本文讨论进行预处理的一些理由,并介绍一个通用预处理器。另外,讨论了预处理器在“MIL 1553多路总线”数据变换以及数据的合并、识别、压缩、工程单位的转换、数据的排列形式及数据的分类等许多常规任务中的应用。     

实时遥测数据融合机制研究

在分布式遥测系统中,实时遥测数据融合软件可以任意驻留在采集服务器或者任一客户端上,也可以单独运行在一台数据融合服务器上,完成设备数据管理、实时数据融合、融合效果评估输出等功能。采用多数据流智能选择实时融合模式并联方式工作,将大大提高系统输出正确数据的可靠性,同时确保指挥大厅数据显示的准确性。     

遥测数据事后分析处理系统的设计与实现

随着高速数字采集、大容量磁盘阵列记录和软件无线电技术的迅速发展 ,利用大容量磁盘阵列实现遥测数据实时记录已成为卫星地面接收设备的发展趋势。针对这一发展趋势 ,提出遥测数据事后分析处理系统 ,介绍其设计思想及组成结构 ,说明解调模块和帧处理模块设计及实现中涉及的关键技术。该系统能实现对记录遥测数据的事后分析处理 ,解决目前接收回放遥测信号设备使用、维护费用高的问题     

实时飞行实验中的遥测预处理

近年来,由于弹载电子设备越来越复杂,因而向地面传输的遥测数据也越来越多,并需要现代化的遥测系统来接收和处理这些数据。面对如此复杂而繁重的任务,我们必须继续运用遥测预处理的概念。本文讨论了遥测预处理的若干优点,介绍了一种数据输入(合并数据和标记时间)选址系统、工程单位转换(多项式扩展和查表)、数据分类(处理、时间历程和显示缓冲器),还介绍了数据直接输给纸带、记录仪和打印机/绘图仪的过程,速度在300k字/秒以上。     

试验数据管理平台设计研究

为了解决试验数据管理中面临的4方面问题,需建立基于关系数据库的试验数据管理平台.设计该平台需首先对试验数据管理平台设计需求进行全面分析梳理,基于软件4个方面的需求和软件设计思想,设计试验数据管理平台框架,平台框架的3个层面内容包括：数据访问层、业务逻辑层及界面展现层,搭建、配置及实现完成试验数据管理平台软件部分同时根据该平台软件性能需求配置与之匹配的硬件设备.针对试验数据管理平台开发设计中涉及的4项关键技术进行简要介绍,包括数据库架构设计、数据解析存储技术、数据查询、统计技术及数据协同类比分析技术.基于试验数据管理平台进行应用,实现海量试验数据存储,关键参数统计比对、包络线分析,数据分类解析导入与规范输出,试验资源管理.     

应用微处理机的遥测数据采集系统

本文扼要地叙述了遥测数据采集系统的发展过程,并从节省系统的设计时间、降低成本、设备的小型化和通用化等方面论证了今后遥测数据采集系统发展的必由趋向是微处理机控制的数据采集系统。文中提出了目前可实现的一种方案,并从硬件和软件两个方面对数据采集系统的构成作了简略的说明。     

基于LabVIEW的数据采集系统的设计

为了提高测试设备数据采集的效率,基于虚拟仪器软件LabVIEW和数据库工具包LabSQL完成了一个数据采集系统的设计。设计中包括硬件组成、系统功能设计、软件设计等内容。为了测试惯性系统测试设备的性能,该系统通过一个16路的PCI模拟数据采集卡和一个15路的PCI数字采集卡对这些设备的多组参数进行采集,对数据进行分析处理后存入数据库中。并且具备查询功能。将Labview技术应用于测试案例中,充分发挥了其计算功能强大,采集数据快捷的特点。自运行以来,系统各项功能稳定,符合设计要求。     

基于最小系统的小卫星在轨软件重构系统设计

提出一种基于星载终端处理设备最小系统的小卫星在轨软件重构系统设计方案。依据星上信息流实现现状,设计重构系统的系统框架,提出星载终端处理设备的最小系统组成、通用功能集和需要满足的整星安全性功能需求。系统中,应用软件程序数据按照注入帧格式通过遥控通道注入到星上,可缓存在星务存储器中再分发给终端目的设备,通过最小系统软件对应用程序进行引导和加载管理,整个过程均有差错控制设计以保证其可靠性和安全性。软件重构试验和容错试验表明,利用该系统可实现星载微计算机软件和FPGA配置数据的可靠上注、可靠存储和可靠加载。     

航天器数据管理系统软件的自动化测试系统设计

针对目前航天器数据管理系统软件人工测试存在的测试效率低、测试有效性差的问题,提出一种数据管理系统软件的自动化测试系统设计,在虚拟的数据管理系统设备上运行数据管理系统软件,应用自动化测试系统完成对数据管理系统软件的测试。引进虚拟测试(VTEST)平台软件、电子信息设计系统(EDS)及测试接入控制(TAC)系统3种工具,创建一种分层架构的测试系统,各层之间通过标准接口进行数据交互,以利于系统维护和被测对象的接入。由于自动化测试系统的测试实施过程不需要人工干预,避免了人工操作过慢、误操作、重复操作等问题,因此测试时间相比人工测试可缩短40%,而且能避免人工误判导致的测试不充分问题,能提高测试的有效性,从而提高数据管理系统乃至整器的可靠性。