首页 | 本学科首页   官方微博 | 高级检索  
相似文献
 共查询到20条相似文献,搜索用时 15 毫秒
1.
临近空间科学探测数据的共享与实践   总被引:1,自引:1,他引:0  
为促进鸿鹄专项临近空间科学探测数据资源的有效应用,为国家科学数据资源增加新的数据成员,开展临近空间科学探测数据共享相关技术研究.依据相关元数据国家标准与规范,借鉴参考多个领域科学数据元数据的构建方法,通过分析临近空间科学探测数据的数据特征,研究设计了符合临近空间科学探测数据共享需求的核心元数据模型,从不同角度描述了临近空间科学探测数据的数据特征和用户访问数据时所关心信息,并基于该模型实现了临近空间科学探测数据资源目录服务,设计了临近空间科学探测数据共享服务平台,实现了临近空间科学探测数据的归档管理和共享分发,为使用鸿鹄专项数据开展科学研究和有效应用提供了有效支撑.   相似文献   

2.
不同场景下数据类型和脱敏需求的差异,使得传统的数据脱敏方法难以满足大数据背景下的用户隐私保护需求。如何实现异构大数据中敏感信息的精准定向、高效脱敏,从而更好地确保数据安全、可信和可用,是本领域的研究难点。提出了一种在异构大数据环境下,基于文本、图片、音频和数据库等异构数据的脱敏模型,并对4个关键模块进行了描述。通过脱敏数据预处理,实现不同应用场景下敏感数据的自动标注和分级设置。采用数据预脱敏处理方法,并从数据可用性、数据关联性、隐私保护度、时间和空间复杂度等5个维度进行脱敏效果评价,实现定制化脱敏策略。经过脱敏任务调度完成脱敏任务分配和执行,并支持用户对部分脱敏数据恢复。基于提出的异构大数据脱敏模型,对2种典型数据脱敏应用场景进行了验证分析,表明所提模型能够实现不同应用场景下异构敏感数据的高效脱敏。   相似文献   

3.
VLBI全球观测系统-VGOS的数据采集系统具有超宽的记录带宽和超高的数据速率,数据率稳定可达16Gbit/s。数据回放及解析等预处理工作是数据采集到相关处理的关键步骤。针对国内VGOS数据采集系统,研发了VGOS基带数据预处理系统,分析了高速记录的元数据及基带数据格式,设计实现了数据记录、聚合、解析、重组等预处理模块。通过对预处理系统的研究和测试,分析了其效率提升的方法。利用预处理系统成功对国际VGOS站观测数据进行回放和解析,经过数据的相关处理成功获得了干涉条纹。表明预处理系统可正确处理高速数据,预处理过程中数据聚合速率平均可达到10Gbit/s,解析效率可达3.6Gbit/s,满足当前VGOS观测数据的超宽带、超高速处理要求。  相似文献   

4.
在国家地质调查应用网格环境中,数据集成除了实现异构数据源中数据检索,还应满足异构数据管理系统之间数据约束关系维护与协同工作的需求.针对这一需求,提出一种基于面向服务的体系结构(SOA,Service Oriented Architecture)的数据集成机制.将虚拟化的局部数据信息与全局统一的抽象数据视图相结合,形成层次化数据信息组织模型;通过该模型,维护异构数据之间的约束依赖关系,利用数据管理系统触发器与网络服务,满足数据管理系统的协同工作需求.基于研究成果的数据集成中间件NGG-DBMs(National Geology Grid-Data Base Management system)系统平稳运行于国家地质调查应用网格环境中.   相似文献   

5.
随着卫星遥感技术水平的提高,遥感数据的类型和数据量快速增加。为适应多类型、高速率遥感数据传输的复杂需求,对数传信息流进行了顶层设计,定义了数传与遥感系统数据接口以及数传帧格式,对遥感数据传输所需码速率进行了分类计算,为设计固定的下行数传码速率提供了依据。进而针对不同类型的遥感数据提出了基于分组优先级虚拟信道动态调度策略的数传信息流设计方案,确保不同类型遥感数据的传输满足不同的应用需求。对高速遥感数据确保满足较低的缓存容量需求,对低速遥感数据确保满足实时性传输需求。采用动态仿真技术对数传信息流设计方案进行了试验验证。设计方案可为后续新一代遥感卫星数传系统设计提供参考。  相似文献   

6.
飞机载荷谱实测数据视景仿真是飞机机动动作识别和实测数据有效性验证的重要手段.针对飞机实测数据源的不同数据结构,提出了逻辑数据通道的数据存储方法,解决了不同实测对象形成的不同数据源结构差异问题;针对大数据量实测数据进行飞行视景模拟时模型复杂性造成的性能问题,建立了物理通道和逻辑数据通道解析模型;基于数据双缓冲和绘图双缓冲机制,构建了飞行器模型和实测数据视景仿真系统环境,对不同试验用机的飞行实测数据进行了分析和验证.该视景系统完全满足Gigabyte级别的不同机型载荷谱飞行实测试验数据的验证和机动动作识别要求,完整地再现整个飞行历程,为飞机飞行历程机动动作识别、数据有效性验证和数据后期处理提供可视化平台.   相似文献   

7.
卫星正常运行要求星载子网的数据传输管理需具备可靠性、安全性与实时性,能够在规定的时间内完成传输任务,因此需要设计一种合理的数据传输管理方案来满足要求。考虑到1553B总线的数据传输具备速率高、可靠性好和实时性强等优点,选取1553B总线作为星载子网的数据总线,并提出了一种适用的数据传输管理方案。方案合理设计了星载子网的消息结构、消息种类、组网方式、消息传输机制、消息传输流程、消息传输时隙等。最后通过搭建测试平台对传输管理方案进行测试,测试结果表明此方案传输速率高、误码率低、实时性强,可以满足要求。  相似文献   

8.
预测用户的网络搜索行为对改进搜索引擎和提升用户体验十分重要.现有大多数方法是基于用户的交互数据,如查询、点击和鼠标移动等.提出一种基于眼动数据的用户网络搜索行为预测方法.通过眼动实验,采集用户在网络搜索任务时的眼睛运动数据,将这些数据转化成两种数据格式:直方图和序列.直方图数据描述用户注意力的分布情况,序列数据呈现用户的扫视路径.使用4种学习算法对用户决策或用户意图进行预测,同时研究两种数据格式的性能.结果显示,两种数据格式均适合于预测用户决策,而序列数据更适合于预测用户意图.该结果表明,利用眼动数据能够有效预测网络搜索行为.   相似文献   

9.
卫星正常运行要求星载子网的数据传输管理需具备可靠性、安全性与实时性,能够在规定的时间内完成传输任务,因此需要设计一种合理的数据传输管理方案来满足要求。考虑到1553B总线的数据传输具备速率高、可靠性好和实时性强等优点,选取1553B总线作为星载子网的数据总线,并提出了一种适用的数据传输管理方案。方案合理设计了星载子网的消息结构、消息种类、组网方式、消息传输机制、消息传输流程、消息传输时隙等。最后通过搭建测试平台对传输管理方案进行测试,测试结果表明此方案传输速率高、误码率低、实时性强,可以满足要求。  相似文献   

10.
工业互联网是工业信息化进程中最受关注的热点,海量异构数据管理是其中的重点之一。传统的关系数据库(RDB)对海量多源异构数据的读写和检索都存在性能瓶颈,而近年来兴起的云数据管理方法主要是针对“键-值”(K-V)模式,无法依靠主键以外的数据属性对数据进行快速查找。提出了一种面向工业互联网的云存储方法——StoreCDB,在异构采样数据统一表达数据模型基础上,实现非结构化存储管理,同时,利用两级索引实现海量数据的快速检索。通过实验,在分布式集群实验平台上,采用海量高铁列车运行模拟数据,验证了StoreCDB具有良好的异构数据存储和检索性能,为工业互联网提供了一种新的数据管理方法。   相似文献   

11.
目前,企业数据往往分散于各个独立的业务系统中,因此不能很好的实现数据的统一管理和集成,基于对分布异构数据资源特点的分析,提出了一种保持数据完整性的数据集成机制.该机制通过三级模式(本地模式、局部模式和全局模式)的映射建立了层次化的数据模型,屏蔽了数据的异构性,并提出了一个数据完整性检查算法,即在数据集成中保证了基于全局模式的数据完整性,从而达到了既能实现数据资源的共享,又能将分布异构的数据资源形成有机整体的目的,最后以地震行业前兆数据集成平台的某一应用场景为例,说明了该数据集成机制具有保持数据完整性的能力.   相似文献   

12.
目前普遍使用TLE数据进行在轨物体的危险交会预报. TLE数据误差不仅会影响交会预报的准确性, 还是计算碰撞概率的必要参数, 因此, 只有准确估计TLE数据误差, 才能得到可信的碰撞概率数值. 本文采用两种方法, 即TLE数据自比和与高精度轨道预报数据相比较的方法, 计算TLE数据误差, 并分别利用TLE数据和高精度数据计算同一交会, 比较两种数据预报的交会结果差异. 结果表明, 采用TLE根数自比方法的计算误差偏小, 而使用精轨数据作为校准数据所得到的TLE误差更接近真实误差, 计算碰撞概率更为合理, 有利于减少虚警.   相似文献   

13.
针对现有的大多数跨模态视频检索算法忽略了数据中丰富的语义线索,使得生成特征的表现能力较差的问题,设计了一种基于多语义线索的跨模态视频检索模型,该模型通过多头目自注意力机制捕捉视频模态内部对语义起到重要作用的数据帧,有选择性地关注视频数据的重要信息,获取数据的全局特征;采用双向门控循环单元(GRU)捕捉多模态数据内部上下文之间的交互特征;通过对局部数据之间的细微差别进行联合编码挖掘出视频和文本数据中的局部信息。通过数据的全局特征、上下文交互特征和局部特征构成多模态数据的多语义线索,更好地挖掘数据中的语义信息,进而提高检索效果。在此基础上,提出了一种改进的三元组距离度量损失函数,采用了基于相似性排序的困难负样本挖掘方法,提升了跨模态特征的学习效果。在MSR-VTT数据集上的实验表明:与当前最先进的方法比较,所提算法在文本检索视频任务上提高了11.1%;在MSVD数据集上的实验表明:与当前先进的方法比较,所提算法在文本检索视频任务上总召回率提高了5.0%。   相似文献   

14.
临近空间在科学、经济和军事等领域具有重要价值,高效便捷地进行临近空间数据Web科学可视化和信息提取是临近空间数据应用不断深入和扩展的必然需求,但是,已有的临近空间数据类型繁杂和数据量巨大,成为Web传输和实时可视化的关键瓶颈。从数据组织方法角度展开了研究,根据临近空间数据的特点,结合视频压缩原理,提出了将临近空间数据进行分解、插值和色彩空间变换处理形成图像后,选取适宜视频压缩编码方法将图像编码为视频。实验结果表明:所提方法可以实现临近空间数据在Web环境下的高效组织,在保障可视化质量的前提下通过降低数据网络传输量实现了临近空间数据的实时可视化需求。研究结果可以直接解决临近空间数据Web实时可视化问题,将为临近空间科学研究和知识发现提供可视化理论和技术支持,并为类似海量数据Web科学可视化提供方法借鉴。   相似文献   

15.
星载原子钟的数据预处理是进行原子钟性能分析和钟差预报的前提,本文主要利用相位数据和频率数据的转换和异常数据的分析处理方法对原子钟数据进行了预处理,有效的保证了数据的可靠性。  相似文献   

16.
Three topics are considered, all resulting from the desire to maximize the utilization and overall quality of the FGGE data sets.First, the production of Level III-b oceanographic and meteorological analyses in the FGGE format has been undertaken by the Fleet Numerical Oceanography Center. The oceanographic data, in particular the sub-surface oceanographic data, is a unique addition to the FGGE data base.Next, the FGGE Level II-b data set is the most comprehensive set of synoptic-scale meteorological data ever assembled to date. Under development is a program aimed at compacting and restructuring the Level II-b data according to observing systems, so that the data will be more readily usable and more economical for users interested in smaller and/or different portions of the total FGGE Level II-b data set.Lastly, as a result of the United States pre-FGGE Data Systems Tests, a need was indicated for a special effort to edit and enhance satellite soundings and cloud motion wind data during FGGE. A formal program to carry out such an effort has been established jointly by NASA, NOAA, and the University of Wisconsin.  相似文献   

17.
卫星载荷总线数据流接口的实现对于卫星载荷数据流的传输体制能否正常工作起着关键性的作用,设计合理的数据流管理方案对于卫星载荷之间的正常通信至关重要。MIL-STD-1553B总线数据传输速率高,实时性好,具有合理的差错控制措施和特有的方式命令,适合星上大数据量的传输任务和特定环境的需求。本文使用龙芯配置卫星载荷1553B总线的工作模式,合理设计载荷数据流的传输形式,实现卫星载荷1553B总线的数据流接口。测试结果表明,数据接口可靠性高,实际应用效果好,满足卫星上的通信设计要求。  相似文献   

18.
复杂软件系统往往由不同地域的研发团队采用不同的开发工具来协同完成,研发过程中存在数据难以集成的问题.基于开放式生命周期协作服务(OSLC)规范来设计软件协同开发数据接口,有利于提高软件协同开发的效率.首次结合工厂模式和OSLC规范设计并实现数据集成接口,将不同工具的数据集成抽象成统一的公共接口,从而采用统一的数据接口和规范实现不同工具的数据集成,有利于优化软件系统体系结构.以符合OSLC规范的Bugzilla缺陷管理系统和Jenkins持续集成工具的集成为例,以面向航天软件系统研发的SunwiseAEM一体化研发管理平台为载体,基于工厂模式设计并实现了符合OSLC规范的数据集成系统,实现了不同工具间的数据集成,提供了一种通用的、可扩展的数据集成方式.  相似文献   

19.
当前,国内移动电话用户已达15.9亿,在巨大的用户基数下,电信大数据呈现的特征在一定程度上反映了人群活动特征,进一步能够反映特定区域的发展状况。时空区域经济可视化应用利用数据挖掘技术对电信大数据进行处理和提取,以提高数据质量,并对数据进行不同规则的筛选,通过建模技术进行分析,结合电子地图数据、交通数据等多源信息,多角度分析用户行为特征。该应用分析对时空区域经济状况进行可视化研究,分析居民生活属性,同时,利用双重差分(DID)统计模型对区域经济政策进行评价。基于特征分析结果,为区域经济发展热点选址、指导城市商圈布局提供决策依据,提高了城市系统运行的效率,扩大了经济区域效益范围。   相似文献   

20.
乏信息多传感器压力数据自助模糊融合估计   总被引:1,自引:0,他引:1  
乏信息多传感器压力测量数据的融合估计是压力测量研究的重要问题,不同于经典的统计学方法,结合自助法和模糊数学的相关算法,提出一种实现乏信息多传感器压力测量数据融合估计的自助模糊数学模型.对具有乏信息特征的多个压力传感器的测量数据进行自助抽样;利用最大熵算法构建出不同时刻与位置的多个压力传感器测量数据的自助分布;用自助分布进行加权均值计算,提取相应特征值,得到自助融合序列;通过模糊隶属函数得到所测压力值的真值与区间估计.实例计算表明:在乏信息条件下,算法精度可达87%;在大样本条件下,测量数据在置信水平99.7%下,融合估计可靠性可达95%,验证了乏信息自助模糊融合估计算法的有效性.  相似文献   

设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号