基于多语义线索的跨模态视频检索算法

针对现有的大多数跨模态视频检索算法忽略了数据中丰富的语义线索,使得生成特征的表现能力较差的问题,设计了一种基于多语义线索的跨模态视频检索模型,该模型通过多头目自注意力机制捕捉视频模态内部对语义起到重要作用的数据帧,有选择性地关注视频数据的重要信息,获取数据的全局特征;采用双向门控循环单元（GRU）捕捉多模态数据内部上下文之间的交互特征;通过对局部数据之间的细微差别进行联合编码挖掘出视频和文本数据中的局部信息。通过数据的全局特征、上下文交互特征和局部特征构成多模态数据的多语义线索,更好地挖掘数据中的语义信息,进而提高检索效果。在此基础上,提出了一种改进的三元组距离度量损失函数,采用了基于相似性排序的困难负样本挖掘方法,提升了跨模态特征的学习效果。在MSR-VTT数据集上的实验表明:与当前最先进的方法比较,所提算法在文本检索视频任务上提高了11.1%;在MSVD数据集上的实验表明:与当前先进的方法比较,所提算法在文本检索视频任务上总召回率提高了5.0%。      

基于双重属性信息的跨模态行人重识别算法

通过对跨模态检索问题的研究，属性信息的使用可以增强所提取特征的语义表达性，但现有基于自然语言的跨模态行人重识别算法对行人图片和文本的属性信息利用不够充分。基于双重属性信息的跨模态行人重识别算法充分考虑了行人图片和文本描述的属性信息，构建了基于文本属性和图片属性的双重属性空间，并通过构建基于隐空间和属性空间的跨模态行人重识别端到端网络，提高了所提取图文特征的可区分性和语义表达性。跨模态行人重识别数据集CUHK-PEDES上的实验评估表明，所提算法的检索准确率Top-1达到了56.42%，与CMAAM算法的Top-1（56.68%）具有可比性，Top-5、Top-10相比CMAAM算法分别提升了0.45%、0.29%。针对待检索图片库中可能存在身份标签的应用场景，利用行人的类别信息提取属性特征，可以较大幅度提高跨模态行人图片的检索准确率，Top-1达到64.88%。消融实验证明了所提算法使用的文本属性和图片属性的重要性及基于双重属性空间的有效性。      

基于PF_RING的多核视频流高性能传输模型

在视频流高性能传输任务中,视频流量的传输问题已成为一个研究的热点。为此,提出了一种基于PF_RING技术的模型。通过使用PF_RING+TNAPI技术,并结合内存路由表、多核、多队列多线程等相关技术确保视频流的高性能传输。同时为了保证不同网域间共享视频数据的安全传输,提出了一种面向视频控制信令双向物理通道、视频流单向物理通道的视频传输模型。实验结果表明:所提方法在有效吞吐量、CPU使用率和平均误码率方面均取得了10%以上的提升。因此,所提方法通过采用PF_RING+TNAPI技术,同时结合视频传输模型,确保了共享视频数据传输的安全性和高效性。      

一种轻量化的多目标实时检测模型

为实现公安监控系统内容分析的精准智能及提高服务实战能力，提出一种轻量化的多目标实时检测算法。首先，基于CenterNet检测网络增加了CBNet的多融合阶梯级联结构，有效地解决了主干网络在日常监控中特征提取能力不足的问题；其次，通过模型剪枝压缩网络减少参数量，加快了监控视频分析速度。本文利用部分COCO数据集和自行采集的现场数据进行训练与测试，并与其他主流检测算法（YOLO、Faster-RCNN、SSD等）进行消融实验。实验结果表明:所提模型在公共安全监控中能有效地做到速度与精度的均衡，并具有较强的普适性。      

基于SVC视频流的低复杂度多播组分解算法

多播是一种高效率利用带宽资源的技术，可以有效缓解多媒体传输过程中的带宽压力，但传统的多播技术会带来“瓶颈用户”问题，限制多播组内用户的数据速率。多播组分解技术将多播组划分为若干子组并以不同速率接收数据，可以有效解决瓶颈用户带来的速率限制。构建了面向用户端的视频多播传输方案，将可伸缩视频编码（SVC）的分层特点和组分解技术相结合，各多播子组根据实际接收能力解调得到不同质量的SVC视频数据，在保证用户基本视频数据传输的基础上，实现总系统速率最大化。提出了面向资源公平调配的低复杂度多播组分解算法，在改进低复杂度分组（LCS）算法过程中考虑SVC视频层限制，并引入常值向量抑制资源分配不公的情况。经过实验数据模拟和性能评估，所提算法在带宽资源和用户数量变化时，均可以稳定地保持较高的系统速率、频谱效率及系统公平性，且计算复杂度较低，能够实际应用于4G和5G网络架构下的视频传输。      

基于深度多模态特征融合的短视频分类

目前，短视频已经成为新媒体时代极具有代表性的产物之一，其天然的具有时短、强编辑等特点，使得传统视频分类模型不再适合于短视频分类任务。针对综合短视频分类问题的特点，提出了一种基于深度多模态特征融合的短视频分类算法。所提算法将视觉模态信息和音频模态信息输入到域分离网络中，将整个特征空间划分为所有模态共享的公有域部分及由音频模态和视觉模态分别独有的私有域部分，借助优化域分离网络，最大程度地保留了不同模态特征间的差异性和相似性。在公开的短视频分类数据集上进行实验，证明了所提算法可以有效减少特征融合时的冗余性，并将分类的平均精度提高到0.813。      

TLS密码套件的流量数据随机性分析

密码套件是安全传输层协议(TLS)实现安全通信的基石,包含了密钥交换算法、对称密码算法和消息摘要算法,其中对称密码算法被用于实际通信的数据加密。通过对真实流量的采集与分析,得出了不同TLS密码套件在现网中的分布情况。设计了一种基于密文图像重构、美国国家标准与技术研究院随机性测试套件、卷积神经网络(CNN)等手段的分析方法,对现网主流对称密码算法(AES、ChaCha20)与其他常见对称密码算法(DES、3DES、RC2、RC4)的密文随机性进行分析。实验结果表明:参与对比的所有对称密码算法在电子密码本(ECB)模式下其密文均具有较差的随机性,无法通过大多数测试;AES与ChaCha20二种主流TLS对称密码算法在除ECB模式下其密文均具有良好的随机性,对基于CNN与随机森林的密码算法识别也具有抵抗能力。研究成果可为TLS密码套件的选择与加密流量的深层分析提供参考。      

无人机自主引导跟踪与避障的近端策略优化

针对无人机地面动态目标跟踪问题，建立了远距离自主引导与近距离伴飞避障2个阶段的马尔可夫决策过程模型。在此基础上，提出了一种改进的近端策略优化（PPO）算法。考虑到无人机接收到的数据具有时序性且环境状态存在上下文关联，所提算法采用长短期记忆（LSTM）网络，通过无人机与目标的实时位置关系等状态信息来计算奖励值，更新网络参数，并进行自适应优化迭代。通过基于ROS系统的仿真测试平台进行试验，结果表明：所提算法安全有效地实现了侦察任务全过程的自主机动，与传统的PPO算法相比，LSTM的引入缩短了模型训练时间，跟踪与避障的效率明显提高，进一步加强了算法的鲁棒性、准确性和实时性。     

产品协同设计中异构模型数据融合的有效策略

针对复杂产品设计中，不同设计工具产生的模型数据之间的融合问题，提出了一种工具间端到端的异构模型数据融合策略。利用数据库管理动态特性，通过模型信息共享，实现异构模型数据之间的融合。在OpenMBEE系统集成环境中，通过建模工具CREO二次开发，利用所提策略获取全生命周期设计中的动态模型属性信息，通过3D模型编辑及重用功能测试，验证了所提策略的有效性。利用自动获取可视化模型属性信息的智能算法，设计一种基于Transformer模型与双向长短期记忆(Bi-LSTM)模型相结合的模型属性智能提取算法，利用神经网络的多层感知特性，通过对模型中属性文本信息进行深度学习、特征分析，实现了对异构数据属性信息的自动提取功能。利用CAMEO建模工具设计的需求分析模型构建模型数据集，验证了智能模型信息自动提取功能的有效性。      

面向个体人员特征的跨模态目标跟踪算法

针对类内干扰影响基于个体人员特征目标跟踪算法的精确性和鲁棒性问题,分析当前跟踪算法在个体人员跟踪方面存在的不足,提出了利用语言先验知识引导辅助跟踪器的方法。在视觉跟踪器的基础上增加语言引导分支,对跟踪目标产生注意力,从而减少对类内干扰的影响。利用位置置信度进行回归目标框定位的方法解决基于孪生网络目标跟踪算法中利用分类置信度定位候选目标框的局限性,实现跨模态信息融合提升特定目标跟踪的精度。为提升所提模型对特定人员目标跟踪的针对性,构建了跨模态的人员目标跟踪数据集用于训练和验证。实验表明:所提模型应用于个体人员跟踪时表现更佳,其有效性得到了证明。      

无人机集群编队控制演示验证系统

为验证无人机集群编队控制算法在实际环境中的有效性,基于四旋翼无人机平台和双数据链、双地面站冗余设计,搭建了分布式控制的无人机集群编队控制演示验证系统。基于分层控制和封装的思想,将无人机控制系统分为执行层和决策层。执行层采用PIX自驾仪进行封装,只需修改自驾仪参数,不需针对不同无人机平台开发相应的控制策略,就能实现对异构集群的控制。需要验证不同的编队控制算法时,只需对决策层的控制算法进行修改即可,使系统具有较强的适应性和扩展性。演示验证系统采用双地面站和数据链,可实现在多种网络拓扑或通信失败情况下的无人机集群控制,具有较高的稳定性和安全性。应用领导-跟随协同编队控制算法,验证了本文演示验证系统的功能和性能。      

QoE驱动的VR视频自适应采集与传输

在虚拟现实（VR）视频流媒体传输中,如何在带宽受限的条件下提高用户的质量体验（QoE）是一项巨大的挑战。为了更好地提高资源利用率和用户的QoE,提出了一个面向多用户的QoE驱动上下行链路联合的VR视频流媒体自适应采集与传输系统。与传统的VR视频无线传输系统不同的是,所提系统考虑了上行传输部分。其中,视频服务器根据上行链路和下行链路的带宽信息、用户的实时视角信息,以速率自适应为基础进行码率选择和资源分配。定义了QoE驱动的码率选择和资源分配问题,以最大化整个系统所有用户的QoE值。提出了联合KKT条件和分支定界法的速率自适应选择算法。实验结果表明:所提系统可以有效提高所有用户的QoE值,与上行链路平均分配资源算法相比,系统QoE值提高了14.27%,同时与传统的VR视频速率自适应算法相比,系统QoE值提高了23.47%。      

基于机器视觉的高精度顶桥施工位姿测量系统

分析了现有的顶桥施工中位姿测量系统的特点,指出其目前存在的主要问题.针对这 些问题和现场需求,基于计算机视觉反馈理论,设计了一种由CCD传感器、激光准直仪和倾 角传感器组成的新型高精度光电测量系统.在建立了相关数学模型的基础上,搭建了硬件系 统,给出了视频采集、图像处理和多串口通信等关键技术的具体实现方法,完成了各功能模 块的软件开发.该测量系统具有精度高、实时性好、操作简单、维护方便和成本低廉的优点 ,能够替代以往效率低下的人工测量方式,而且其实现方法为其他大型施工测量系统的设计 提供了新技术.      

面向BDSBAS电文认证的OTAR播发策略设计

星基增强系统（SBAS）是向用户提供完好性信息的广域增强系统,涉及生命安全领域。为了提高SBAS系统的抗欺骗能力,基于椭圆曲线数字签名算法（ECDSA）提出面向北斗星基增强系统（BDSBAS）的电文认证设计方案。根据国内商用密码标准椭圆曲线（SM2）算法进行相应参数设计和电文排布方案,并描述了空中密钥更新（OTAR）的电文播发策略。为了进一步对试验方案进行验证,采用蒙特卡罗OTAR仿真器,基于3种播发调度算法进行仿真试验,通过调整权重对不同情况下OTAR电文接收时间进行分析。仿真结果为具体情况下OTAR电文方案播发调度的选择提供了重要参考依据。      

基于FPGA的高效机载视频采集及预处理方法

为提高机载视频编码系统的数据采集及预处理性能,以现场可编程门阵列(FPGA)为硬件平台,研究了多模式机载视频采集、颜色空间转换和视频数据传输的高效处理方法.针对机载应用需要实时采集不同模式视频的特点,设计了一种可靠的视频采集策略,通过引入错误自检机制,可以实时监测视频采集的正确性,避免视频数据的错误积累;针对机载视频颜色空间转换预处理中浮点乘法浪费计算资源和增加系统功耗的问题,设计了一种基于高低位分离的截断式查找表乘法器,减少了存储空间和计算位宽,结合流水线处理技术实现了一种高效视频颜色空间转换方法,在保证计算精度和性能的同时,处理功耗最大降低了27%;针对FPGA处理器与系统核心编码处理器(DSP)之间存在大量视频数据的频繁传输特点,结合SRIO(Serial Rapid I/O)链路的传输方式,设计了一种以FPGA为控制核心的数据交互机制,减轻了DSP的处理负担使其专注于视频编码运算,提高系统性能.      

基于DSM的并行程序性能分析与性能可视化

针对具有共享存贮的分布式可扩展机群系统的结构及实现特点,通过实验的方法,对共享存贮器访问, 进程调度, 和同步开销等性能参数进行了特征化.对并行应用程序中影响性能的几个主要因素进行了分析,并给出了运用性能数据及系统性能参数对程序和系统的性能进行分析的方法. 将此方法运用于系统行为与性能的可视化,实现了一个基于分布式共乡存贮环境的并行应用程序的性能可视化工具,实时显示和后处理分析并行程序的行为和性能.     

遥感卫星多路数据传输系统同频共用方法

为节省频率资源，遥感卫星通常采用扩频体制实现多路数据的同频共用传输，针对通道间容易引起相互干扰的问题进行了研究，通过改进码分多址干扰估算模型，对采用平衡Gold码序列扩频系统抗干扰容限上界进行预测。在满足国际电信联盟（ITU）对卫星辐射功率通量密度约束条件下，提出了一种基于直接序列扩频体制的两路业务数据同频共用传输方法。仿真结果表明：当载波频率2GHz左右，两路辐射源的EIRP之差不大于8～15dBw时可以实现同频共用传输；如对信号扩频带宽进行差异化处理，则其相互兼容性还可进一步提高。