多块网格网络并行计算中的负载分配研究

针对CFD中多块网格计算的特点，并使用MPI网络并行系统，对某战斗机绕流进行了基于三维Euler方程的并行计算，主要研究了多块网格并行计算中负载的分配方法，发展了负载自动分配和网格自动重分区程序，计算结果表明：并行计算结果和实验结果完全吻合，8个节点机的并行效率达到了89％。     

非结构CFD软件MPI+OpenMP混合并行及超大规模非定常并行计算的应用

常规工程应用中，非定常数值模拟（如多体分离）的计算量十分巨大，如果为了达到更高的计算精度，加密网格或者采用高精度方法将会使得计算量进一步增大，导致非定常数值模拟在CFD工程应用中成为十分耗时和昂贵的工作，因此，提高非定常数值模拟的可扩展性和计算效率十分必要。为充分发挥既有分布内存又有共享内存的多核处理器的性能和效率优势，对作者团队开发的非结构网格二阶精度有限体积CFD软件（HyperFLOW）进行了混合并行改造，在计算节点间采用MPI消息传递机制，在节点内采用OpenMP共享内存的MPI+OpenMP混合并行策略。首先分别实现了两种粒度（粗粒度和细粒度）的混合并行，并基于国产in-house集群采用CRM标模（约4 000万网格单元）定常湍流算例对两种混合并行模式进行了测试和比较。结果表明，粗粒度在进程数和分区数较少的小规模并行时具有效率优势，16线程时效率较高；而细粒度混合并行在大规模并行计算时具有优势，8线程时效率较高。其次，验证了混合并行在非定常计算情况下的可扩展性，采用机翼外挂物投放标模算例，分别生成3.6亿和28.8亿非结构重叠网格，采用对等的（P2P）网格读入模式和优化的重叠网格隐式装配策略，网格读入和重叠网格装配耗时仅需数十秒；采用3.6亿网格，完成了非定常状态效率测试及非定常分离过程的湍流流场计算，在in-house集群上12 288核并行效率达到90%（以768核为基准），在天河2号上12 288核并行效率达到70%（以384核为基准），数值模拟结果与试验结果符合良好。最后，在in-house集群上采用28.8亿非结构重叠网格进行了4.9万核的并行效率测试，结果显示，4.9万核并行效率达到55.3%（以4 096核为基准）。     

流场计算程序并行化方法的研究

利用“流场分区”的方法把流场计算程序并行化,并成功地在Transputer并行计算机上运行,并行效率可达到80％。介绍了流场划分、并行编程以及提高并行效率的方法。     

基于SMP机群的航空CFD并行技术应用研究

针对SMP机群的双层并行体系结构,研制出一种双层并行技术--在计算节点间采用MPI消息传递模式并行,而在计算节点内部采用OpenMP编译器指令模式并行.通过算例测试证明,采用该技术的航空CFD程序,并结合贪婪负载平衡分配技术进行并行计算,其效率可达94%,计算结果与实验值吻合.     

网络连接机群上CFD计算的一种负载平衡方法

讨论在网络连接的分布式存储并行机群上进行CFD计算的一种负载平衡方法和相关问题。当数值计算的方法是区域分解法时,各节点机上的负载与其处理的子区域的网格节点数成正比,所以同样大小的子区域可保证负载平衡。采用负载再分配即区域再剖分的方法来达到动态负载平衡,构造了一种对多块网格(每块内为结构网格但各块间的连接关系可以是非结构的)进行近似平均分划的方法,并用一种数据结构和算法保证了剖分出的多个子区之间正确的互联和边界信息传递关系。给出了用这种剖分算法对常见多块网格进行分划的例子,并对三维流场进行了实际计算。结果证明本文方法是正确的,能有效地均衡计算负载,达到较理想的并行效率。     

曲面复合材料胶接修补研究

在曲面复合材料胶接修补中，补片的形状尺寸对胶接强度有较大影响。采用“三板模型”对修补结构进行三维8节点各向同性体元和8节点各向异性层合板元的有限元建模分析，从多个参变量的计算结果得到如下结论：补片的面积为孔面积的5～10倍、厚度为孔深的40％-55％、补片端部的尖削比达到14时，修补结构的强度恢复能达到最大值。     

稀薄气体圆柱绕流的并行化DSMC方法研究

本文针对ＤＳＭＣ方法的内在并行特征构造了两种并行算法,并在ＰＶＭ环境下实现了并行化计算。计算结果表明,实现ＤＳＭＣ方法的并行化能够显著缩短计算时间,提高计算效率,不同并行算法能够达到的加速比存在差异。     

分布存储结构并行处理机上隐式有限差分算法并行尝试

通过对传统的Beam-Warming隐式格式的并行化尝试,实现了无粘和粘性空气动力学方程的并行求解。计算中采用了SPMD并行编程模式,并将静态非重叠网格区域分裂技术用于建立计算区域和并行处理系统处理器节点之间的映射。结果表明原等价串行算法的稳定性和收敛性被基本保留,获得的加速比和并行效率较为满意。     

基于非结构网格流场超大规模并行计算

大规模并行的计算流体力学已成为现代航空工业研发的核心手段之一。基于非结构混合网格和有限体积法,发展了适用于工业级复杂外形气动计算的并行流动数值模拟方法。文中首先介绍了紧致数值离散格式、基于Metis的分布式多核系统网格分区技术、并行边界虚拟单元技术和MPI并行实现等相关算法。采用网格量相对较小的旋成体构型绕流模型对比分析多核并行计算结果与单核计算结果以验证并行计算的正确性,比较了不同并行规模下并行效率和残差收敛情况。然后通过对上亿网格单元的运输机复杂构型绕流模拟,开展并行效率的测试,结果表明,本文方法并行加速性能高,直到多达18816核并行效率都保持在80%以上。     

有限元的OpenMp并行计算技术

传统有限元串行计算技术耗时长、效率低,已远远不能满足工程实践需要。通过分析串行计算的耗时分布、程序可并行性及数据相关性,在保持串行程序不变的基础上,采用基于多线程的OpenMP技术实现单元刚度矩阵形成总体刚度矩阵的程序并行化。针对有限元计算机翼实例进行了不同线程数目下并行加速比的研究,结果表明,OpenMP技术可有效提高有限元计算效率,且存在一个最佳的线程数,使得并行加速比达到最大,此外加速比还与问题的计算量等因素有关。     

基于分层策略的翼型多参量气动优化设计研究

与基于梯度的优化方法相比,遗传算法因其极强的鲁棒性、随机搜索及优化结果全局性等特点在工程优化中得到越来越广泛的应用。为提高优化设计的效率,改进了传统的遗传算法,采用并行分层策略基因遗传算法开展了翼型多参量气动优化设计研究,包括翼型和多段翼型的基因编码、外形参数化,以及动网格技术。结果表明,并行分层策略在得到较优气动优化结果的同时,极大地缩短了优化时间,提高了计算效率,具有广阔的工程应用前景。     

一种自动化并行重叠网格隐式装配方法

重叠网格装配是处理计算流体力学领域多体相对运动问题的关键技术之一。针对常见重叠网格隐式装配方法中几何分析过程复杂、节点无差别并行查找操作影响并行装配效率等问题,提出一种高度自动化的重叠网格隐式装配方法。首先,基于协方差分析、切割盒子等快速算法,将壁面距离计算与贡献单元存在性判断解耦,实现网格组动态重叠关系的自动化识别;其次,结合集合分析,设计出并行化的自动挖洞算法;最后,通过快速查询方法建立重叠单元与贡献单元的插值关系。针对所实现的并行重叠网格隐式装配工具库,采用某五球体部件验证了自动挖洞逻辑的准确性,并通过机翼-挂架-外挂物（WPFS）模型检验了重叠单元与贡献单元插值关系的准确性。     

多块并行计算中负载平衡策略及时间成本估算方法

研究了三维Euler方程的全隐式无分裂方法的多块分布式并行算法.为提高并行效率,给出了一种负载平衡方法,负载平衡前后的墙上时间、并行效率的比较验证了该方法的有效性.针对研究所用的大型并行机特性,基于最小二乘原理,给出了一种估算计算时间成本和通讯时间成本的方法,并行算法的并行性能统计表明该估算方法的有效性及合理性.不同流场的数值模拟表明,多处理器并行计算得到的数值结果能够和单处理器上的串行结果保持一致.     

非结构混合网格自适应并行技术

计算流体力学（CFD）模拟实际工程问题所采用的网格规模可达千万量级，并行技术是减少计算时间的有效方法。耦合流场信息的网格自适应技术能有效动态优化计算网格，被NASA视为一项亟待发展的CFD关键技术。混合网格自适应系统包含网格分布优化、表面网格投影和空间网格匹配等关键技术。针对以上3项关键技术分别建立了高效的并行算法。首先，提出了"先唯一后同一"的两步法策略实现了网格单元分布优化过程的并行相容性；其次，基于局部曲面拟合思想，实现了曲面重构和新增物理网格点投影的完全并行；再次，提出了空间网格匹配技术的半并行算法，快速解决了网格单元交错问题。为了提高后续流场计算的并行效率，发展了基于并行重分区-网格数据迁移方法的动态负载平衡技术，并采用圆柱激波流场自适应模拟对动态负载平衡技术进行初步验证。最后，采用三角翼自适应加密测试了自适应系统的并行效率。结果表明，建立的混合网格自适应系统并行效率较高，且相比流场求解耗费总时间的比例低于1%。     

二维任意域内基于节点的局部网格生成算法

凸域内基于节点的局部网格生成算法,克服了基于节点的有限元方法的网格生成可能产生的不一致性。将该基于节点的局部网格生成算法的适用范围拓展到二维任意域。另外,提出了通过使用约束Delaunay路径来划分任意域的区域划分算法,该算法使得在并行实现网格生成的过程中各处理器之间无需通信,从而大大提高了节点给定情形下有限元方法网格生成的并行效率。     

三维低速NS方程的并行计算

本文在求解低速NS方程的串行程序基础上,针对分布式存贮网络异构的并行编程环境建立了隐式并行计算软件,并行计算的方法采用区域分解法.并行软件对高速列车进行了气动特性计算,并对并行效率和并行可靠性进行了研究,结果表明并行计算结果与串行计算吻合良好,并行改造后的软件可以应用于工程实际问题.     

适用于非定常流模拟的分布式并行GMRES方法

为提高计算流体力学方法的收敛性和对高性能并行计算机的适应性,发展了适用于非定常流模拟的GMRES并行全隐式方法,并开展了相应的收敛和并行特性研究。采用变子空间数GMRES方法,减小重启过程计算时间;通过分区并行和Hybrid LU-SGS预处理算子实现方法的分布式并行化;采用鲁棒的Negative-SA湍流模型获得更大CFL数,采取计算和存储雅可比矩阵、网格重排序方法提高计算效率。利用这套方法完成了平面流、NACA0012翼型扰流、翼身组合体扰流、F-16战斗机非定常气动弹性和旋翼前飞流场的数值模拟。结果表明其计算效率较LU-SGS方法提高20%～200%;适用于当代高性能计算机分布式并行结构,并行效率非常高,在240个计算核心上出现了加速比的超线性。     

真空羽流场的DSMC并行数值模拟

对DSMC方法进行小喷管真空羽流数值模拟的计算软件进行了并行化改造。计算表明在多处理器(节点)上实现并行计算能够大幅度地提高运算速度,缩短运行时间,增加计算规模,计算结果与串行计算一致。并对目前串行计算不能完成的真空羽流计算的算例成功地进行了DSMC并行计算,计算结果与理论分析一致。      

弹道跟踪数据融合处理的快速算法

针对弹道跟踪数据融合处理中的大计算量环节研究了快速算法。用样条函数表示弹道参数,建立了多测元的联合观测模型和弹道参数的非线性融合计算模型,给出了弹道参数的求解算法,分析了弹道参数融合计算中的大型矩阵运算问题,利用基础线性代数函数库提高了大型矩阵的运算速度。建立了样条模型计算的非线性约束优化模型,给出了确定样条节点位置的优化算法,通过分析样条模型的计算原理设计了并行算法,实现了样条模型的并行化计算。仿真结果表明,弹道参数融合计算和样条模型计算的效率都得到了显著提高,计算时间减少了65.47%,对缩短数据处理周期有重要意义。     

并行化非结构重叠网格隐式装配技术

重叠网格技术广泛应用于复杂外形及多体分离问题的数值模拟,但是超大规模重叠网格装配的鲁棒性和效率依然是实际应用中的瓶颈。基于格心型的有限体积格式,发展了一种并行化的非结构重叠网格隐式装配技术。该技术采用节点的壁面距离作为插值边界的判断准则,并通过物理边界推进确定出活跃区域。此外,基于网格分区策略实现了隐式装配技术的并行化,为了能够适应超大规模的计算网格,在每一个网格子区内单独建立用于查询的交替数字树（ADT）数据结构,整体网格点在各个子区内进行查询,并通过信息通讯接口（MPI）传递查询结果并进行逻辑判断。该并行化的非结构重叠网格隐式装配技术具有较高的自动化程度,通过多体装配算例以及机翼外挂物分离算例,证明了该方法的实用性。