MPI＋OpenMP算法在三维可压缩流场计算中的应用

在多核CPU集群并行体系结构下,采用MPI＋OpenMP的混合并行算法,对可压缩流场进行数值模拟,并在计算时间上与MPI算法进行比较。流场计算的控制方程为Euler方程,空间离散采用Jameson中心差分格式,时间离散采用R-K法,并行模式采用Master/Slave模式。通过对M6机翼和某弹丸采用多种并行方法进行流场的数值模拟,得出MPI＋OpenMP混合算法在一定条件下具有高效性的结论。     

非结构CFD软件MPI+OpenMP混合并行及超大规模非定常并行计算的应用

常规工程应用中，非定常数值模拟（如多体分离）的计算量十分巨大，如果为了达到更高的计算精度，加密网格或者采用高精度方法将会使得计算量进一步增大，导致非定常数值模拟在CFD工程应用中成为十分耗时和昂贵的工作，因此，提高非定常数值模拟的可扩展性和计算效率十分必要。为充分发挥既有分布内存又有共享内存的多核处理器的性能和效率优势，对作者团队开发的非结构网格二阶精度有限体积CFD软件（HyperFLOW）进行了混合并行改造，在计算节点间采用MPI消息传递机制，在节点内采用OpenMP共享内存的MPI+OpenMP混合并行策略。首先分别实现了两种粒度（粗粒度和细粒度）的混合并行，并基于国产in-house集群采用CRM标模（约4 000万网格单元）定常湍流算例对两种混合并行模式进行了测试和比较。结果表明，粗粒度在进程数和分区数较少的小规模并行时具有效率优势，16线程时效率较高；而细粒度混合并行在大规模并行计算时具有优势，8线程时效率较高。其次，验证了混合并行在非定常计算情况下的可扩展性，采用机翼外挂物投放标模算例，分别生成3.6亿和28.8亿非结构重叠网格，采用对等的（P2P）网格读入模式和优化的重叠网格隐式装配策略，网格读入和重叠网格装配耗时仅需数十秒；采用3.6亿网格，完成了非定常状态效率测试及非定常分离过程的湍流流场计算，在in-house集群上12 288核并行效率达到90%（以768核为基准），在天河2号上12 288核并行效率达到70%（以384核为基准），数值模拟结果与试验结果符合良好。最后，在in-house集群上采用28.8亿非结构重叠网格进行了4.9万核的并行效率测试，结果显示，4.9万核并行效率达到55.3%（以4 096核为基准）。     

倾转旋翼机多部件对机翼气动干扰的分析及优化

为研究倾转旋翼机各部件对机翼的气动干扰效应,建立了一套适用于倾转旋翼机流场CFD求解方法,提出并生成了一套由三棱柱/四面体组成的适用于倾转旋翼机多种飞行状态的非结构混合网格系统.以三维Navier-Stokes方程为主控方程,采用动量源方法进行倾转旋翼的模拟,并引入了高效的OpenMP并行加速技术等,提出了一套新型的动量源项添加及搜索方法.计算分析了倾转旋翼机旋翼/机身/短舱对于机翼气动特性的干扰影响,得出了一些对设计有指导意义的结论.采用基于径向基函数（RBF）的代理模型方法,根据机翼不同展向位置的干扰程度对各段翼型配置进行气动优化.优化结果表明:考虑气动干扰作用,在巡航速度下优化后的全机升阻比增长达到了36.78%.      

基于混合网格的三维Navier-Stokes方程并行算法

提出了一种基于混合网格的三维Navier-Stokes方程的并行计算方法。Navier-Stokes的求解采用了基于面的有限体积方法,该方法适用于任何网格类型。采用一方程Spalart-Allmaras模型来计算紊流黏性。并行计算采用区域分裂的方法,利用METIS网格分区系统实现了各节点的加载平衡。节点间的数据交换通过调用MPI库函数来实现,采用非阻断通讯的方式来减少数据交换时间。充分利用FORTRAN90的动态存储特性来减少对内存的需求。最后,通过对绕DLR-F6外形(翼身组合体+挂架+发动机短舱)黏性流动的数值模拟,验证了该并行程序的准确性,高性能并行计算以及处理复杂几何外形的能力。     

非结构混合网格鲁棒自适应技术

数值格式、湍流模型和计算网格是影响CFD数值模拟精度的3个主要因素。结合流场信息的网格自适应技术具备动态优化计算网格的能力,被NASA列为未来CFD发展的一项关键技术。本文针对非结构混合网格,发展了网格单元分布优化、表面网格几何投影和空间网格协调匹配3项关键技术,建立了高鲁棒性几何保真的网格自适应系统。首先,为了提高自适应方法的鲁棒性和通用性,发展了基于标准面网格的多面体网格单元分布优化方法。其次,发展了仅依赖表面网格信息的局部曲面重构技术,采用参数点映射方法实现了新增表面网格点的几何投影,消除了自适应系统对几何CAD系统的依赖。再次,采用改进的距离函数方法实现了空间网格与投影后表面网格的快速匹配。最后,结合基于流场特征的自适应探测器,采用二阶格式的有限体积方法,开展了30P30N三段翼绕流和三角翼大迎角绕流的网格自适应数值模拟。结果表明,通过网格自适应对网格单元的分布进行优化后,流场求解的收敛性和模拟精度都得到了显著提高。     

高效非结构网格变形与流场插值方法

非结构动网格在含动边界的非定常流动模拟中应用十分广泛。为了提高网格变形的计算效率和对复杂外形的适用性,发展了高效的K近邻-径向基函数（KNN-RBF）动网格方法。并采用高效的交界面节点一致性方法实现了网格变形的并行化。由于边界的运动和变形形式多种多样,在自主开发的计算流体力学（CFD）程序中实现了动网格的用户自定义函数（UDF）功能模块,可以灵活地设置此类问题中的边界运动。在模拟大变形问题时,采用了全局网格重构的策略对网格质量较差的区域进行处理。提出了快速查找新旧网格最近点的两级KD（K-Dimensional）树方法,并根据最近点在新旧网格间进行流场插值。从而建立了高效健壮的并行流场插值方法。通过对若干算例进行模拟,验证了所发展方法的正确性和健壮性。     

非结构混合网格自适应并行技术

计算流体力学（CFD）模拟实际工程问题所采用的网格规模可达千万量级，并行技术是减少计算时间的有效方法。耦合流场信息的网格自适应技术能有效动态优化计算网格，被NASA视为一项亟待发展的CFD关键技术。混合网格自适应系统包含网格分布优化、表面网格投影和空间网格匹配等关键技术。针对以上3项关键技术分别建立了高效的并行算法。首先，提出了"先唯一后同一"的两步法策略实现了网格单元分布优化过程的并行相容性；其次，基于局部曲面拟合思想，实现了曲面重构和新增物理网格点投影的完全并行；再次，提出了空间网格匹配技术的半并行算法，快速解决了网格单元交错问题。为了提高后续流场计算的并行效率，发展了基于并行重分区-网格数据迁移方法的动态负载平衡技术，并采用圆柱激波流场自适应模拟对动态负载平衡技术进行初步验证。最后，采用三角翼自适应加密测试了自适应系统的并行效率。结果表明，建立的混合网格自适应系统并行效率较高，且相比流场求解耗费总时间的比例低于1%。     

一种基于径向基函数和峰值选择法的高效网格变形技术

基于径向基函数的网格变形方法因其具有诸多优点,而被广泛应用于气动外形优化设计等领域。对于大规模网格或复杂构型,该方法所需计算量是难以承受的。为了提高网格变形效率,可以通过减少建立插值模型所需支撑点数目来实现。为此,提出一种高效的选点算法--峰值选择法。该算法在选点过程的每个迭代步中对边界节点处的误差进行分析,从物面节点中选取多个峰值点来更新支撑点集,减少迭代步数,提高选点效率。在该算法的基础上,实现了网格的高效变形。三段翼型的网格变形算例证明：该方法可以在保证网格质量的同时实现复杂网格的变形。以DLR-F6复杂模型（约1 000万网格）的刚性运动和弹性大变形为算例对该方法的变形效率和变形后网格质量做了进一步评估：当相对误差设置为5.0×10^-7时,在保证变形后网格质量的前提下,该方法变形效率最快比传统贪婪算法提高了13倍,其中在选点效率方面最快提高了31倍。     

基于径向基函数与混合背景网格的动态网格变形方法

发展了一种基于径向基函数(RBF)插值和混合背景网格映射的动态网格变形方法。混合背景网格由运动物面附近的各向异性网格和偏离运动物面的各向同性网格组成。物面变形或运动后,包含在各向异性背景网格中的所有物面网格点的位移由指定的物面运动规律得到,而各向同性背景网格点的位移通过径向基函数插值获得。然后变形后的计算网格利用计算网格与混合背景网格之间固定的映射关系代数插值得到。各向同性网格距离物面一定的距离,消除了物面保形对径向基函数插值的要求,从而可以减少径向基函数基点的数量,以提高插值的效率和可靠性。最后,通过二维和三维算例对该方法的变形网格质量、参数影响、网格拓扑依赖性、复杂外形变形能力及网格变形效率进行了测试。测试结果表明,该方法能够高效生成大变形下高质量的变形网格。     

机翼弹性变形对气动特性的影响

在非结构混合网格框架下,采用有限体积法求解了Euler方程和N-S方程。使用结构影响系数法计算机翼结构的弹性变形,通过动态网格技术实现了气动力与结构变形之间的耦合运算,计算和分析了在气动载荷作用下的机翼变形和此时的气动特性,算例分析表明：典型后掠机翼的弹性变形会使机翼产生了正的挠度和负的剖面扭转角,在弯曲和扭转的相互作用下,机翼的有效迎角减小,从而导致机翼的升力系数减小。在Euler方程和N-S方程算例中,考虑弹性变形条件下的机翼升力系数比刚性机翼的升力系数分别减小了25.3%和24.1%。     

并行化非结构重叠网格隐式装配技术

重叠网格技术广泛应用于复杂外形及多体分离问题的数值模拟,但是超大规模重叠网格装配的鲁棒性和效率依然是实际应用中的瓶颈。基于格心型的有限体积格式,发展了一种并行化的非结构重叠网格隐式装配技术。该技术采用节点的壁面距离作为插值边界的判断准则,并通过物理边界推进确定出活跃区域。此外,基于网格分区策略实现了隐式装配技术的并行化,为了能够适应超大规模的计算网格,在每一个网格子区内单独建立用于查询的交替数字树（ADT）数据结构,整体网格点在各个子区内进行查询,并通过信息通讯接口（MPI）传递查询结果并进行逻辑判断。该并行化的非结构重叠网格隐式装配技术具有较高的自动化程度,通过多体装配算例以及机翼外挂物分离算例,证明了该方法的实用性。     

动态负载平衡的二维非结构网格DSMC并行算法研究

基于PC-CLUSTER群机并行体系结构与消息传递库MPI并行环境,研究了二维非结构网格DSMC并行算法。提出一类非结构网格动态分区策略,保证各子区域的分子数量大致相等,实现计算进程间的动态负载平衡。利用MPI库函数构造了符合DSMC并行原理的单步通讯法。采用单控制多数据流(SPMD)以及Master/Slave并行模式,设计了二维非结构网格DSMC整体并行算法。在程序的编制过程中,充分展现了Fortran90高级语言的主要特性,引人动态数组、指针、链表及派生类型数据。最后对过渡流域高超声速绕流进行了并行计算,数值试验的结果表明本文设计的并行算法可以取得较为理想的加速比。     

二维任意域内基于节点的局部网格生成算法

凸域内基于节点的局部网格生成算法,克服了基于节点的有限元方法的网格生成可能产生的不一致性。将该基于节点的局部网格生成算法的适用范围拓展到二维任意域。另外,提出了通过使用约束Delaunay路径来划分任意域的区域划分算法,该算法使得在并行实现网格生成的过程中各处理器之间无需通信,从而大大提高了节点给定情形下有限元方法网格生成的并行效率。     

Mesh deformation on 3D complex configurations using multistep radial basis functions interpolation

The Radial Basis Function (RBF) method with data reduction is an effective way to perform mesh deformation. However, for large deformations on meshes of complex aerodynamic configurations, the efficiency of the RBF mesh deformation method still needs to be further improved to fulfill the demand of practical application. To achieve this goal, a multistep RBF method based on a multilevel subspace RBF algorithm is presented to further improve the efficiency of the mesh deformation method in this research. A whole deformation is divided into a series of steps, and the supporting radius is adjusted in accordance with the maximal displacement error. Furthermore, parallel computing is applied to the interpolation to enhance the efficiency. Typical deformation problems of the NASA Common Research Model (CRM) configuration, the DLR-F6 wing-body-nacelle-pylon configuration, and the DLR-F11 high-lift configuration are tested to verify the feasibility of this method. Test results show that the presented multistep RBF mesh deformation method is efficient and robust in dealing with large deformation problems over complex geometries.     

基于SMP机群的航空CFD并行技术应用研究

针对SMP机群的双层并行体系结构,研制出一种双层并行技术--在计算节点间采用MPI消息传递模式并行,而在计算节点内部采用OpenMP编译器指令模式并行.通过算例测试证明,采用该技术的航空CFD程序,并结合贪婪负载平衡分配技术进行并行计算,其效率可达94%,计算结果与实验值吻合.     

用欧拉方程计算机翼与翼身组合体绕流

本文用保角转绘加剪切变换生成三维机翼与翼身组合体Ｃ－Ｈ型网格，并在这类网格拓扑上，用有限体积法研制出可供分析机翼与翼身组合体绕流的三维欧拉方程计算程序。本方法的特色是改进了机翼表面网格点的分布，使机翼后缘与网格线一致；采用了当量机身，使机岙表面到对称面光滑过渡；嵌入了边界层粘性修正。改善了计算结果。数值计算表明，对粘性影响较大的超临界绕流，边界层修正效果显著。     

多面体网格在CFD中的应用

介绍了多面体网格技术在计算流体力学(CFD)中的应用.考虑到粘性计算的需要,将混合网格技术引入多面体网格中,发展了一套多面体网格生成及求解技术,并用于M6机翼、DLR-F6复杂外形的气动特性模拟中.计算结果表明,多面体网格技术具有准确度较高、效率较高及适用性广等优点.     

Numerical simulation of aerodynamic interaction for a tilt rotor aircraft in helicopter mode

A rotor CFD solver is developed for simulating the aerodynamic interaction phenomenon among rotor, wing and fuselage of a tilt rotor aircraft in its helicopter mode. The unsteady Navier–Stokes equations are discretized in inertial frame and embedded grid system is adopted for describing the relative motion among blades and nacelle/wing/fuselage. A combination of multi-layer embedded grid and ‘‘extended hole fringe" technique is complemented in original grid system to tackle grid assembly difficulties arising from the narrow space among different aerodynamic components, and to improve the interpolation precision by decreasing the cell volume discrepancy among different grid blocks. An overall donor cell searching and automatic hole cutting technique is used for grid assembly, and the solution processes are speeded up by introduction of Open MP parallel method. Based on this solver, flow fields and aerodynamics of a tilt rotor aircraft in hover are simulated with several rotor collective angles, and the corresponding states of an isolated rotor and rotor/wing/fuselage model are also computed to obtain reference solution.Aerodynamic interference influences among the rotor and wing/fuselage/nacelle are analyzed,and some meaningful conclusions are drawn.     

三维凸域中候选卫星点集的确定算法

局部网格生成是无缝有限元并行计算的关键问题,然而,不恰当的局部网格生成算法会产生不一致网格.借助Delaunay三角剖分的唯一性,指出了三维凸域中Delaunay网格局部生成的不一致性,分析其产生的原因,建立避免局部网格不一致性的关键算法--搜索候选卫星点集的优化探索球算法,为网格并行生成做好数据准备.并从理论上证明了任意节点的优化探索球域包含其所有卫星点,从而,保证全域网格没有不一致性.通过算例分析了算法的正确性和局部性.     

HLFC后掠翼优化设计的若干问题

使用扩展自由变形参数化方法,基于径向基函数的动网格技术和改进的混合粒子群算法,考虑吸气的e^N转捩预测方法和雷诺平均Navier-Stokes求解器,搭建了针对混合层流流动控制（HLFC）后掠翼的优化设计平台,对HLFC后掠翼的气动外形设计、雷诺数影响、吸气分布设计等多个问题进行了研究,对比分析了在这些因素影响下HLFC后掠翼的阻力系数和层流区长度的差别,进而探索了相应的设计准则。研究表明,对于层流区较长和阻力系数较小的HLFC后掠翼来说,它们上表面的压力分布具有共同的特征：头部峰值较低,之后有一个小的逆压,接下来是一段较长的均匀稳定的顺压,这段顺压最后终结于一道激波。应用HLFC技术后,通过实现大面积的层流区,机翼的摩擦阻力和压差阻力均可显著地降低,降低的幅度远大于不考虑层流控制的设计结果。同时,HLFC机翼的设计应综合考虑摩擦阻力、压差阻力、激波强度和配平阻力（低头力矩）,层流区最长不一定意味着阻力最小。一般来说,雷诺数越高,越难维持层流,但应用混合层流控制技术后,即使在难以实现自然层流的高雷诺数下,HLFC机翼依然有较长的层流区。通过对吸气分布的设计进行研究,说明了非均匀吸气比均匀吸气要更有效率一些,能够节省吸气量。