利用超级计算集群的RADIOSS碰撞分析

　1 简介

　　有限元方法基本思想的提出，可以追溯到1943年R. Courant的工作，但由于当时没有求解大型联立方程的计算工具，这种方法在长期内没有实际应用。到60年代，由于电子计算机的广泛使用，有限元法开始得到快速发展。有限元法到现在40多年的发展，应用领域也从航空，拓展到航天、汽车、船舶、核能、兵器、电子等各个行业;从弹性材料问题，拓展到塑性、粘弹性、粘塑性、复合材料等问题。有限元方法的数值模拟已经成为现代重要工程设计必须的环节。

　　几乎在有限元法快速发展的同时，结构力学的优化理论也开始快速发展。虽然1854 年J.C. Maxwell和1905年J.H. Mitchell已经开始研究桁架的最优布局，但直到20世纪60年代初，利用电子计算机的现代结构优化理论与方法的出现，结构优化才真正在工程中开始应用。首先也是在航空业得到应用，然后推广到汽车、建筑等行业。目前，结构优化商业软件也已经比较成熟，尤其在线弹性结构优化方面。

　　由于复杂非线性结构有限元计算本身需要大量的硬件资源，很长时间才能完成一次有限元计算。这导致计算时间成为工程优化的主要障碍之一，使得复杂非线性结构的优化目前还仅处于学术研究阶段，无法实际应用于工程项目。Altair公司与中科院超算中心合作，将Altair公司的RADIOSS软件安装在中科院超算中心的深腾7000超级计算机上，首次在国内于8分19秒完成100万单元的整车正面80ms碰撞分析，这为未来进行复杂非线性结构的优化铺平了道路。

　　2 RADIOSS显式方法高级功能

　　RADIOSS是Altair公司统一的多学科有限元求解器，具有显式、隐式求解功能，拥有拉格朗日、欧拉、ALE、SPH 等算法，及有限元、有限体积、边界元等数值处理技术，可以求解结构线性、非线性，流体，流固耦合，多体动力学等问题。相比传统的隐式线性求解器，RADIOSS提供多种最新单元格式和严格的模型检查功能，采用最新的数值计算方法和并行算法，从而确保了更高的仿真精度和更快的计算速度，得到客户的广泛认可。在许多汽车OEM厂商，如通用、菲亚特等，RADIOSS已经成功替代了传统的线性求解器。相比其他显式求解器，RADIOSS在并行计算的线性加速比，不同平台的计算结果可重复性，以及多域求解控制等方面具有优势，并且具有许多自己独特的、工业界验证的材料模型、失效模型和接触模型，在汽车、机车碰撞安全分析，飞机鸟撞和迫降，军工爆破穿甲等领域得到了大量的应用。本文运用了RADIOSS显式有限元方法进行高非线性的汽车碰撞分析。

　　2.1 高级质量缩放

　　为了加快计算，在工程应用的时间内得到合理的结果，显式有限元分析常常会应用质量缩放(mass scaling)方法，在一些时间步长较小的单元节点上增加质量，以此来增加模型求解的时间步长，从而加快计算。在动力学分析中，惯性力是很重要的一个影响因素。但是在质量变化不大的情况下，惯性力的影响也在可接受的范围内。所以额外增加的质量不能太大，也不能增加在关键的部位以致影响了局部变形结果，使用时需要分析人员来判断。

　　为了进一步加快计算，研究人员通过分析，提出了选择质量缩放技术(selective mass scaling)[4]。Altair公司发展了这个方法，将发展后的方法集成在RADIOSS软件中，称其为高级质量缩放(advanced mass scaling)。RADIOSS中的高级质量缩放的基本思想，是通过修改质量矩阵非对角项来提高时间步长。在通常的显式分析中，高频的能量不多，在这个区域人工增加质量，在不显著改变低频的结构响应的情况下，可以大幅度提高时间步长。使用高级质量缩放可以提供更高的并行可扩展性，对低频影响很小，可以应用于整车碰撞仿真中。虽然这一方法同时也会因为需要做非对角质量矩阵的求逆消耗一部分计算时间，但总体而言，通常可以将时间步长提高10到20倍。

　　2.2 Hybrid-MPP

　　目前显式有限元方法在求解大规模问题时，通常采用MPP(Massive parallel processing)方法。这种方法利用了多个计算节点(node)，每个计算节点的每个核(core)启动一个进程，进程之间通过MPI方式进行通信。

　　随着多核处理器被越来越多的应用于计算集群，在每个CPU内部仍然使用MPI通信显然浪费了CPU内部架构的快捷，上述MPP方式不能完全利用多核CPU的硬件资源。Altair公司在RADIOSS v11版本中使用Hybrid-MPP并行计算方法，这种方法就完全利用了现有的多核处理器的功能。Hybrid-MPP并行模式在每一个独立的节点上使用OpenMP方式进行通信，在节点之间通过MPI的方式进行通信。通过使用优化的消息传递机制有效减少节点和节点之间、节点内部的消息量，从而在大规模的并行计算中有效发挥现有硬件架构的整体性能。

　　图1 RADIOSS的Hybrid-MPP示例：每个节点2个SMP线程

　　图1为RADIOSS v11版本中使用Hybrid-MPP并行计算示例。每个节点(Node)共享内存(对应M1,M2)，每一个计算节点由2个CPU组成(对应Socket1,Socket2)，而每一个CPU又有2个核(对应C1,C2)，所有独立的计算节点通过快速交换网络设备进行互联。

　　3 本文采用的硬件环境

　　中科院超级计算中心(简称中科院超算中心)是隶属于中国科学院计算机网络信息中心(CNIC)的支撑服务单位，主要从事超级计算机的运行维护、并行计算的研究、实现及其应用服务与技术支持，为大规模计算复杂技术和商业应用提供解决方案。中心面向科学院乃至社会提供尽可能强的高性能计算能力和技术支持，为用户提供7*24小时稳定计算服务，从2009年6月正式运行至今，已累计提供计算机时超过51,121,788.4 CPU?Hours。

　　- 中心拥有的深腾7000在2008年11月全球top500的超级计算机排名中，排名第19。

　　- 实现了1240个2-way薄结点和140个4-way厚结点的协同计算

　　- 国内第一个实际性能突破每秒百万亿次的异构机群系统

　　- 成功实现了基于1428个无盘结点的机群系统

　　- 世界上规模最大的一个结点无盘启动的机群系统

　　- 在线、近线、离线存储容量超过PB级

　　- 国内第一个实现PB级别的三级结构海量存储系统的机群系统

　　深腾7000百万亿次高性能计算机采用混合结构的高性能计算集群架构，由采用Intel Xeon处理器的集群部分与采用Intel Itanium2处理器的胖节点部分组成，适于不同的应用计算。本次测试采用Intel Xeon处理器的集群部分。集群部分包括认证服务器、前端机、管理节点、登陆节点、启动节点、I/O节点、备份节点和计算节点。其中，计算节点包括刀片和厚节点，配置如下：

　　- 指令字长：64位

　　- 1140个普通(刀片)节点，每个刀片配置两颗四核Xeon处理器E5450，主频3.00GHz，32GB内存

　　- 38个厚节点，IBM X3950M2服务器，每个厚节点配置16颗四核Xeon处理器X7350，主频2.93GHz，512GB内存

　　- 12个可视化节点(采用机架式服务器)，2颗Intel Xeon E5450，32GB内存，Nvidia 9800GTS显卡

　　- 其它节点配置与计算刀片相同，包括2个认证服务器、2个前端机、2个管理节点、8个登录节点、12个启动节点、120个IO节点、2个备份节点

　　- 磁盘容量：350TB 在线+ 63TB近线+ 1PB离线(≥ 200 TB)

　　- 互连网络：节点间采用20Gbps的Infiniband，延迟1.6 μs (≤ 3μs)

　　- I/O聚合带宽：52GB/s (≥ 50GB/s)

　　- 操作系统：Red Hat Enterprise Linux Server release 5.1

　　- 编程语言：C、C++、Fortran、Java

　　- 并行环境：MPI、OpenMP

　　- 高性能并行文件系统: Lustre、SNFS、LPFS、GPFS

　　- 高效系统管理软件：系统管理与监控、系统部署、作业调度等

　　- 并行程序开发环境：数学库、中间件、开发工具等

　　- 系统功耗：434KW(空载)~608KW(满载) (≤ 800 KW)

　　图2 百万亿次机的硬件结构

　　4 测试结果

　　本文中将RADIOSS v11 Hybrid-MPP版本安装在深腾7000的集群部分，利用Intel MPI进行节点间通信，求解模型为Neon模型并进行了网格细化，整个模型共有106万单元，109万节点。整车质量1.2吨，初始速度为12.3米/秒，计算刚性墙正面碰撞80ms，采用了高级质量缩放技术，利用128x8核计算，499秒完成整个仿真。有限元模型及变形结果如下图所示。

　　图3 Neon模型及仿真80ms之后的变形结果

　　5 结论

　　Altair公司与中科院超算中心合作，在国内第一次实现了在500秒内完成100万单元的整车80ms正面碰撞仿真。

　　Altair公司是世界领先的CAE技术厂商，专注于CAE技术的开发，并将Altair公司领先的优化技术同各学科仿真相结合，将并行计算性能及与高性能计算紧密结合，力求实现真正的多学科的仿真与优化。RADIOSS求解器已经得到了世界范围的广泛应用，其线性求解功能是通用汽车全球的标准求解器，非线性显式求解功能得到了福特、标志雪铁龙等著名汽车厂商的应用。本文的测试表明，RAIDOSS的非线性显式并行求解功能速度相当快，可并行的处理器也可达到1024核以上，非常适合大规模并行计算。

　　目前工业界的整车碰撞有限元模型在100万到200万单元之间，进行一次整车碰撞仿真时间在几个小时到十几个小时之间。这样的时间使得整车级别的碰撞被动安全优化、稳健性设计不可能进行。

　　Altair公司与中科院超算中心下一步工作将是继续加深合作，进一步优化RADIOSS在超级计算机上的并行效率，在超级计算机上结合Altair优化软件进行碰撞优化及稳健性设计。

　　中科院超算中心同Altair公司以及硬件厂商共同为企业用户提供高性能计算的高可用性平台，可以做到：

　　1. 提供上万核的计算能力和计算所需的大量内存，帮助企业在规定时间内完成巨大的计算问题

　　2. 提供企业所需的安全性保障，凭借严格的权限控制和管理制度，保证所有数据不丢失不被窃取

　　3. 降低企业的运营成本，避免昂贵的计算平台购置和维护费用

　　4. 提供友好的用户界面和使用方式，让工程师可以通过web、ftp、甚至图形界面等各种方式使用计算机群提交作业、进行前后处理和上传下载数据，进而集中精力在计算本身而不是复杂的命令行操作。

　　通过政府或公司出资，提供专门计算中心，软件厂商提供计算软件，通过互联网访问的方式，根据企业所需快速地提供计算资源，打包租用，避免企业重复的软硬件投资，减轻企业负担，这也是非常有实用价值的一种“云计算”应用模式。