CAE/CFD軟件基本上采用有限元法或有限體積法求解控制方程,在計算時涉及大量的前后時間步迭代以及交界區域處理,屬于計算密集型,對CPU性能的要求自然是越高越好。

一般來講,采用顯式時間格式的CAE/CFD軟件對內存容量的要求一般,而采用隱式時間格式的CAE/CFD軟件對內存容量有比較高的要,至于對內存帶寬的要求則是與單節點內的進程數直接關聯的,進程數越多,內存帶寬要求越高。

CAE/CFD對客機分析圖

在I/O層面上,多數CAE/CFD軟件在讀操作時,由主進程讀入數據,然后向從進程分發數據;在寫操作時,由主進程統一收集從進程的數據,然后主進程寫出數據。也就是說,只有主進程直接負責I/O操作。因此,CAE/CFD對I/O存儲的壓力一般。

如前所述,由于CAE/CFD軟件在計算時要做前后時間步迭代和交界區域處理,因此,對網絡通信也比較高,宜采用InfiniBand網絡。

由于CAE/CFD多為商業軟件,一般只能做硬件級優化與運行級優化。

考慮到前文的特征分析,在硬件級優化層面,我們可以通過配置高主頻CPU和四通道內存來分別提高CPU、內存的性能,更可以通過對網絡接連拓撲,路由選擇算法以及RDMA等方面進行優化來提升InfiniBand網絡的通信能力。

在運行級優化層面,一般是采用MPI優化的策略。例如,MPI進程綁定優化,MPI消息傳遞機制優化,以及MPI通信共享內存優化等。隨著PGAS(Partitioned Global Address Space)編程模型,以及GPU、MIC等加速協處理器的發展,上述傳統算法將會被極大改進。

以Fluent算例為例,浪潮使用其自主開發的“天眼”高性能應用特征監控分析系統(英文:Teye),監測和分析了Fluent的應用特征。在Intel Xeon E5-2680v3 CPU平臺上和144個進程下,計算了1000萬網格規模的Fluent算例。

在下圖中,通過浪潮天眼可以看出Fluent 的CPU利用率接近100%,參與計算的物理核心基本上在滿載運行,說明了Fluent屬于計算密集型。

浪潮天眼分析Fluent算例的CPU利用率

在內存帶寬方面,天眼監測到Fluent的內存帶寬需求主要發生在網格構建、合并及劃分之后總內存帶寬約為45GB/s。其中,讀內存帶寬約為40GB/s,寫內存帶寬約為5GB/s。Fluent由主進程讀入和寫出數據,從進程不直接參與I/O操作。另外,數據讀寫量與Fluent算例大小成正關系。

浪潮天眼分析Fluent算例的內存帶寬

此外,我們還可以看到除開始階段主節點的讀操作速率達到40MB/s外,在Fluent的整個計算過程中,I/O操作壓力比較小。作為典型的CFD軟件,Fluent需要采用InfiniBand網絡進行數據通信。

浪潮天眼監測Fluent算例的磁盤讀寫操作情況

在計算初期,Fluent通過網絡進行大量的數據發送與接收操作。在之后的計算過程中,數據發送與接收呈現連續流特征,其速率維持在60MB/s ~ 100 MB/s。由此可見,Fluent是一款網絡密集型軟件。

浪潮天眼監測Fluent算例的InfiniBand網格數據發送與接收情況

下圖為浪潮天眼分析監測的Fluent算例的雷達圖,直觀地顯示了Fluent的各項應用特征。

通過浪潮天眼分析的Fluent軟件應用特征雷達圖