CAE高性能計算平臺解決方案

胡茹

摘要：目前在航空、航天、能源動力等工業(yè)領(lǐng)域，利用 CAE 進行反復(fù)設(shè)計、分析、優(yōu)化已成為標準的必經(jīng)步驟和手段。不同的CAE 應(yīng)用程序?qū)τ布Y源例如處理器、網(wǎng)絡(luò)和存儲的要求各不相同，本文分析了CAE高性能計算平臺的需求和挑戰(zhàn)，提出了CAE高性能的主要解決方案，以供參考。

關(guān)鍵詞：CAE 高性能 計算平臺

中圖分類號：TP338 文獻標識碼：A 文章編號：1007-9416（2016）06-0227-01

1 CAE高性能計算平臺的需求和挑戰(zhàn)

計算機輔助工程（CAE，Computer Aided Engineering）是用計算機輔助求解復(fù)雜工程和產(chǎn)品結(jié)構(gòu)強度、剛度、屈曲穩(wěn)定性、動力響應(yīng)、熱傳導(dǎo)、三維多體接觸、彈塑性等力學性能的分析計算以及結(jié)構(gòu)性能的優(yōu)化設(shè)計等問題的一種近似數(shù)值分析方法。CAE從60年代初在工程上開始應(yīng)用到今天，現(xiàn)已成為工程和產(chǎn)品結(jié)構(gòu)分析中（如航空、航天、機械、土木結(jié)構(gòu)等領(lǐng)域）必不可少的數(shù)值計算工具，同時也是分析連續(xù)介質(zhì)力學各類問題的一種重要手段。

2 CAE的主要步驟

CAE 應(yīng)用程序基本可以分成兩大類，一類是共享內(nèi)存應(yīng)用程序，一類是分布式內(nèi)存應(yīng)用程序。其主要有三個步驟，第一步是建模亦即前處理，通常在工作站上進行；第二步是求解過程，這是至關(guān)重要的一步，需要占用大量的CPU、內(nèi)存資源以及存儲空間，通常是在高性能計算機上完成。這個過程涉及到的軟件有Fluent、Ansys、Nastran、Ls-Dyna等；第三步是后處理過程，對計算結(jié)果進行處理分析，通常也是在工作站上完成。CAE計算的核心內(nèi)容是高性能計算。為了使高性能計算機系統(tǒng)能夠更好的滿足CAE應(yīng)用軟件的需求，需要對主流CAE軟件進行深入分析。

3 CAE高性能的主要解決方案

通過對CAE軟件的分析我們可以了解到，對于大部分CAE應(yīng)用，對于節(jié)點間并行MPI支持非常好，適合在雙路計算節(jié)點上運行，做通用計算，而部分CAE軟件對內(nèi)存的需求比較高，則適合在胖節(jié)點上用OpenMP方式來計算，因此我們推薦大內(nèi)存的四路或者八路服務(wù)器作為集群胖節(jié)點。通過對于CAE應(yīng)用性能的專業(yè)化分析和匯總，提供針對化的解決方案。在高性能應(yīng)用集群主要解決CAE軟件應(yīng)用中的一下幾個主要問題。

3.1 工作站解決方案

主要用于前后處理方面的工作，用于網(wǎng)格劃分和可視化顯示。由于對于服務(wù)器顯示和處理能力的要求都比較高，因此我們推薦使用帶有專業(yè)級顯卡的工作站配置。

3.2 計算節(jié)點解決方案

顯示算法和隱式算法對計算能力的需求不用，方案配置了雙路節(jié)點，適合于分布式內(nèi)存的顯示計算和流體軟件CFD的計算，配置了多路胖節(jié)點適合于共享內(nèi)存的隱式計算。不同架構(gòu)的設(shè)計體現(xiàn)針對化專業(yè)化的解決方案。

3.3 網(wǎng)絡(luò)帶寬問題解決方案

在大型CAE軟件應(yīng)用中，并行化對于網(wǎng)絡(luò)延時和帶寬的要求很高，因此要根據(jù)需求配置了以太網(wǎng)交換環(huán)境或者更快的40Gb的Infiniband網(wǎng)絡(luò)，滿足所有節(jié)點無阻塞的計算交換需求，網(wǎng)絡(luò)延時低。

3.4 存儲帶寬問題的解決方案

部分CAE軟件在計算過程中，會產(chǎn)生大量臨時文件，一個優(yōu)秀的存儲系統(tǒng)能夠滿足軟件對于網(wǎng)絡(luò)帶寬的需求。浪潮不僅可以提供了專業(yè)級的直連存儲，更有8Gb接口的光纖存儲系統(tǒng)，通過專有的存儲節(jié)點構(gòu)建Lustre并行文件系統(tǒng)，接入以太網(wǎng)，甚至40GB的Infiniband網(wǎng)絡(luò)，不至于出現(xiàn)CPU等待數(shù)據(jù)計算的情況，大大提高了計算效率。

4 解決方案的注意事項

4.1 計算系統(tǒng)緊密結(jié)合客戶應(yīng)用

在高性能系統(tǒng)設(shè)計的過程中要充分考慮CAE客戶典型應(yīng)用，針對客戶應(yīng)用定制化開發(fā)系統(tǒng)。針對隱式有限元分析應(yīng)用浪潮配置胖節(jié)點，可選八路胖節(jié)點；針對流體類應(yīng)用配置雙路主流計算節(jié)點，針對前后處理可選圖形工作站，塔式、機架可選；存儲方面可提供NAS存儲、光纖存儲、IB SAN存儲等方案，對于IO帶寬需求特別高的場合，可以配置性能較好、兼容性較高的并行文件系統(tǒng)。

4.2 完善互聯(lián)系統(tǒng)

管理網(wǎng)絡(luò)采用萬兆為主干的千兆線速網(wǎng)絡(luò)，可開辟對教育網(wǎng)/公網(wǎng)的獨立IP，實現(xiàn)廣域網(wǎng)用戶登錄使用集群；IPMI網(wǎng)絡(luò)采用非線速千兆交換機，互聯(lián)所有節(jié)點，管理員通過辦公用機可實現(xiàn)集群的帶外管理；KVM本地監(jiān)控網(wǎng)絡(luò)通過菊花鏈方式，最多實現(xiàn)960臺計算機的KVM監(jiān)管；計算網(wǎng)絡(luò)采用IB網(wǎng)絡(luò)全線速互聯(lián)，帶寬達到56Gb/s，延時1微秒內(nèi)，充分保證計算中間數(shù)據(jù)交互。

4.3 確保調(diào)度系統(tǒng)先進高效

集群管理軟件要通過瀏覽器（IE，firefox等）進行操作，全面實現(xiàn)集群的監(jiān)控、管理、報警的軟件，用戶通過ClusterEngine圖形界面提交自己的科學計算任務(wù)，ClusterEngine會根據(jù)集群中的資源使用情況和作業(yè)的資源要求數(shù)量來合理的調(diào)度用戶提交的作業(yè)，從而達到提高資源利用率和作業(yè)的執(zhí)行效率的作用。ClusterEngine還可以為集群管理員統(tǒng)計作業(yè)的資源消耗情況和用戶的資源使用情況，并生成報表，為集群管理員優(yōu)化系統(tǒng)提供依據(jù)。

4.4 確保集群系統(tǒng)綠色節(jié)能

所有節(jié)點盡量采用80PLUS高效電源，提高電源轉(zhuǎn)換效率，降低用戶運維成本。結(jié)合Cluster Engine節(jié)能組件，可以自動將空閑資源設(shè)置為待機或者關(guān)機狀態(tài)，整體節(jié)能至少會降低20%。

5 結(jié)語

自二十世紀六十年代以來CAE技術(shù)得到飛速發(fā)展，其原動力是不斷增長的工業(yè)需求，這其中航天航空、能源動力等領(lǐng)域是其發(fā)展的強大的推動力。如大型復(fù)雜飛行器結(jié)構(gòu)的流-固耦合計算，涉及計算空氣動力學、計算燃燒學、計算傳熱學、計算結(jié)構(gòu)力學等眾多學科，目前CAE已成為航空、航天、能源動力等工業(yè)領(lǐng)域不可或缺的研究手段。CAE高性能計算平臺的建設(shè)，對于企業(yè)生產(chǎn)目標的實現(xiàn)，有核心的基礎(chǔ)技術(shù)支撐作用。

參考文獻

[1]艾菊梅，陸玲，陸鋼.動態(tài)信息處理技術(shù)的研究[J]；東華理工學院學報，2005年04期.

[2]王彬，許卓群.網(wǎng)格環(huán)境下的作業(yè)運行支持系統(tǒng)分析[J]；計算機應(yīng)用研究，2007年02期.