復雜電子裝備研制企業(yè)仿真計算一體化平臺設計技術

摘要：針對復雜電子研制企業(yè)中傳統(tǒng)高性能設計仿真資源使用方式分散、有效利用率不高，集群式計算資源使用模式單一、數據資源與知識資源難以共享等問題，本文提出了一種融合高性能計算資源調度技術和遠程三維可視化技術的計算仿真一體化平臺架構設計方案，通過整合高性能計算資源、存儲資源、高速網絡資源以及數據資源，提供兼具遠程三維設計仿真和高性能計算能力的應用系統(tǒng)級平臺服務，以期為企業(yè)設計仿真提供一個統(tǒng)一便捷的基礎平臺。

關鍵詞：設計仿真；高性能計算；一體化平臺

一、引言

隨著信息技術的快速發(fā)展，數字化設計仿真已經成為推動我國現代復雜電子裝備研發(fā)迭代的強大動力。與此同時，復雜電子裝備也正在向多功能一體化、構型變化大、集成度高等方向發(fā)展，具有技術更新?lián)Q代快、機電熱液磁等多專業(yè)交叉以及電訊、結構和工藝深度耦合的特點。

復雜電子裝備研發(fā)技術的快速發(fā)展不僅對使用EDA、CAD、CAE等核心工業(yè)軟件的研發(fā)設計提出了非常高的要求，還需要高性能計算資源作為基礎硬件支撐。為了滿足EDA、CAD、CAE軟件與高性能計算集群集成應用的需求，企業(yè)亟須集成軟硬件為一體的仿真計算一體化平臺作為產品研制的基礎硬件支撐環(huán)境。

二、仿真計算資源使用問題分析

數字仿真技術在復雜電子裝備研制企業(yè)產品研發(fā)過程中發(fā)揮著越來越重要的作用，企業(yè)內大量仿真計算資源是否被合理高效利用將直接影響到產品迭代效率與質量。為了滿足企業(yè)發(fā)展需要，傳統(tǒng)設計仿真資源使用管理模式中存在的多個突出問題亟須解決。

（一）設計仿真業(yè)務分離，影響研發(fā)效率

在傳統(tǒng)設計仿真模式下，設計師往往通過個人工作站進行產品模型交互設計，并且通過高性能計算資源進行仿真計算。然而，模型設計與計算仿真分離的工作模式通常無法實現仿真設計數據的異機共享，在迭代優(yōu)化的過程中，模型難以避免地進行多次數據上傳下載操作，這些重復工作不僅耗時耗力，而且也不會給產品的優(yōu)化設計帶來任何價值。

（二）資源使用方式分散、整體負載不均衡

在傳統(tǒng)設計仿真模式下，復雜電子裝備研制企業(yè)通常以小組為單位重復采購大量的仿真計算資源，計算資源由各小組獨立使用，分散掌握在個人手中。物理分布分散無法形成有效設計仿真資源池，管理人員也無法從全局視角協(xié)調仿真計算任務錯峰使用計算資源，導致硬件資源實際忙閑狀態(tài)不一，難以實現整體計算資源的均衡使用。

（三）計算資源缺乏統(tǒng)一管理平臺

在傳統(tǒng)資源管理模式下，計算資源的使用分配大多依賴純手工操作，難以實現高效管理。資源使用形式離散化的特點不僅難以形成統(tǒng)一的資源使用模式，也給仿真計算工作的規(guī)范化帶來不小的難度。同時，離散化的資源使用方式往往伴隨著監(jiān)測手段的缺失，難以對故障進行快速定位、分析與解決。

三、仿真計算一體化平臺設計與實現

針對傳統(tǒng)仿真計算資源使用過程中遇到的問題，本文從底層硬件基礎設施和上層應用服務兩個維度對高性能計算仿真平臺分別進行架構規(guī)劃與設計。平臺架構設計遵循模塊化、易擴展、易管理、高可靠、高穩(wěn)定的原則，旨在便于仿真計算平臺進行建設、使用、維護、擴展、故障定位等平臺全生命周期維護。

仿真計算平臺主要包括平臺服務層構成的前端功能應用、仿真應用層構成的仿真應用支撐、集群架構層構成的集群軟件環(huán)境、節(jié)點系統(tǒng)層構成的基礎軟件環(huán)境以及硬件架構層構成的基礎硬件平臺，各功能模塊組成有機統(tǒng)一的整體，共同為用戶提供方便、快捷、高效、易用的仿真計算平臺。

面向復雜電子裝備研制企業(yè)高性能仿真計算一體化平臺架構設計如圖1所示。

（一）硬件架構層設計

硬件架構層作為基礎硬件環(huán)境，由仿真計算集群、仿真可視化集群、高性能分布式存儲系統(tǒng)、管理節(jié)點四大模塊，以及高速計算網絡、帶外管理網絡、業(yè)務傳輸網絡三大互聯(lián)網絡模塊和用戶終端組成。不同模塊在仿真計算平臺中分別承擔不同的功能，并共同組成一個有機整體。

1.計算存儲模塊設計

仿真計算集群由CPU計算集群、GPU計算集群構成，分別為邏輯推理計算、GPU加速等業(yè)務提供服務。仿真可視化集群以配備大顯存GPU渲染卡服務器組成，主要針對大模型三維仿真設計場景。高性能分布式存儲系統(tǒng)由多臺部署了高速并行分布式文件系統(tǒng)的分布式存儲節(jié)點組成，提供高性能、高可靠、高安全、彈性擴展、開放兼容的統(tǒng)一存儲空間及高速數據讀寫服務。管理節(jié)點作為仿真計算平臺的資源調度樞紐，承載前端用戶與后端資源之間的資源調度管理功能，通過HA方式部署，避免單點故障。用戶終端則以分散接入的多臺普通終端機組成，接入普通千兆以太網，通過平臺統(tǒng)一門戶登入使用遠端資源。

2.互聯(lián)網絡模塊設計

高速計算互聯(lián)網絡選用高帶寬、低延時的IB網絡，以滿足仿真計算過程中計算任務對不同服務器之間、服務器與存儲之間的數據高速傳輸需求，并提升并行計算效率。帶外管理網絡以千兆以太網組網，用以滿足仿真計算平臺硬件的日常管理需求。業(yè)務傳輸網絡以萬兆以太網組網，以滿足管理節(jié)點對其他硬件設備的資源監(jiān)控、管理調度、交互設計命令、作業(yè)數據命令等數據傳輸需求。

（二）節(jié)點系統(tǒng)層設計

節(jié)點系統(tǒng)層作為基礎軟件環(huán)境，以操作系統(tǒng)、網絡連接、驅動程序、集群文件系統(tǒng)、數據庫等組成，主要實現底層基礎硬件環(huán)境與上層應用平臺的數據連接。

節(jié)點操作系統(tǒng)的選擇與部署需要綜合考慮仿真平臺兼容性、上層應用軟件兼容性、計算存儲網絡設備適配性等。復雜仿真平臺一般需同時選擇部署Windows操作系統(tǒng)及Linux操作系統(tǒng)，并根據實際需求靈活調整兩類操作系統(tǒng)的版本及數量。網絡連接方式的選擇由實際業(yè)務特性決定，一般數據網絡選擇萬兆網絡或IB網絡、業(yè)務網絡選擇萬兆以太網絡、管理網絡選擇千兆以太網絡。集群文件系統(tǒng)一般可以選擇集中式存儲文件系統(tǒng)或分布式存儲文件系統(tǒng)，實際類型選擇需要綜合考慮實際業(yè)務場景讀寫需求及后續(xù)擴展需求；數據庫選擇只需要滿足仿真平臺的資源調度性能即可。

（三）集群架構層設計

集群架構層作為集群軟件環(huán)境，以實現底層計算資源與終端用戶連接為目標，由集群監(jiān)控系統(tǒng)、資源調度管理、資源分析展示、應用門戶管理、安全控制管理、遠程協(xié)同管理等幾大模塊組成。

集群監(jiān)控模塊能夠實時監(jiān)控仿真平臺內所有硬件設備、軟件環(huán)境的運行狀態(tài)。源調度管理模塊能夠依據仿真任務對計算資源的需求對平臺內硬件資源進行調度和管理。資源分析展示模塊可以根據仿真平臺內所有硬件設備、軟件環(huán)境的實時運行監(jiān)控數據同步繪制資源分析圖表并展示。應用門戶管理模塊主要對接終端用戶，為終端用戶提供便捷易用的仿真平臺使用入口。安全控制管理模塊主要負責終端用戶、軟件資源、硬件資源、數據資源等使用權限控制。遠程協(xié)同管理模塊主要實現終端用戶與后端可視化資源的便捷對接以及不同用戶之間的可視化協(xié)同設計。

（四）仿真應用層設計

仿真應用層作為仿真應用支撐，主要由電磁仿真設計及分析、流體仿真設計及分析、結構仿真設計及分析、熱分析、信號處理分析專業(yè)軟件組成，具體安裝部署需要以支撐終端用戶的使用需求為主。仿真應用層主要用于部署支撐后臺仿真計算類任務、遠程交互設計任務等不同類型使用需求的應用軟件。

（五）平臺服務層設計

平臺服務層作為前端功能應用，由遠程可視化功能、仿真計算功能、數據管理功能以及為平臺管理服務的用戶管理、資源監(jiān)控、安全控制、統(tǒng)計分析、行為審計等功能組成。

四、仿真計算一體化平臺關鍵技術

（一）基于模塊的一體化平臺架構設計

仿真計算一體化平臺可以通過模塊化架構設計，全面梳理設計仿真場景各環(huán)節(jié)的需求，并按模塊化原則進行功能分類設計。其中，各功能模塊獨立承擔不同業(yè)務類型，各種業(yè)務類型模塊相互配合組成有機整體，共同服務于設計仿真及平臺管理工作全生命周期。

在實際應用場景中，設計師可以在同一平臺完成從模型設計到數值仿真工作，真正實現了設計仿真一體化的目標；管理員可以實現資源快速分發(fā)、資源高效管理、故障快速定位恢復等功能，實現了一體化平臺的便捷管理維護。

（二）異構操作系統(tǒng)下的數據漫游

設計仿真與計算仿真所需要的軟件往往基于不同操作系統(tǒng)。設計師常用的設計仿真軟件一般基于Windows操作系統(tǒng)，需要友好的三維交互操作體驗。常用的計算仿真軟件一般基于Linux操作系統(tǒng)，需要盡量減少不必要的非計算性能損耗，并且要求操作系統(tǒng)具有更高的運行穩(wěn)定性。

仿真計算一體化平臺的構建實現了仿真數據在不同操作系統(tǒng)下的漫游，使得設計師能夠在Windows仿真機器上完成三維可視化交互設計，并快速使用高性能Linux計算資源進行仿真計算，避免了數據在不同平臺上傳輸的無效時間損耗，大幅提高了設計師的仿真設計效率。

（三）高性能計算集群資源統(tǒng)一監(jiān)控管理

仿真計算一體化平臺能夠對平臺內異構操作系統(tǒng)下的各計算資源集群進行統(tǒng)一的監(jiān)控管理，并在同一管理頁面對仿真可視化集群、計算集群以及高性能存儲進行統(tǒng)一監(jiān)控管理，使得仿真計算一體化平臺下所有計算存儲資源故障預警可以直接顯示在管理員面前，節(jié)省了管理員的運維管理時間，大幅提升工作效率。

（四）交互設計與仿真計算資源自適應調度

仿真計算一體化平臺實現對遠程可視化集群和高性能計算集群統(tǒng)一框架下的調度，并根據終端用戶工作需求，實時評估集群內各類資源的使用情況，按照既定調度策略，自適應地將最合適的機器分配給終端用戶，從而大幅提高復雜電子裝備研制企業(yè)所采購高性能計算資源的有效利用率。

五、結束語

通過高性能仿真計算一體化平臺的規(guī)劃設計與建設，能夠建成一個集三維模型設計、計算作業(yè)調度、數據資源管理、仿真資源監(jiān)控、安全控制為一體的資源統(tǒng)一調度使用管理平臺，實現對工業(yè)仿真軟件與高性能計算資源的深度集成。通過平臺對計算資源的統(tǒng)一管理調度，可以實現優(yōu)化計算資源使用分配方式，使計算資源能夠以更加合理的方式進行共享使用，提高計算資源的利用效率。平臺可以實現用戶使用友好化、任務調度自動化、數據管理統(tǒng)一化、資源監(jiān)控可視化、安全管理可控化的目標，提升企業(yè)信息化資源在使用方面的協(xié)調、開放、共享能力。仿真計算一體化平臺的構建有助于大型工業(yè)軟件的高效應用，助力復雜電子裝備研發(fā)設計與迭代升級，并促進企業(yè)數字化轉型。

作者單位：劉洋 中國電子科技集團公司第十四研究所

參考文獻

[1]路芳瑞.高性能計算與虛擬桌面基礎設施融合使用研究[J].現代電子技術，2022，45（20）.

[2]劉民，朱興國，劉姜玲，等.目標電磁特性協(xié)同仿真計算平臺構建技術研究[J].計算機技術與發(fā)展，2015（25）.

[3]詹嘉鑫.大數據環(huán)境下高性能計算模型及關鍵技術研究[J].電子技術與軟件工程，2022（12）.

[4]謝興勇，譚飛，黃啟益.基于高性能計算的仿真平臺建設運維策略探討.[J]數字技術與應用，2021（39）.

[5]戴霖，高小渭，吳騫華.高性能計算平臺構建技術研究[J].通信設計與應用，2019（1）：127-128.

[6]王康，楊運平，劉波平.面向材料科學研究的新型高性能計算平臺系統(tǒng)[J].計算機與現代化，2019（3）：39-44.

[7]劉強，朱曉冰，賈蓓.高性能計算仿真云平臺的構建策略分析[J].數字技術與應用，2014（6）：213.

[8]和榮，王小寧，盧莎莎.高性能計算環(huán)境通用計算平臺[J].計算機系統(tǒng)應用，2019，28（12）：55-62.