面向國產超算平臺的通用能源管網仿真計算模型

韓璞 商建東 薛飛 謝景明 王洪生 王海

摘 要：

為實現(xiàn)城市能源管網仿真軟件的自主可控，基于國產異構高性能計算機“嵩山”超級計算平臺，提出一種通用的城市能源管網仿真計算模型。通過優(yōu)化管網中“非管”組件模型，提高了計算模型對國產異構并行計算機系統(tǒng)的適配性；將不同管網組件的計算過程進行封裝，弱化了網絡組件在仿真計算過程的依賴性，提升模型在工程實現(xiàn)上的可并行性。供水、燃氣和熱力三種場景的并行仿真實驗，證明了計算模型在解決城市能源供給網絡的仿真計算上具有一定的普適性；通過管網實測數(shù)據與仿真模型中模擬數(shù)據對比結果表明仿真管網壓力的誤差率在4%以下，其溫度的誤差率低于2%，同時也說明了提出的管網仿真計算模型在國產超算平臺上具有良好的計算通用性。

關鍵詞：異構計算；能源管網；仿真模型；流體網絡；并行計算

中圖分類號：TP308?? 文獻標志碼：A??? 文章編號：1001-3695（2024）03-033-0866-07

doi： 10.19734/j.issn.1001-3695.2023.06.0299

Universal computational model for energy supply network simulation

based on domestic supercomputer system

Han Pu1，2， Shang Jiandong1，3， Xue Fei4， Xie Jingming3， Wang Hongsheng3， Wang Hai5

（1.School of Computer & Artificial Intelligence， Zhengzhou University， Zhengzhou 450001， China; 2.School of Information Engineering， Nanyang Institute of Technology， Nanyang Henan 473004， China; 3.National Supercomputing Center in Zhengzhou， Zhengzhou 450001， China; 4.Henan Paifu Information Technology Co.， Ltd.， Zhengzhou 450001， China; 5.School of Mechanical Engineering， Tongji University， Shanghai 200092， China）

Abstract：

In order to realize the independent and controllable simulation software of urban energy pipeline network， this paper proposed a universal urban energy pipe network simulation calculation model based on the domestic heterogeneous high-performance computer “Songshan” supercomputing platform. It enhanced the adaptability to domestic heterogeneous parallel computer systems by optimizing the model of the non-pipe component and simplifying its input and output parameters. Then， it encapsulated the calculation process of different pipe network components， which could reduce the computational dependency of each connected component in the simulation calculation process and improve the parallelism of the engineering implementation of the calculation model. Finally， it also proposed a parallel system solution for energy pipe network simulation with this simulation calculation model. The generality of the suggested computational model had been proved by simulation tests of three separate real pipeline networks for urban water， gas， and heat. The simulated pressure has an error rate of less than 4% and its temperature has an error rate of less than 2%， according to comparisons between the actual network measurements and the simulated data in the network simulation model. These results also show that the proposed pipe network simulation model in the paper provides excellent computational versatility on domestic supercomputing platforms.

Key words：heterogeneous computing; energy supply network; simulation model; fluid network; parallel computing

0 引言

能源管道網絡是現(xiàn)代城市基礎設施中重要的組成部分，人們借助這種網絡獲取所需的水、燃氣等能源物質［1］，但隨著城市規(guī)模的不斷擴張，能源管網的規(guī)模和形式也愈發(fā)龐大和復雜，對這種隱匿于地下城市“動脈”的管理和維護工作也變得相當困難［2］。通過仿真技術構建能源供給網絡數(shù)值模型，為能源供應商們提供了一種高效的管網運行與監(jiān)測手段［3～5］。目前較為流行的仿真工具多為一些國外商業(yè)軟件［6］，如Syner-GEE［7］、ATMOS SIM［8］等。這些軟件系統(tǒng)雖然能夠實現(xiàn)對管道網絡的建模、仿真，但它們具有一定的商業(yè)壟斷性；另外，能源管網數(shù)據多數(shù)情況下屬于涉密信息，長期將這些國外商業(yè)軟件應用于國內能源供應領域，可能對國家能源安全產生一定的信息安全隱患，因此設計和完善具有自主產權的能源管網仿真工具為維護國家和能源行業(yè)信息安全具有十分重要的意義。

為了突破國外商業(yè)軟件的壟斷和維護國家能源供應網絡信息安全，國產化仿真系統(tǒng)軟件迎來了巨大的發(fā)展。例如，在油氣的長線傳輸仿真領域，以RealPipe-Gas為代表的天然氣管網瞬態(tài)運行的通用仿真軟件實現(xiàn)了天然氣管道仿真技術的自主可控［9］。然而，在能源管網仿真過程中，涉及大量的流體計算方程的求解［10，11］，這一過程需要耗費大量的計算資源輔助完成，傳統(tǒng)計算機硬件在此類計算密集型的系統(tǒng)軟件的性能提升方面存在很多限制［5，12］。但高性能計算機和并行軟件開發(fā)技術的發(fā)展，為提升管網仿真計算性能奠定了基礎［13］。謝興勇等人［14］利用高性能計算中的異構計算方法在“嵩山”超級計算平臺上證明了高性能計算機在管網仿真計算具有一定的優(yōu)勢。然而，文獻［14］在“嵩山”計算機上僅針對城市供水管道網絡，實現(xiàn)了管網的數(shù)值建模與仿真，其應用場景具有一定的局限性；同時實驗中使用了非實際的供水場景算例，只完成仿真系統(tǒng)的計算性能方面的驗證，也沒有對仿真模型數(shù)值精度進行評價。

為了補足國產能源管網仿真軟件短板和解決城市能源供給復雜場景的仿真計算問題，本文調研了城市多種能源供應網絡仿真過程中的計算方法，結合國產超級計算平臺這種異構硬件架構，在前期工作［14］的基礎上提出了一種適用于自來水、燃氣和熱力三種能源供給網絡場景的通用能源管網仿真計算模型。該模型將網絡中流體方程的求解與管網仿真系統(tǒng)邏輯分離，提高了模型的可拓展性；在楊周凡等人［15］提出的基于“網絡元”的管網建模方法的基礎上，通過重構管網組件類型，實現(xiàn)一種通用的管網仿真計算框架，增強了框架對異構計算平臺的適應性。

在三種不同能源供給網絡場景中，本文通過系統(tǒng)模擬的管網壓力、溫度數(shù)值與實測數(shù)據的對比結果表明：多數(shù)觀測點處的仿真與實際儀器測量數(shù)值誤差低于5%，證明了仿真計算模型具有良好的實用性。

1 “嵩山”計算平臺與異構并行計算

“嵩山”超級計算機是國產新一代具有自主知識產權的異構計算機集群，沿用當前主流的高性能計算機“CPU+GPU”硬件架構，對高計算密度的應用程序的性能提升具有良好的輔助作用［16，17］?！搬陨健背売嬎銠C部署于國家超級計算鄭州中心，其理論峰值計算能力100 PFlops，存儲容量100 PB［18］；單個計算節(jié)點采用“一拖四”（一顆CPU和四顆DCU）模式配備?！搬陨健背売嬎闫脚_在提供強大計算能力的同時，也為國家高性能信息計算發(fā)展和行業(yè)領域信息安全提供了有效的戰(zhàn)略保障。

DCU（deep compute unit）是海光信息技術股份有限公司自主研發(fā)的一款類GPU國產計算加速卡，與CPU共同構建高性能計算機的硬件架構，也是“嵩山”計算平臺中主要的加速設備。DCU具有獨立的硬件體系架構，通過PCI-E總線與CPU相連，內部有多個CU（compute unit）構成計算單元陣列，接受CPU的調度，但程序在DCU上的運行則是可以獨立運行，這為應用程序的并行計算提供了硬件支撐。圖1是“嵩山”超級計算平臺中單個節(jié)點的硬件架構，整個硬件體系中包含四個DCU卡，每個DCU卡的計算單元陣列中包含60個CU，DCU上的指令處理器協(xié)調計算資源的調度和任務分配［19］。計算節(jié)點中的各計算組件通過PCI-E總線進行數(shù)據和指令傳輸，系統(tǒng)中的計算任務由CPU進行控制。

為了充分利用圖1中計算資源，傳統(tǒng)編碼和程序運行方式需要針對這種硬件架構重新改寫。在“嵩山”計算機上，由于其硬件架構的特殊性，需要使用HIP+MPI編程模式，其中HIP提供了與DCU交互的編程接口（如DCU內存分配、數(shù)據傳輸以及核函數(shù)的啟動等），MPI則是一種線程間的通信機制和接口函數(shù)庫，用于協(xié)調并發(fā)執(zhí)行的線程間的同步和數(shù)據共享。

與常規(guī)的CUDA編程模式［20］相似，CPU+DCU這種異構平臺下的并行應用程序中代碼被分成主機端代碼和設備端代碼兩部分。主機端的代碼由CPU執(zhí)行；而設備端代碼則是以核函數(shù)的形式由DCU獨立運行。如圖2所示，左側主機端代碼中通過一系列HIP接口，調度和使用DCU上的計算資源，而右側DCU中各個線程的執(zhí)行，則是由預先設定的核函數(shù)負責。需要說明的是，圖2右側線程依據HIP編程模型的thread-block-grid組織結構，可以被組織成一維、二維或三維的模式，從而使得線程能夠以類似空間結構的邏輯形式映射至不同的CU中，這與通用GPU編程方式相似，可以高效管理DCU中并發(fā)執(zhí)行的線程。

2 管網模型與仿真系統(tǒng)計算架構

城市能源管網是一種結構復雜連通網絡，網絡由大量的輸配管道、設備和連接件組成。因此，在構建管網仿真系統(tǒng)的過程中，需要對網絡中的不同“組件”進行數(shù)值建模，并使用以下三個控制方程進行描述。

4 仿真結果與分析

本文實驗在“嵩山”超級計算機上完成，其硬件配置在第1章中已經進行說明。所有仿真實驗的編譯和測試等工作在CentOS 7.6上使用GCC 7.3.1和HIPCC 4.0.1進行。

4.1 實驗方案與數(shù)據來源

為了驗證本文計算模型在城市能源管網仿真上正確性和可行性，選取三個實際能源供應場景。在完成仿真模型的數(shù)值建模后，又在管網中加裝一定數(shù)量的溫度或壓力測量儀器，通過對比模型中相應觀測點上的仿真數(shù)據，驗證本文模擬仿真計算模型的準確性和通用性。

三種實驗場景分別來自于我國江西省某縣城的供水管網（water model）、浙江某地燃氣管網（gas model）和我國西北地區(qū)某城市中一個行政區(qū)的熱力網絡（thermal model）。它們詳細參數(shù)如表1所示。表1中管子數(shù)量和非管組件的數(shù)量之和代表管網的規(guī)模，它與仿真模型的計算量密切相關；觀測點的數(shù)量是在實際場景下人為設置的物理測量儀器的數(shù)量，這些觀測點用于核對管網模型的仿真精度。

4.2 仿真結果對比與分析

根據圖4、5中管網并行仿真計算方案和數(shù)據同步方法，將表1中的三個管網模型在CPU+DCU架構的計算節(jié)點上完成相應的能源管網系統(tǒng)仿真實驗。仿真過程中，不同的能源供需參數(shù)（壓力、流量等）作為管網模型邊界條件，隨機選取了某一時刻，將觀測點上仿真數(shù)值與實際儀器測量數(shù)值進行對比，并按照式（5）計算兩者的誤差率（deviation rate，DR）。

DR（t）=|Sim_Vkt－Mea_Vkt|Mea_Vkt×100%（5）

其中：DR（t）為時刻t第k個觀測點處的仿真數(shù)值誤差率；Sim_Vkt與 Mea_Vkt分別代表模型仿真數(shù)值和測量值。本節(jié)將從表1中三個場景中，隨機采集某個時間管網觀測點出的觀測數(shù)值，通過對比仿真結果，計算對應的誤差率，評價本文方法在解決管網仿真計算中的有效性。

4.2.1 供水管網（water model）仿真結果對比

在供水管網的仿真實驗中，本文選取了該網絡在2021年7月10日上午7∶30的工況水流壓力進行對比。圖7是該時段115個水壓觀測點上實測水壓數(shù)值與仿真水壓，可以看出仿真壓力與實測壓力的數(shù)值變化趨勢基本一致，而各觀測點上的誤差率的變化如圖8所示。從圖8可以看出，仿真模型在多個觀測點處的誤差率為4%左右。

4.2.2 燃氣網絡（gas model）仿真結果對比

燃氣管網仿真實驗中，將2022年9月26上午11∶30的管網數(shù)據進行對比實驗。圖9是該時刻31個觀測點的燃氣壓力對比，從圖中可以看出，除少數(shù)觀測點以外，其他多數(shù)觀測點仿真數(shù)值與實際測量值基本一致，其誤差率如圖10所示。從圖10中誤差率的變化可以看出，多數(shù)燃氣管網觀測點上仿真模型與實際測量數(shù)值相近，其誤差率均低于2%，說明本文提供的管網仿真計算模型具有較高的準確性。

4.2.3 熱力管網（thermal model）仿真結果對比

相對前兩種能源供給輸配網絡，熱力管網模型相對較為復雜，整個網絡有供水網絡和回水網絡兩部分組成，同時本文不僅對供水管網和回水管網的壓力進行比較，還對管網的溫度也進行誤差對比。選用2022年2月23日21∶50的工況數(shù)據與仿真管網模型進行對比。

圖11為熱力供水網上各觀測點仿真與實測水壓的對比情況，圖中仿真壓力的整體變化趨勢與實際測采集壓力的變化趨勢基本相符，而兩者的誤差率如圖12所示，觀測點上的誤差率均在5%以下。圖13為該熱力管網的供水網絡溫度對比情況，圖中可以看出，仿真溫度與實際測量溫度存在一定的差別，但由于圖中溫度計量單位為開爾文（K），從圖14中誤差率來看，其誤差僅為2%左右。

整體來看，熱力管網的模擬結果與實測數(shù)值基本一致，僅在個別觀測點上存在誤差較大的情況。從它們對應的誤差率可以看出，整個熱力管網的壓力只有一個觀測點誤差率超過10%，其他多數(shù)觀測點的模擬數(shù)值誤差率在5%左右；而供水網絡和回水網絡中的溫度仿真誤差均在2%以下，基本上已經達到實際工業(yè)場景下的誤差要求。

5 計算模型部署與應用

第4章通過三種不同的能源管網模型的仿真計算結果與實際管網壓力、溫度等計量設備的測量數(shù)值的對比，可以證明本文方法在實際的工程應用中具有一定的可行性。本章通過介紹部署在國產超級計算平臺上對國內某城市工業(yè)園區(qū)的燃氣管網（CGN）的模擬仿真過程，進一步證明本文管網仿真計算模型在解決實際行業(yè)需求方面的應用價值。

整個仿真計算過程可以分成管網建模、仿真計算和可視化三個階段，其中本文計算方法主要應用于第二階段的工作。數(shù)值仿真計算之前需要對整個管網拓撲進行建模，模型中包含各類網絡組件的參數(shù)（如管道長度、管徑、摩阻等）和管網邊界條件的設置；然后，將模型導入仿真系統(tǒng)以后，對象化后的網絡組件的計算被分派至不同的DCU上并發(fā)完成；當計算結束后，仿真系統(tǒng)將仿真結果（管道壓力、流量）交由可視化系統(tǒng)予以呈現(xiàn)。

本章模擬的燃氣管網涵蓋200多平方千米的城市行政區(qū)域，燃氣用戶30余萬戶，管網總長度在1 800 km以上。實驗構建一個由32 817個網絡組件的燃氣管網模型，其中包括10個氣源（輸入）和1 444個用戶（輸出），模型的詳細信息如表2所示，而這些組件的拓撲關系如圖15所示，圖中區(qū)域按照燃氣供應壓力分成了高、中、低三種區(qū)域，左邊青綠色區(qū)域為高壓區(qū)域，其代表管網的骨干供應網絡，中間和右下青色區(qū)域為中壓區(qū)域，右上紫色區(qū)域為低壓區(qū)域，服務于燃氣的終端用戶。

數(shù)值模型中定義了整個網絡的物理特性，而在仿真計算開始前，網絡模擬計算還需要設置管網模型的邊界條件：源和終端用戶上的壓力、流量和溫度等初始值。表3列出部分氣源和用戶的初始的壓力、溫度和流量值。

模擬仿真計算過程中，各實例化組件的水力求解任務被分配到不同的DCU并發(fā)執(zhí)行，并周期性地校驗模型收斂誤差，當計算結果達到收斂標準后計算結束，并對仿真的結果進行可視化處理。仿真計算的結果中包含所有組件的水力工況狀態(tài)，如管道的連接件的壓力、流量溫度，以及管道的壓力分布和流量分布等。表4包含管道組件的兩個端口的壓力、溫度和流量的仿真計算結果；而表5則是非管組件的仿真計算結果，它們按照端口的數(shù)量分別列出，其中三通只有3個端口，而二通和減壓閥等組件的端口數(shù)量是2。

上述表格中的數(shù)據可以使用通過可視化工具進行表示，圖16為管網在當前邊界條件下的穩(wěn)態(tài)壓力。從圖中可以看出，紅黃色左側網絡屬于高壓區(qū)域的壓力明顯高于中低壓區(qū)域；同時，越接近網絡的末端區(qū)域，其壓力也隨著減小。

6 結束語

針對城市能源供應網絡，本文提出了一種并行的通用仿真計算模型。模型中將復雜管網流體計算過程進行類型封裝，弱化了管網組件的仿真計算過程的依賴性，并結合“嵩山”超級計算機平臺，賦予模型良好的可并行性，提高了管網仿真系統(tǒng)在高性能計算平臺上的運算性能。

三種能源輸配管網場景在“嵩山”超級計算平臺的實驗可以證明，本文模型在管網仿真應用領域具有較強的通用性，為能源管網仿真軟件的“自主可控”奠定了基礎，也為國內能源供應企業(yè)提供了安全、可靠的仿真件計算工具和實驗環(huán)境。

盡管文中針對能源輸配管網提出的仿真模型和計算方法基本上可以為多數(shù)能源行業(yè)提供較高精度的網絡仿真工具，但為了充分發(fā)揮高性能計算機仿真計算方面的優(yōu)勢，在提升和優(yōu)化模型計算性能等方面還有一定的研究空間。

參考文獻：

［1］萬冬桂. 城市地下管網建設和管理淺析［J］. 未來城市設計與運營，2022（6）： 65-67. （Wan Donggui. Analysis of construction and management of urban underground pipe network［J］. Future City Studies， 2022（6）： 65-67.）

［2］雷雄偉. 城市地下管網隱患調查實踐與探討［J］. 城市勘測，2018（S1）： 56-58. （Lei Xiongwei. Practice and discussion on hidden danger investigation of urban underground pipe network［J］. Urban Geotechnical Investigation & Surveying，2018（S1）： 56-58.）

［3］Turner W J，Kwon P S J，Maguire P A. Evaluation of a gas pipeline simulation program［J］. Mathematical and Computer Modelling，1991，15（7）： 1-14.

［4］王英竹. 二次供水系統(tǒng)水力模擬與節(jié)能降耗研究 ［D］. 西安： 西安建筑科技大學，2021. （Wang Yingzhu. Research on hydraulic simulation and energy saving and consumption reduction of secondary water supply system［D］. Xian： Xian University of Architecture and Technology，2021.）

［5］喬帆，楊光，李業(yè)強，等. 基于仿真計算的城市管網爆管事件關閥策略［J］. 煤氣與熱力，2023，43（3）： 11-15. （Qiao Fan，Yang Guang，Li Yeqiang，et al. Valve closing strategy for pipe burst event in urban pipe network based on simulation calculation［J］. Gas & Heat，2023，43（3）： 11-15.）

［6］陳國群，鄭建國，柳建軍，等. 油氣管網仿真技術現(xiàn)狀與展望［J］. 油氣儲運，2014，33（12）： 1278-1281. （Chen Guoqun，Zheng Jianguo，Liu Jianjun，et al. Current situation and outlook of oil and gas pipeline network simulation technology［J］. Oil & Gas Storage and Transportation，2014，33（12）： 1278-1281.）

［7］賈筱東. SynerGEE Gas模擬仿真軟件的應用與發(fā)展［J］. 中國石油和化工標準與質量，2017，37（14）： 88-89. （Jia Xiaodong. App-lication and development of SynerGEE Gas simulation software［J］. China Petroleum and Chemical Standard and Quality，2017，37（14）： 88-89.）

［8］王建國. ATMOS模擬仿真系統(tǒng)在天然氣管道的應用［J］. 天然氣技術，2008，10（4）： 42-44，79. （Wang Jianguo. Application of ATMOS simulation system in natural gas pipeline［J］. Natural Gas Technology and Economy，2008，10（4）： 42-44，79.）

［9］鄭建國，陳國群，宋飛，等. 大型天然氣管網仿真模型及其求解技術研究［J］. 系統(tǒng)仿真學報，2012，24（6）： 1339-1344. （Zheng Jianguo，Chen Guoqun，Song Fei，et al. Research on simulation model and solving technology of large scale gas pipe network［J］. Journal of System Simulation，2012，24（6）： 1339-1344.）

［10］李長俊，張員瑞，賈文龍，等. 大型天然氣管網系統(tǒng)在線仿真方法及軟件開發(fā)［J］. 油氣儲運，2022，41（6）： 723-731. （Li Changjun，Zhang Yuanrui，Jia Wenlong，et al. Online simulation method and software development of large-scale natural gas pipeline network system［J］. Oil & Gas Storage and Transportation，2022，41（6）： 723-731.）

［11］李春奇，袁獻忠，李俊，等. 天然氣管網動態(tài)仿真三種隱式差分法對比研究［J］. 西安石油大學學報： 自然科學版，2023，38（1）： 145-149. （Li Chunqi，Yuan Xianzhong，Li Jun，et al. Comparison of three implicit difference methods for dynamic simulation of natural gas pipeline network［J］. Journal of Xian Shiyou University： Natural Science Edition，2023，38（1）： 145-149.）

［12］Carter R，Denton G. Parallel computation for simulation users and simulation developers［EB/OL］. （2011-05-24）. https：//onepetro.org/PSIGAM/proceedings-pdf/PSIG11/All-PSIG11/PSIG-1121/1663 663/psig-1121.pdf.

［13］謝興勇，譚飛，黃啟益. 基于高性能計算的仿真平臺建設運維策略探討［J］. 數(shù)字技術與應用，2021，39（9）： 98-102. （Xie Xingyong，Tan Fei，Huang Qiyi. Discussions on the design strategies of numeric simulation platform based on the high performance computing［J］. Digital Technology & Application，2021，39（9）： 98-102.）

［14］楊周凡，韓林，李冰洋，等. 基于“嵩山”超級計算機系統(tǒng)的大規(guī)模管網仿真［J］. 計算機工程，2022，48（9）： 155-161. （Yang Zhou-fan，Han Lin，Li Bingyang，et al. Large-scale pipeline network simulation based on “Songshan”supercomputer system［J］. Computer Engineering，2022，48（9）： 155-161.）

［15］王海，王海鷹，周海珠. 多熱源環(huán)狀管網的面向對象水力計算方法［J］. 浙江大學學報： 工學版，2012，46（10）： 1900-1909. （Wang Hai，Wang Haiying，Zhou Haizhu. Analysis of multi-sources looped-pipe network based on object-oriented methodology［J］. Journal of Zhejiang University： Engineering Science，2012，46（10）： 1900-1909.）

［16］Bakhoda A，Yuan G L，F(xiàn)ung W W L，et al. Analyzing CUDA workloads using a detailed GPU simulator［C］// Proc of IEEE Internatio-nal Symposium on Performance Analysis of Systems and Software. Piscataway，NJ： IEEE Press，2009： 163-174.

［17］謝景明，胡偉方，韓林，等. 基于“嵩山”超級計算機系統(tǒng)的量子傅里葉變換模擬［J］. 計算機科學，2021，48（12）： 36-42. （Xie Jingming，Hu Weifang，Han Lin，et al. Quantum Fourier transform simulation based on “Songshan”supercomputer system ［J］. Computer Science，2021，48（12）： 36-42.）

［18］謝浩山，劉曉楠，趙晨言，等. 基于“嵩山”超級計算機系統(tǒng)下HHL算法的模擬實現(xiàn)［J］. 計算機科學，2023，50（6）： 74-80. （Xie Haoshan，Liu Xiaonan，Zhao Chenyan，et al. Simulation implementation of HHL algorithm based on “Songshan” supercomputer system［J］. Computer Science，2023，50（6）： 74-80.）

［19］楊小藝，趙榮彩，王洪生，等. 面向DCU非一致控制流的編譯優(yōu)化［J］. 計算機應用，2023，43（10）： 3170-3177. （Yang Xiaoyi，Zhao Rongcai，Wang Hongsheng，et al. Compilation optimizations for inconsistent control flow on deep computer unit［J］. Journal of Computer Applications，2023，43（10）： 3170-3177.）

［20］Duc K V. High-performance computing with CUDA［J］. Journal of the Japan Society for Computational Engineering & Science，2010，15： 2421-2426.

［21］Wang Peng，Ao Shangmin，Yu Bo，et al. An efficiently decoupled implicit method for complex natural gas pipeline network simulation［J］. Energies，2019，12（8）： 1516.

［22］Wang Hai，Liu Xiaojing，Zhou Weiguo. Transient flow simulation of municipal gas pipelines and networks using semi implicit finite volume method［J］. Procedia Engineering，2011，12： 217-223.

［23］楊懷磊，曾思美，王萬東，等. 三維煤氣管網仿真系統(tǒng)設計與實踐［J］. 中國安全科學學報，2011，21（1）： 43-49. （Yang Huailei，Zeng Simei，Wang Wandong，et al. Design and realization of gas pipeline network 3D-virtual reality system based on GIS［J］. China Safety Science Journal，2011，21（1）： 43-49.）

［24］郝興. 油氣管網仿真建模軟件架構設計及關鍵技術研究［D］. 大慶： 大慶石油學院，2010. （Hao Xing. The architectural design of the oil and gas pipeline simulation modeling software and the key technology research［D］. Daqing： Daqing Petroleum Institute，2010.）

［25］王海，李錚偉. 復雜水系統(tǒng)分析引擎CAENAE-W： 原理、開發(fā)及驗證［J］. 暖通空調，2021，51（1）： 16-22. （Wang Hai，Li Zhengwei. Complex water system analysis engine CAENAE-W： principle，development and verification［J］. Heating Ventilating & Air Conditioning，2021，51（1）： 16-22.）

［26］Kim S M，Choi K S，Jung J H. Improvement of CFD code for two-phase flow with boiling and natural convection for evaluation of core-catcher cooling performance in OpenFOAM［J］. Nuclear Enginee-ring and Design，2023，408： 112316.