LBM三維相場模型模擬并行方法研究

賈金芳 薛萬東 鄧新 曹騰飛 馮力 楊培

?

LBM三維相場模型模擬并行方法研究

賈金芳*薛萬東 鄧新 曹騰飛 馮力 楊培

青海大學(xué)計算機技術(shù)與應(yīng)用系，青海 西寧 810016

以高純丁二腈為研究對象，基于MPI并行求解了耦合流動場的三維枝晶非等溫生長PF-LBM相場模型，解決其存在的計算量巨大、計算時間長、模擬規(guī)模小的問題。模擬結(jié)果表明，MPI并行求解技術(shù)不僅可以在一定程度上擴大可模擬規(guī)模，而且也可以在同條件下獲得較高的加速比。相同的流動對三維枝晶生長過程的影響機制同時也說明了采用MPI并行算法的正確性和有效性。

相場模型；三維；LBM；MPI

凝固過程中材料微觀組織形成與生長演化對材料使用性能有重要影響[1]。枝晶凝固過程受多種參數(shù)和復(fù)雜邊界條件的影響，實際試驗成本比較高[2]。使用計算機進行微觀組織數(shù)值模擬因其低成本、便捷等優(yōu)勢備受關(guān)注。相場法作為一種數(shù)值計算技術(shù)，應(yīng)用于凝固過程的模擬，可直觀再現(xiàn)復(fù)雜的微觀組織演化過程，自問世以來就受到各國研究者的關(guān)注[3-4]。

凝固微觀組織數(shù)值模擬中，流場數(shù)值模擬的難度較大。而格子玻爾茲曼方法LBM（Lattice Boltzmann Method）被認為是模擬流場時最有前途的求解方法。相對于傳統(tǒng)流場計算方法，LBM方法具有天然并行性、算法較簡單、易于處理復(fù)雜邊界條件、求解更容易等優(yōu)點[5]，一直以來受到很多領(lǐng)域?qū)W者的關(guān)注，并得到了廣泛的應(yīng)用。

因此，本文將LBM方法與KARMA等[6]提出的純物質(zhì)相場模型結(jié)合，忽略重力和動力學(xué)影響，建立了耦合流動場的三維枝晶非等溫生長PF-LBM（Phase-LBM field model）模型，研究對流作用下枝晶生長機理。然而，計算量大一直是制約相場法推廣和應(yīng)用的一個劣勢，相場法耦合流場后，在原有的尺度上增加了新的空間和時間尺度，三維也比二維增加了一個維度，其計算量更大，加之計算機本身硬件條件的限制，其模擬規(guī)模都比較小，仍缺乏定量研究。另外，目前相場模型一般采用有限差分方法求解[7-9]，其在整個求解域?qū)刂品匠踢M行同尺寸均勻離散，導(dǎo)致計算量巨大，限制了三維凝固微觀組織模擬的發(fā)展。所以，為了更切實際地反映金屬凝固的微觀組織演化過程，對微觀組織演化在多尺度進行多場耦合三維定量模擬具有重要意義，研究更快速、合理的數(shù)值求解方法來求解多場耦合三維相場模型顯得很有必要。

表1 SCN熱物性參數(shù)、相場參數(shù)及計算參數(shù)

隨著多核CPU及GPU大規(guī)模并行機的出現(xiàn)，學(xué)者們逐步致力于研究并行算法，以解決計算成本，實現(xiàn)高效定量模擬。George等[10]使用MPI并行技術(shù)成功實現(xiàn)了較大區(qū)域內(nèi)使用有限差分方法的三維合金枝晶微觀組織凝固模擬。Altenfeld等[11]應(yīng)用OpenMP側(cè)重于并行迭代線性方程的求解和非線性的相場方程顯式求解器的并行使用，這兩個求解器用于基于相場法的微觀組織演變模擬。在GPU方面，Aoki等[12]在多GPU集群上對三維枝晶生長過程進行了模擬研究，結(jié)果在很大程度上提高了計算效率，擴大了模擬規(guī)模。同時期，Yamanaka、Shimokawabe等[13-14]分別在單GPU和配有多個GPU的TSUBAME 2.0超級計算機上對相場與溶質(zhì)場兩場耦合、三維二元合金凝固相場模型進行了模擬，結(jié)果證明GPU并行計算可實現(xiàn)快速、高效、大規(guī)模定量模擬，其性能是單機或多核CPU無法比擬的。

盡管上述研究都使用了不同的并行數(shù)值求解方法求解相場模型，也在一定程度上取得了較好的結(jié)果，但是這些研究基本都是對三維兩場耦合相場模型的模擬實現(xiàn)。因此，本文將基于消息傳遞接口MPI實現(xiàn)對三維多場耦合相場模型的并行求解，在一定程度上擴大計算規(guī)模，提高計算效率，為材料研究學(xué)者實現(xiàn)更真實的微觀組織模擬奠定基礎(chǔ)。

1 相場模型

1.1 LBM方法

LBM演化方程為

1.2 相場模型

相場和溫度場控制方程分別表示為

將質(zhì)量守恒方程和動量守恒方程以下述方式耦合到相場方程中，為統(tǒng)一描述液相區(qū)和枝晶間液體金屬的流動，假定凝固過程中流動不引起晶粒位置的改變。

質(zhì)量守恒方程(連續(xù)性方程)為

動量守恒方程為

2 模擬參數(shù)取值及數(shù)值計算

2.1 模擬參數(shù)取值

本文選擇高純丁二腈SCN為研究對象，其熱物性參數(shù)、相場參數(shù)及計算參數(shù)如表1所示。

2.2 初始、邊界條件

式中：x、y、z分別為三個坐標(biāo)軸方向；lx、ly、lz為三維模擬區(qū)域分別在三個坐標(biāo)軸方向上的最大網(wǎng)格數(shù)。

在計算區(qū)域邊界處，相場和溫度場均采用了Zero-Neumann邊界條件。流場邊界條件對計算結(jié)果的精度和穩(wěn)定性有很大影響。在LBM流場方面，本文采用的邊界條件是啟發(fā)式格式中的用于固體壁面處理的反彈格式，此格式常用于處理無滑移邊界問題。與其他邊界條件相比，它不需要較復(fù)雜的數(shù)學(xué)推導(dǎo)和公式求解，其可以根據(jù)邊界上的一些宏觀物理特性如對稱性等，通過微觀粒子的運動規(guī)則直接確定邊界節(jié)點上的未知分布函數(shù)。

2.3 數(shù)值求解方法

在數(shù)值求解方面，由于問題及算法本身非常符合可被并行的特點，本文主要基于MPI中對等模式實現(xiàn)三維多場耦合相場模型并行求解，其中每個節(jié)點的負載、地位都是平等的。將三維求解區(qū)域按列劃分成相同大小的多個子區(qū)域，每個節(jié)點負責(zé)其中一個子區(qū)域的計算，同一時間步內(nèi)所有計算完成后，在開始下一時刻計算前，必須完成每個子區(qū)域邊界網(wǎng)格點值的更新，即每一節(jié)點與相鄰節(jié)點間須進行數(shù)據(jù)通信?；贛PI并行求解模式如圖1所示。

3 結(jié)果與分析

本文實驗計算環(huán)境為計算機系“三江源數(shù)據(jù)分析中心”高性能集群服務(wù)器平臺，其系統(tǒng)配置為：CPU型號Intel Xeon E5-2620 v2 @ 2.10GHz，共48個計算節(jié)點。

3.1 模擬結(jié)果

圖2（a）、（b）、（c）依次為沒有耦合流動時枝晶生長形貌、沿x軸方向中間位置相場切片圖和與之對應(yīng)的溫度場切片圖，可以看出，枝晶各分支均呈現(xiàn)對稱生長，溫度場邊界層厚度也保持一致。

圖1 MPI對等模式求解模式

圖2 MPI并行模擬結(jié)果

圖2（f）為圖2（e）對應(yīng)的溫度場形貌切片。發(fā)現(xiàn)流動的存在破壞了溫度場邊界層一致的厚度。因為枝晶凝固過程是不斷釋放潛熱的過程，流動的沖擊帶走了上游側(cè)的熱量，而熔體的過冷度是枝晶凝固的驅(qū)動力，從而上游側(cè)枝晶在凝固過程釋放的潛熱能夠快速擴散，溫度邊界層厚度較薄，加快了上游側(cè)及法向上游側(cè)枝晶生長速度；下游側(cè)潛熱因受已凝固枝晶的影響不容易擴散，溫度較高，不容易凝固，溫度邊界層相對上游側(cè)也更厚。上述原理均與串行情況下及理論上流動對枝晶生長影響機制一致，同時也證明了文中采用MPI并行算法的正確性和有效性。

3.2 MPI并行求解效果分析

MPI并行技術(shù)被廣泛應(yīng)用在需要擴大求解規(guī)模的問題領(lǐng)域中，本文中采用對等模式，每個進程負責(zé)求解的計算量完全相同。文中模擬的三維多場耦合相場模型串行程序在單機上模擬區(qū)域上限為1703，通過MPI并行后可擴規(guī)模到3203。圖3為求解區(qū)域網(wǎng)格數(shù)大小為1703，其他所有參數(shù)都相同的情況下，MPI在不同進程數(shù)時相對于串行程序的加速效果。從圖3可以看出，當(dāng)啟動進程數(shù)從8～10過渡時，加速效率沒有呈明顯上升趨勢，進程數(shù)增加為12時，加速效率反倒有點下降，經(jīng)測試中間進程，當(dāng)進程數(shù)為9時，MPI并行程序取得最大加速比9.62倍。其主要原因在于：當(dāng)啟動較少進程時，各進程間邊界數(shù)據(jù)交換較少，數(shù)據(jù)通信時間短，加速效率較明顯；隨著進程數(shù)的增多，劃分的子任務(wù)更多，邊界數(shù)據(jù)通信時間也隨之延長，計算時間無法隱藏通信時間，從而導(dǎo)致效率下降或持較平穩(wěn)趨勢。

4 結(jié)論

（1）本文基于MPI技術(shù)對PF-LBM三維多場耦合相場模型進行了并行求解，進一步理解了流動在三維相場模型中對枝晶生長過程的影響。

（2）結(jié)果表明MPI并行技術(shù)不僅可以擴大計算規(guī)模，也可以在同條件下獲得較高的加速比。

（3）文中并沒有充分利用節(jié)點計算資源，后期將結(jié)合粗細粒度混合并行進一步提升模擬效果。

[1]劉衛(wèi)津. NiCu合金枝晶生長相場法模擬及關(guān)鍵技術(shù)研究[D]. 太原：中北大學(xué)，2014.

[2]侯蕊. 相場法模擬Ti-Al二元合金枝晶生長[D]. 沈陽：沈陽師范大學(xué)，2017.

[3]劉靜，段萌萌. 相場模擬對流影響凝固組織形成的研究進展[J]. 鑄造技術(shù)，2012，33（4）：459-462.

[4]康永生. Fe-C合金枝晶生長過程的相場法模擬研究[D]. 太原：中北大學(xué)，2017.

[5]郭照立. 格子Boltzmann方法的原理及應(yīng)用[M]. 北京：科學(xué)出版社，2009.

[6]KARMA A, RAPPEL W J. Quantitative phase-field modeling of dendritic growth in two and three dimensions[J]. Physical Review Letter，E，1998，57（4）：4324-4349.

[7]呂星，楊湘杰，桂云鵬，等. 過冷熔體近球晶組織形成機理的相場模擬[J]. 鑄造技術(shù)，2015，44（7）：88-91.

[8]Q Li, K H Luo, Q J Kang, et al. Lattice Boltzmann methods for multiphase flow and phase-change heat transfer[J]. Progress in Energy and Combustion Science，2016：62-105.

[9]Hyun Geun Lee，Junseok Kim. A simple and efficient finite difference method for the phase-field crystal equation on curved surfaces[J]. Computer Methods in Applied Mechanics and Engineering，2016：32-43.

[10]William L. George，James A. Warren. A parallel 3D dendritic growth simulator using the phase-field method[J]. Journal of Computational Physics，2002：264-283.

[11]Altenfeld R，Apel M，Mey D，et al. Parallelising Computational Microstructure Simulations for Metallic Materials with OpenMP[J]. Proceedings of IWOMP 2011,B.M. Chapman et al. eds，2011，6665：1-11.

[12]Aoki T，Ogawa S，Yamanaka A. Multiple-GPU scalability of phase-field simulation for dendritic solidification[J]. Progress in Nuclear Science and Technology，2011，2：639-642.

[13]Yamanaka A，Aoki T，Ogawa S，et al. GPU-accelerated phase-field simulation of dendritic solidification in a binary alloy[J]. Journal of Crystal Growth，2011，318（1）：40-45.

[14]Shimokawabe T，Aoki T，Takaki T，et al. Peta-scale phase-field simulation for dendritic solidification on the TSUBAME 2.0 supercomputer[C]. Proceedings of the 2011 ACM/IEEE International Conference for High Performance Computing, Networking，Storage and Analysis，2011：1-11.

[15]HE N Z，WANG N C，SHI B C，et al. A unified income-pressible lattice BGK model and its application to three-dimensional lid-driven cavity flow[J]. Chinese Physics，2004，13（1）：40-46.

Research on Parallel Method of LBM Three-Dimensionalphase-Field Model

Jia Jinfang Xue Wandong Deng Xin Cao Tengfei Feng Li Yang Pei

Computer Technology and Application Department, Qinghai University, Qinghai Xining 810016

In the paper, taking high purity Succinonitrile as the research object, the three-dimensional dendritic non-isothermal growth PF-LBM phase-field model coupling flow field is parallel computed based on MPI, which solves the problems of large computational capacity, long computation time and small simulation scale. The results show that MPI parallel solution can not only enlarge the simulation scale to some extent, but also obtain a higher acceleration ratio under the same conditions. The correctness and effectiveness of the MPI parallel algorithm are also illustrated by the same influences of flow on the three-dimensional dendritic growth process.

phase-field model; three-dimension; LBM; MPI

TG111.4

A

青海大學(xué)中青年科研基金項目（2015-QGY-13）。

通信作者為賈金芳（1991—），女，甘肅天水人，助教，碩士。E-mail：543860105@qq.com。