電大均勻介質(zhì)目標(biāo)三維散射的并行多層快速多極子計(jì)算

邸瀚漪 楊明林 盛新慶

(北京理工大學(xué)信息與電子學(xué)院電磁仿真中心,北京 100081)

?

電大均勻介質(zhì)目標(biāo)三維散射的并行多層快速多極子計(jì)算

邸瀚漪 楊明林 盛新慶

(北京理工大學(xué)信息與電子學(xué)院電磁仿真中心,北京 100081)

實(shí)現(xiàn)了計(jì)算電大均勻介質(zhì)體散射問題的高效混合并行混合場積分方程(Electric and Magnetic Current Combined-Field Integral Equation,JMCFIE)求解,在單純消息傳遞接口(Message Passing Interface,MPI)并行基礎(chǔ)上采用共享存儲并行編程(Open Multi-Processing,OpenMP)進(jìn)一步提升性能.該混合MPI與OpenMP的并行多層快速多極子技術(shù)通過靈活的進(jìn)程和線程策略,提升了負(fù)載平衡和可擴(kuò)展性.數(shù)值實(shí)驗(yàn)展示了此混合MPI與OpenMP的并行多層快速多極子技術(shù)的計(jì)算能力,計(jì)算了不同尺寸的電大目標(biāo)體(包含一個(gè)半徑120 m、1.1億未知數(shù)目的介質(zhì)球).

JMCFIE方程;多層快速多極子;混合并行技術(shù)

DOI 10.13443/j.cjors.2015110601

引 言

積分方程法是計(jì)算電磁學(xué)中的一種高效、精確算法,廣泛應(yīng)用于均勻介質(zhì)體的電磁散射計(jì)算[1-4],在許多實(shí)際應(yīng)用中,例如衛(wèi)星介質(zhì)組件設(shè)計(jì)、飛機(jī)座艙蓋以及光學(xué)組件的設(shè)計(jì)方面有很多重要應(yīng)用.積分方程根據(jù)不同邊界條件的組合、試函數(shù)選取的不同,以及方程之間配比的不同,可以獲得具有不同性態(tài)與精度的方程形式[5-7].通常說來,這些方程可以分為切向或者法向方程,或者是兩者的不同組合形式.在不同的方程中,被人們廣泛使用的有聯(lián)合切向方程(Combined Tangential Formulation,CTF)和混合場積分方程(Electric and Magnetic Current Combined-Field Integral Equation,JMCFIE)[5].JMCFIE作為CTF與聯(lián)合法向方程 (Combined Normal Formulation,CNF)的組合形式,既具有較高的計(jì)算精度,同時(shí)矩陣性態(tài)相比CTF獲得很大改善,因此比較適用于電大尺寸目標(biāo)體的計(jì)算.

積分方程最終離散成為一個(gè)大規(guī)模的矩陣方程,可以采用迭代法求解,如廣義最小殘差法(Generalized Minimal Residual Method,GMRES)求解.矩陣矢量相乘可采取不同的加速算法.在這些算法中,多層快速多極子算法(Multi-Level Fast Multipole Algorithm,MLFMA)發(fā)展較為成熟,可以被用來解決一些具有挑戰(zhàn)性的問題[6].然而,對于未知量超過千萬的電大尺寸問題,單一進(jìn)程串行運(yùn)算的MLFMA已經(jīng)遠(yuǎn)遠(yuǎn)無法滿足計(jì)算需求.

為了解決這類電特大問題,各類基于大規(guī)模并行分布式內(nèi)存計(jì)算平臺開發(fā)的多層快速多極子技術(shù)被相繼提出,在過去的十幾年里,對金屬體散射問題的仿真分析通過采用不同的并行方案,計(jì)算能力由千萬未知數(shù)升到十億未知數(shù)[7-9].近來,基于消息傳遞接口(Message Passing Interface,MPI)并行的并行多層快速多極子技術(shù),實(shí)現(xiàn)了對不同材料參數(shù)下均勻介質(zhì)體電大目標(biāo)的計(jì)算.然而,由于各個(gè)進(jìn)程間過度的消息交換、負(fù)載的不均衡以及數(shù)據(jù)的復(fù)制傳遞等原因,單純的基于MPI的并行方案常常表現(xiàn)得效率低下.

本文提出了一種靈活而高效的混合MPI和共享存儲并行編程(Open Multi-Processing, OpenMP)的并行多層快速多極子技術(shù)(MPI-OpenMP-MLFMA)應(yīng)用到計(jì)算均勻介質(zhì)體散射問題的JMCFIE方程求解中,實(shí)現(xiàn)對電大均勻介質(zhì)體散射問題的快速求解.此混合并行對于MLFMA樹結(jié)構(gòu)的并行采用低層按盒子并行以及高層按平面波并行的混合劃分策略.MLFMA樹結(jié)構(gòu)按照上述并行策略被劃分到每一個(gè)處理器進(jìn)程中,構(gòu)建一個(gè)基于MPI的并行;之后,每一個(gè)處理器進(jìn)程又被進(jìn)一步地按照OpenMP進(jìn)行了并行化,構(gòu)建了多線程的并行[10].此種多層快速多極子的混合并行對于計(jì)算大尺寸問題具有很強(qiáng)的計(jì)算能力.

1 JMCFIE方程

對于一個(gè)給定的均勻介質(zhì)體,對內(nèi)部和外部各自依據(jù)等效原理,可以獲得一系列的關(guān)于等效電磁流的積分方程來計(jì)算電場磁場[7]:介質(zhì)體外部的電場積分方程(Electric Field Integral Equation Outside,EFIE-O),介質(zhì)體外部的磁場積分方程(Magnetic Field Integral Equation Outside,MFIE-O),介質(zhì)體內(nèi)部的電場積分方程(Electric Field Integral Equation Inside,EFIE-I),以及介質(zhì)體內(nèi)部的磁場積分方程(Magnetic Field Integral Equation Inside,MFIE-I)分別為:

E1-η1L1(J1)+K1(M1)=Ei(EFIE-O),

(1)

(2)

E2-η2L2(J2)+K2(M2)=0 (EFIE-I),

(3)

(4)

式中: ηl(l=1,2)分別表示介質(zhì)體外與介質(zhì)體內(nèi)的均勻空間波阻抗; 算子L和算子K定義為

(5)

Kl{X}(r)=∫SX(r′)×′Gl(r,r′)dr′,

(6)

不同的等效方程的組合,不同的試函數(shù)的選取,不同的方程配比比例,都會產(chǎn)生出各種不同的求解面等效問題的積分方程,如PMCHW方程(Poggio-

Miller-Chang-Harrington-Wu Formulation,PMCHW),CTF方程,CNF方程以及JMCFIE方程.JMCFIE方程是由CTF方程和CNF方程的線性組合而成的,就如在計(jì)算金屬物體散射問題的CFIE方程一樣,在精度和效率之間獲得了很好的平衡[5].JMCFIE方程可以表示為

二十世紀(jì)八十年代初，《胭脂扣》一經(jīng)出版便在文壇上引起巨大轟動(dòng)，尤其在1987年被搬上熒屏后，在一系列商業(yè)性的運(yùn)作下李碧華的創(chuàng)作得到各方關(guān)注，其本人也成了香港炙手可熱的女作家。王德威先生曾對李碧華的創(chuàng)作有過一段精當(dāng)?shù)狞c(diǎn)評：“想象穿梭于古今生死之間，探勘情欲輪回，冤孽消長，每每有扣人心弦之處，而她的故事今判的筆法，也間接寫出香江風(fēng)月的香貌?！崩畋倘A的作品絕非簡單的言情敘事，它始終具有濃郁的傳統(tǒng)色彩及香港印記。

(7)

(8)

2 混合并行多層快速多極子技術(shù)

當(dāng)應(yīng)用MLFMA時(shí),開始矩陣的近相互作用被計(jì)算并顯式儲存.矩陣的遠(yuǎn)相互作用的計(jì)算分組進(jìn)行,計(jì)算過程包括聚集、轉(zhuǎn)移、發(fā)散三個(gè)部分[7].對于無損耗均勻介質(zhì)而言,其波數(shù)k是一個(gè)常數(shù),通過利用聚集和發(fā)散矩陣的對稱性,可以將聚集和發(fā)散矩陣的內(nèi)存需求減少一半,轉(zhuǎn)移矩陣的內(nèi)存需求可以減少到原來的四分之一.然而,對于有耗均勻介質(zhì)情況,波數(shù)k成為復(fù)數(shù),含有虛部,此時(shí)MLFMA將失去其對稱性,但我們依然可以利用中心移置矩陣的對稱性:

(9)

同時(shí),我們使用了下三角近似Schur補(bǔ)預(yù)處理技術(shù)(Lower Triangular Approximate Schur Preconditioner,LTASP),以減少構(gòu)造預(yù)處理矩陣的復(fù)雜度.通過忽略子分塊矩陣間極小的耦合矩陣Z12,最有用的近相互作用的信息被保存下來.然后對預(yù)處理矩陣求逆,得到

(10)

在未知數(shù)目大于千萬的電大尺寸的計(jì)算中,為了提高JMCFIE方程的求解能力,可以采用高效的并行計(jì)算技術(shù)實(shí)現(xiàn)快速仿真.對于MLFMA而言,采用混合的或者是疊加的劃分策略,且此兩種策略已經(jīng)被成功應(yīng)用于未知數(shù)過億目標(biāo)的仿真分析.然而,這兩種策略都有其局限.最近,一種混合實(shí)現(xiàn)的并行策略在文獻(xiàn)[10]中被提出,且被證實(shí)靈活且高效,可以實(shí)現(xiàn)未知數(shù)目超過10億的目標(biāo)的仿真分析.此混合并行可以使得傳輸層轉(zhuǎn)向較細(xì)層來提高計(jì)算效率因而具有較好的數(shù)值擴(kuò)展性.在此,我們不對具體的過程進(jìn)行詳細(xì)介紹,詳細(xì)過程讀者可參考文獻(xiàn)[10].

3 數(shù)值結(jié)果與討論

為了研究上述討論算法的計(jì)算精度、效率和計(jì)算能力,在這一部分我們將會展示一系列的數(shù)值實(shí)驗(yàn).所有的計(jì)算都是在北京理工大學(xué)信息與電子學(xué)院電磁仿真中心Liuhui II高性能并行計(jì)算平臺上進(jìn)行的.它有10個(gè)節(jié)點(diǎn),每個(gè)節(jié)點(diǎn)2個(gè)Intel X5650 2.66 GHz CPU共12個(gè)核,96 Gb內(nèi)存.迭代求解器為GMRES,迭代殘差0.001,重啟動(dòng)數(shù)100.定義散射角0°與180°分別為后向與前向.

首先,研究的是該并行算法的并行效率.我們主要針對的是固定目標(biāo),隨著計(jì)算單元數(shù)的增加,本文提出算法的并行效率與傳統(tǒng)基于MPI的并行算法的差別.計(jì)算目標(biāo)為直徑60 m的球體,入射波頻率0.3 GHz.對于此球體,其材料的相對介電常數(shù)為2.采用三角形離散后,共產(chǎn)生2 880 000 三角形單元,4 300 000 條邊,總的未知量為8 600 000.圖1 展示了在每個(gè)進(jìn)程采用兩個(gè)線程時(shí)純MPI并行,并行效率隨計(jì)算單元數(shù)的變化情況.在此我們選擇8個(gè)進(jìn)程時(shí)純MPI的并行效率為1.從圖1可以看出,在32個(gè)計(jì)算單元時(shí),本文提出的算法并行效率仍然在80%以上.

接下來,為了展示本文提出的MPI-OpenMP-MLFMA混合并行多層快速多極子技術(shù)的強(qiáng)大計(jì)算能力,我們計(jì)算了兩個(gè)電特大尺寸介質(zhì)球體.其中一個(gè)是半徑100 m,相對介電常數(shù)為εr=2-j的有耗球體；另一個(gè)為半徑120 m,相對介電常數(shù)為2的均勻無耗介質(zhì)球體.詳細(xì)的計(jì)算資源統(tǒng)計(jì)如表1所示,計(jì)算的雷達(dá)散射截面積(Radar Cross-Section, RCS)結(jié)果與Mie解的比較如圖2和圖3所示.特別的,列出了范圍在174°～180°的RCS結(jié)果.從中我們可以看出,計(jì)算結(jié)果吻合得很好.當(dāng)目標(biāo)為有吸收的情況下,迭代求解比無吸收收斂步數(shù)少,計(jì)算時(shí)間短.

圖1 并行效率隨計(jì)算單元數(shù)變化情況

參數(shù)算例1算例2半徑/m100120相對介電常數(shù)2-0.1j2未知數(shù)目96000000111974400計(jì)算單元數(shù)100126迭代步數(shù)44383內(nèi)存/Gb890784計(jì)算時(shí)間/h3.225

圖2 半徑為100 m有耗介質(zhì)球、相對介電常數(shù)為2-0.1j雙站VV極化RCS計(jì)算結(jié)果

圖3 半徑為120 m的無耗介質(zhì)球、相對介電常數(shù)為2雙站VV極化RCS計(jì)算結(jié)果

4 結(jié) 論

本文提出了一種基于JMCFIE方程計(jì)算大尺寸均勻目標(biāo)體的散射問題的混合并行多層快速多極子算法.該并行算法通過采用MPI和OpenMP混合并行進(jìn)一步提升了負(fù)載均衡以及數(shù)據(jù)的可擴(kuò)展性.為了減少內(nèi)存需求,在無耗和有耗材料中分別應(yīng)用了MLFMA的對稱性.對半徑為100 m和120 m,模擬未知數(shù)過億的電大均勻介質(zhì)球的散射問題計(jì)算展示了該并行策略良好的數(shù)據(jù)可擴(kuò)展性和強(qiáng)大的計(jì)算能力.

[1] SHENG X Q, JIN J M, SONG J, et al. Solution of combined-field integral equation using multilevel fast multipole algorithm for scattering by homogeneous bodies[J]. IEEE transactions on antennas and propagation, 1998, 46(11): 1718-1726.

[2] 闕肖峰, 聶在平, 胡俊. 三維導(dǎo)體介質(zhì)復(fù)合結(jié)構(gòu)電磁輻射與散射的MLFMA分析[J]. 電波科學(xué)學(xué)報(bào), 2007, 22(6):893-898.

QUE X F, NIE Z P, HU J. Analysis of EM radiation and scattering properties for 3-D combined conducting and dielectric objects by using MLFMA[J]. Chinese journal of radio science, 2007, 22(6): 893-898. (in Chinese)

[3] 伍月千, 盛新慶. 均勻介質(zhì)目標(biāo)高階矩量法的高效預(yù)處理方法[J]. 電波科學(xué)學(xué)報(bào), 2012, 27(6): 1099-1104.

WU Y Q, SHENG X Q. Efficient precondition algorithm for higher order method of moments for homogeneous dielectric objects[J]. Chinese journal of radio science, 2012, 27(6): 1099-1104. (in Chinese)

[4] 丁振宇， 洪偉. 快速多極子在任意截面均勻介質(zhì)柱散射中的應(yīng)用[J]. 電波科學(xué)學(xué)報(bào), 2001, 16(3):283-286.

DING Z Y, HONG W. Application of FMM to electromagnetic scattering from a homogeneous cylinder of arbitraty cross section[J]. Chinese journal of radio science, 2001, 16(3): 283-286. (in Chinese)

[5] ERGüL ?, GüREL L. Comparison of integral-equation formulations for the fast and accurate solution of scattering problems involving dielectric objects with the multilevel fast multipole algorithm[J]. IEEE transactions on and propagation, 2009, 57(1): 176-187.

[6] SONG J M, LU C C, CHEW W C. Multilevel fast multipole algorithm for electromagnetic scattering by large complex objects[J]. IEEE transactions on and propagation, 1997, 45(10): 1488-1493.

[7] VELAMPARAMBIL S, CHEW W C, SONG J M. 10 million unknowns: is it that big?[J]. IEEE antennas and propagation magzine, 2003, 45(2): 43-58.

[8] GüREL L, ERGüL ? . Fast and accurate solutions of extremely large integral-equation formulations discretised with tens of millions of unknowns[J]. Electron letter, 2007, 43(9): 499-500.

[9] PAN X M, SHENG X Q. A sophisticated parallel MLFMA for scattering by extremely large targets[J]. IEEE antennas and magzine, 2008, 50(3): 129-138.

[10]PAN X M, PI W C, YANG M L, et al. Solving problems with over one billion unknowns by the MLFMA[J]. IEEE transactions on antennas and propagation, 2012, 60(5): 2571-2574.

邸瀚漪 (1990-),男,山西人,北京理工大學(xué)信息與電子學(xué)院研究生,研究方向?yàn)橛?jì)算電磁算法．

楊明林 (1984-),男,山東人,北京理工大學(xué)講師,研究方向?yàn)橛?jì)算電磁學(xué)高效算法及算法并行化實(shí)現(xiàn)．

盛新慶 (1968-),男,安徽人,北京理工大學(xué)教授,研究方向?yàn)橛?jì)算電磁學(xué)、目標(biāo)電磁特性、微波成像及遙感、天線理論及設(shè)計(jì)．

An efficient parallel approach of MLFMA for solving 3D scattering by large homogeneous targets

DI Hanyi YANG Minglin SHENG Xinqing

(CenterforElectromagneticSimulation,SchoolofInformationandElectronics,BeijingInstituteofTechnology,Beijing100081,China)

Based on the electric and magnetic current combined-field integral equation (JMCFIE), a fast algorithm is presented for calculating 3D scattering by large homogeneous objects. An efficient and flexible parallel implementation of the multilevel fast multipole algorithm (MLFMA) is employed to enhance efficiency and capability of the JMCFIE approach. This parallel approach is proposed by using open multi-processing(OpenMP) to further accelerate the pure MPI parallel MLFMA. This hybrid MPI-OpenMP paralleled MLFMA improves the load-balance and scalability by combing processes and threads flexibly, hence depress unavoidable load imbalance in the pure MPI parallel MLFMA. Numerical experiments on targets with different sizes including a dielectric sphere with radius 120 m modeled with about 110 million unknowns show the scalability and computational capability of the proposed MPI-OpenMP-MLFMA enhanced JMCFIE for extremely large targets.

JMCFIE; MLFMA; hybrid MPI and OpenMP parallization

10.13443/j.cjors.2015110601

2015-11-06

國家自然科學(xué)基金(61371002)； 111引智計(jì)劃(B14010)

O441.4

A

1005-0388(2016)04-0695-05

邸瀚漪, 楊明林, 盛新慶. 電大均勻介質(zhì)目標(biāo)三維散射的并行多層快速多極子計(jì)算[J]. 電波科學(xué)學(xué)報(bào),2016,31(4):695-700.

DI H Y, YANG M G, SHENG X Q. An efficient parallel approach of MLFMA for solving 3D scattering by large homogeneous targets[J]. Chinese journal of radio science,2016,31(4):695-700.(in Chinese). DOI: 10.13443/j.cjors.2015110601

聯(lián)系人： 楊明林 E-mail: yangminglin@bit.edu.cn