基于海洋數(shù)值模式的高性能計(jì)算集群性能評價(jià)

楊 寧，韓林生，李 彥，路 寬，宋雨澤

（國家海洋技術(shù)中心，天津 300112）

自1980年以來，在理論科學(xué)和實(shí)驗(yàn)科學(xué)之后，國際上出現(xiàn)了“第三類科學(xué)”，即計(jì)算科學(xué)。隨著所處理問題的復(fù)雜程度不斷攀升以及計(jì)算模型從一維向多維發(fā)展等因素都導(dǎo)致了計(jì)算的數(shù)量級呈幾何級數(shù)增長，而計(jì)算機(jī)單機(jī)技術(shù)的局限性和科學(xué)需求的無限性之間的矛盾直接催生了計(jì)算機(jī)并行處理技術(shù)與高性能計(jì)算集群的產(chǎn)生。高性能計(jì)算集群的應(yīng)用極大地推動了諸如海洋數(shù)值模式這類計(jì)算量大、精度要求高的模擬計(jì)算的快速發(fā)展，對與計(jì)算科學(xué)相關(guān)的交叉學(xué)科的發(fā)展起到了極大的促進(jìn)作用[1]。

隨著我國海洋科技的快速發(fā)展，對建設(shè)功能齊全、服務(wù)于海洋科學(xué)技術(shù)及軍事海洋學(xué)研究的海上試驗(yàn)場的需求顯得越發(fā)突出，通過對海上試驗(yàn)場的設(shè)計(jì)和原型建設(shè)，初步形成科學(xué)合理、功能齊全、體系完備、服務(wù)公益、資源共享、軍民兼用的試驗(yàn)場區(qū)。海上試驗(yàn)場數(shù)值模擬與仿真系統(tǒng)（以下簡稱仿真系統(tǒng)）作為海上試驗(yàn)場設(shè)計(jì)和原型建設(shè)的重要組成部分，目標(biāo)在于對試驗(yàn)場區(qū)的海洋氣象要素（海面風(fēng)、海面溫度、海面濕度和海面氣壓）和海洋水動力環(huán)境（海水溫度、鹽度、海流和海浪）進(jìn)行連續(xù)周期性的數(shù)值模擬，將場區(qū)實(shí)測要素?cái)?shù)據(jù)與數(shù)值模擬數(shù)據(jù)相結(jié)合，并依托數(shù)據(jù)可視化技術(shù)實(shí)現(xiàn)場區(qū)模擬數(shù)據(jù)的動態(tài)可視化分析，使得海上試驗(yàn)場建立在一個(gè)可知的、可測的、可靠的透明海洋環(huán)境場區(qū)。高性能計(jì)算集群系統(tǒng)專門用于大氣數(shù)值模式和海洋數(shù)值模式的周期性運(yùn)算，部署有大氣數(shù)值模擬子模塊和海洋數(shù)值模擬子模塊，集群系統(tǒng)目前已經(jīng)投入海上試驗(yàn)場仿真系統(tǒng)的準(zhǔn)業(yè)務(wù)化運(yùn)行中使用。

圖1 仿真系統(tǒng)硬件拓?fù)浣Y(jié)構(gòu)

1 高性能計(jì)算集群概述

1.1 高性能計(jì)算集群的定義

集群是一組相互獨(dú)立的服務(wù)器在網(wǎng)絡(luò)中表現(xiàn)為單一的系統(tǒng)，并以單一系統(tǒng)的模式加以管理，而所謂的高性能計(jì)算集群就是采用集群技術(shù)來實(shí)現(xiàn)高性能計(jì)算[2]。簡單的說，集群實(shí)際上就是一組計(jì)算機(jī)，他們作為一個(gè)整體向用戶提供一組網(wǎng)絡(luò)資源。這些單個(gè)計(jì)算機(jī)系統(tǒng)就是集群的節(jié)點(diǎn)。集群能在同一時(shí)間內(nèi)執(zhí)行多條指令或處理多個(gè)數(shù)據(jù)，它是并行計(jì)算的載體。

1.2 集群系統(tǒng)的優(yōu)點(diǎn)

（1）良好的可擴(kuò)展性：最初提高計(jì)算機(jī)性能主要依靠提升CPU的主頻和總線帶寬，但是基于這種方法對系統(tǒng)性能的提升十分有限。之后嘗試通過增加CPU個(gè)數(shù)和內(nèi)存容量來提升性能，于是出現(xiàn)了向量機(jī)，對稱多處理機(jī)等，但是這種手段的瓶頸在于CPU訪問內(nèi)存的帶寬并不能隨著CPU個(gè)數(shù)的增加而有效增長。與此相反，集群系統(tǒng)的性能隨著CPU個(gè)數(shù)的增加幾乎呈現(xiàn)線性變化；

（2）高可靠性：當(dāng)集群中的一個(gè)節(jié)點(diǎn)失效，那么在該節(jié)點(diǎn)上運(yùn)行的任務(wù)會轉(zhuǎn)移給其他節(jié)點(diǎn)，從而有效防止單點(diǎn)失效；

（3）高性能：平衡負(fù)載允許集群系統(tǒng)同時(shí)接入更多的用戶；

（4）高性價(jià)比：集群技術(shù)是使用特定的連接方式將價(jià)格相對較低并且符合工業(yè)標(biāo)準(zhǔn)的硬件設(shè)備結(jié)合起來，同時(shí)能夠提供高性能的任務(wù)處理能力[3]。

1.3 高性能計(jì)算集群系統(tǒng)的邏輯拓?fù)浣Y(jié)構(gòu)

高性能計(jì)算集群系統(tǒng)主要由兩類設(shè)備組成，分別是節(jié)點(diǎn)與交換網(wǎng)絡(luò)。

1.3.1 節(jié)點(diǎn)

本文所采用集群系統(tǒng)的邏輯拓?fù)浣Y(jié)構(gòu)主要由用戶節(jié)點(diǎn)、控制節(jié)點(diǎn)、管理節(jié)點(diǎn)、存儲節(jié)點(diǎn)和計(jì)算節(jié)點(diǎn)組成。

（1）用戶節(jié)點(diǎn)：用戶節(jié)點(diǎn)是外部系統(tǒng)或者用戶訪問集群系統(tǒng)強(qiáng)大計(jì)算或存儲能力的唯一入口。

（2）控制節(jié)點(diǎn)：控制節(jié)點(diǎn)在集群系統(tǒng)運(yùn)轉(zhuǎn)中主要承擔(dān)兩部分任務(wù)。為計(jì)算節(jié)點(diǎn)提供基本的網(wǎng)絡(luò)服務(wù)，如DHCP、DNS和NFS；調(diào)度計(jì)算節(jié)點(diǎn)上的作業(yè)，通常集群的作業(yè)調(diào)度程序（如PBS）應(yīng)該運(yùn)行在該節(jié)點(diǎn)上。

（3）管理節(jié)點(diǎn)：管理節(jié)點(diǎn)是集群系統(tǒng)各種管理措施的控制節(jié)點(diǎn)，監(jiān)控集群中各個(gè)節(jié)點(diǎn)和網(wǎng)絡(luò)的運(yùn)行狀況。一般集群系統(tǒng)的管理軟件也運(yùn)行在這個(gè)節(jié)點(diǎn)上。

（4）存儲節(jié)點(diǎn)：存儲節(jié)點(diǎn)就是集群系統(tǒng)的數(shù)據(jù)存儲器和數(shù)據(jù)服務(wù)器。

（5）計(jì)算節(jié)點(diǎn)：計(jì)算節(jié)點(diǎn)是整個(gè)集群系統(tǒng)的計(jì)算核心，它的功能就是執(zhí)行計(jì)算。

在小型集群系統(tǒng)中，往往由一臺計(jì)算機(jī)同時(shí)兼具用戶節(jié)點(diǎn)、控制節(jié)點(diǎn)、管理節(jié)點(diǎn)和存儲節(jié)點(diǎn)的功能，那么這臺計(jì)算機(jī)就被稱為主節(jié)點(diǎn)。在這種情況下，集群系統(tǒng)是由一個(gè)主節(jié)點(diǎn)和多個(gè)計(jì)算節(jié)點(diǎn)組成。

1.3.2 交換網(wǎng)絡(luò)

（1）管理交換網(wǎng)：管理交換網(wǎng)絡(luò)主要負(fù)責(zé)對整個(gè)系統(tǒng)進(jìn)行管理和控制，通過各個(gè)節(jié)點(diǎn)之間交換管理信息報(bào)文通信，使主節(jié)點(diǎn)可以及時(shí)地了解到其他節(jié)點(diǎn)的狀態(tài)，保證節(jié)點(diǎn)之間的協(xié)同運(yùn)行，并且進(jìn)行相關(guān)任務(wù)的分配，作業(yè)的調(diào)度，以及對各個(gè)節(jié)點(diǎn)進(jìn)行控制。在本設(shè)計(jì)的集群系統(tǒng)中，選取千兆以太網(wǎng)來組建管理交換網(wǎng)，從而滿足主節(jié)點(diǎn)對各個(gè)節(jié)點(diǎn)的控制，以及各節(jié)點(diǎn)之間的管理信息和狀態(tài)信息的交互。

（2）計(jì)算交換網(wǎng)：計(jì)算交換網(wǎng)絡(luò)主要負(fù)責(zé)所有節(jié)點(diǎn)計(jì)算所需數(shù)據(jù)的交換，它能夠?yàn)橹鞴?jié)點(diǎn)與計(jì)算節(jié)點(diǎn)以及計(jì)算節(jié)點(diǎn)之間的數(shù)據(jù)交換提供數(shù)據(jù)通路[4]。各并行分布任務(wù)之間通信量大，采用高速網(wǎng)絡(luò)，應(yīng)用性能將會明顯提高，因此在本設(shè)計(jì)中，集群系統(tǒng)采用Infiniband網(wǎng)絡(luò)搭建計(jì)算交換網(wǎng)。Infiniband是當(dāng)前國際上先進(jìn)、開放的互連標(biāo)準(zhǔn)，具有低延遲和高帶寬的特點(diǎn)，能夠提供40 Gbps的帶寬和1 us級別的延遲，從而滿足各節(jié)點(diǎn)之間大量數(shù)據(jù)信息的交互。

本文所依托的高性能計(jì)算集群系統(tǒng)由1個(gè)管理節(jié)點(diǎn)（包含控制節(jié)點(diǎn)和用戶節(jié)點(diǎn)），1個(gè)存儲節(jié)點(diǎn)和24個(gè)計(jì)算節(jié)點(diǎn)組成。管理節(jié)點(diǎn)的中央處理器主要由2塊2.4 GHz Intel Xeon X5620四核64位CPU構(gòu)成；存儲節(jié)點(diǎn)的中央處理器主要由2塊2.4 GHz Intel Xeon X5620六核64位CPU構(gòu)成，具有6塊2 TB的磁盤存儲空間；計(jì)算節(jié)點(diǎn)的中央處理器主要由2塊2.4 GHz Intel Xeon X5620四核64位CPU構(gòu)成。集群系統(tǒng)的網(wǎng)絡(luò)由Infiniband網(wǎng)絡(luò)和1 Gb以太網(wǎng)組成。

圖2 集群系統(tǒng)邏輯拓?fù)浣Y(jié)構(gòu)

2 基于高度并行計(jì)算基準(zhǔn)測試HPL的性能評價(jià)

2.1 高度并行計(jì)算基準(zhǔn)測試HPL

Linpack是目前國際上最流行的用于測試高性能計(jì)算機(jī)系統(tǒng)浮點(diǎn)計(jì)算性能的方法，Linpack測試主要包括三類：Linpack100、Linpack1000和HPL。 HPL即High Performance Linpack，它是基于對高性能計(jì)算機(jī)采用高斯消元法求解稠密線性代數(shù)方程組的測試。HPL是針對現(xiàn)代并行計(jì)算機(jī)提出的測試方法，能夠在對測試程序不做修改的基礎(chǔ)上，調(diào)整作業(yè)的規(guī)模（矩陣大?。?、CPU數(shù)目和優(yōu)化策略等方法執(zhí)行該測試程序，從而獲得最佳的浮點(diǎn)性能，具有通用性好，效率高的特點(diǎn)，被認(rèn)為是目前最好的Linpack性能測試程序。現(xiàn)今國際上每半年公布一次的世界最快500臺計(jì)算機(jī)排名的重要依據(jù)就是HPL性能測試。

2.2 HPL測試結(jié)果分析

浮點(diǎn)計(jì)算峰值或者計(jì)算峰值是評價(jià)計(jì)算機(jī)性能的一個(gè)重要指標(biāo)，是指計(jì)算機(jī)每秒能完成浮點(diǎn)計(jì)算的最大次數(shù)，常見的兩個(gè)指標(biāo)包括理論浮點(diǎn)峰值和實(shí)測浮點(diǎn)峰值[5]。

并行效率=實(shí)測浮點(diǎn)峰值/CPU理論浮點(diǎn)峰值

（1）理論浮點(diǎn)峰值=系統(tǒng)中CPU個(gè)數(shù)×CPU主頻×每個(gè)時(shí)鐘周期執(zhí)行浮點(diǎn)運(yùn)算的次數(shù)。

（2）實(shí)測浮點(diǎn)峰值是指Linpack數(shù)值，即HPL程序的測試結(jié)果。

本集群所有CPU理論峰值=CPU總核數(shù)×CPU主頻×4=24×（2×4×2.4）×4=1 843.2 Gflops，而我們通過HPL測試，得出實(shí)測浮點(diǎn)峰值為1 620 Gflops，因此可以得出高性能計(jì)算集群的并行效率為87.89%（主流中小型高性能計(jì)算集群的并行效率約為80%），表明集群的并行性能優(yōu)秀，可以滿足大部分海洋數(shù)值業(yè)務(wù)化運(yùn)行要求。

3 基于海洋數(shù)值模式的加速比測試的性能評價(jià)

3.1 海洋數(shù)值模式簡介

高性能并行計(jì)算集群的發(fā)展，滿足了大氣和海洋數(shù)值模式逐漸向更高時(shí)空分辨率、更細(xì)微物理過程方向發(fā)展的需求，促進(jìn)了數(shù)值模式更準(zhǔn)確、更精細(xì)模擬的實(shí)現(xiàn)。本文即通過一個(gè)有限體積近岸海洋數(shù)值模型FVCOM（Finite Volume Coastal Ocean Model），對高性能計(jì)算機(jī)集群的并行計(jì)算效率進(jìn)行了測試。

FVCOM海洋模型是采用無結(jié)構(gòu)網(wǎng)格、有限體積的三維原始方程海洋模式。水平方向上采用是三角網(wǎng)格，而在垂向方向上采用隨地形變化的σ 坐標(biāo)。有限體積的方法不但具備有限元方法幾何拓?fù)浣Y(jié)構(gòu)上的靈活性，而且包含有限差分方法在數(shù)值離散上的簡單的特點(diǎn)，更容易擬合復(fù)雜的陸地邊界和進(jìn)行局部網(wǎng)格加密；模式還包含了干/濕網(wǎng)格處理模塊、地下水輸入模塊、拉格朗日示蹤模塊、物質(zhì)輸運(yùn)擴(kuò)散模塊、生態(tài)模塊等，可以滿足多種用途的應(yīng)用。該模式已在我國許多海域得到成功應(yīng)用，并進(jìn)行了業(yè)務(wù)化推廣。

FVCOM的并行運(yùn)算通過SPMD（Single Processor Multiple Data）方法實(shí)現(xiàn)[6]。首先通過METIS庫對模式區(qū)域按照并行處理器的數(shù)量進(jìn)行分塊，并保證各區(qū)塊的網(wǎng)格單元數(shù)目基本一致且各區(qū)塊的邊界總長度盡量最小，以達(dá)到平衡各處理器計(jì)算負(fù)載、減小MPI（Message Passing Interface）通訊數(shù)據(jù)量的目的；然后在各塊區(qū)域分別進(jìn)行積分計(jì)算，并保持相互之間的數(shù)據(jù)信息交換，以保證總體質(zhì)量守恒及邊界通量的正常；最后將各區(qū)塊的計(jì)算結(jié)果重新整合，實(shí)現(xiàn)整體的輸出和讀寫。

3.2 加速比測試簡介

加速比是同一個(gè)任務(wù)在單處理器系統(tǒng)和并行處理器系統(tǒng)中運(yùn)行消耗的時(shí)間比率，常用來衡量并行系統(tǒng)或程序并行化的性能和效果。負(fù)載不平衡和通信開支是影響加速比的主要因素[7]。負(fù)載不平衡產(chǎn)生的直接后果就是導(dǎo)致各個(gè)計(jì)算節(jié)點(diǎn)上CPU使用效率的不平衡，從而降低集群的并行效率。并行方法按計(jì)算顆粒度可以分為粗顆粒并行處理和細(xì)顆粒并行處理，粗顆粒并行處理主要是針對多塊網(wǎng)格的處理；而細(xì)顆粒并行處理是面向在一塊網(wǎng)格計(jì)算程序的內(nèi)部進(jìn)行并行化處理。無論是粗顆粒并行處理還是細(xì)顆粒并行處理，都需要交換多塊網(wǎng)格虛擬層的物理信息，因此不同計(jì)算節(jié)點(diǎn)之間的通信開支就成為了提高集群并行效率的瓶頸[8]。

3.3 測試結(jié)果分析

本文選取的FVCOM模式算例，共43 646個(gè)三角網(wǎng)格，22 947個(gè)節(jié)點(diǎn)，網(wǎng)格最高分辨率100 m，垂向7個(gè)σ 分層；模式的時(shí)間步長設(shè)計(jì)為外模6 s，內(nèi)模60 s，模式的計(jì)算時(shí)間設(shè)定為3 d。

根據(jù)加速比計(jì)算方法，可以計(jì)算出在最優(yōu)加速比與并行效率最高的情況下的計(jì)算節(jié)點(diǎn)數(shù)。

式中：T 是算例計(jì)算所需的時(shí)間；C1是計(jì)算量的大小；C2是計(jì)算機(jī)之間的通信因素；C3是網(wǎng)絡(luò)并行計(jì)算的初始化延時(shí)；Nopt是參與并行計(jì)算的最優(yōu)節(jié)點(diǎn)數(shù)。由于運(yùn)算開始前，已經(jīng)進(jìn)行了相關(guān)初始化工作，因此此處設(shè)定C3為0。將FVCOM算例分配在4個(gè)節(jié)點(diǎn)所得計(jì)算時(shí)間為882 s，分配在8個(gè)節(jié)點(diǎn)上得出計(jì)算時(shí)間為510 s，然后將882 s和510 s分別帶入公式（1）可得C1=3 344 s，C2=11.5 s，最終通過公式（2）得到Nopt=17。根據(jù)加速比計(jì)算方法的理論估算，此FVCOM的算例分配在17個(gè)節(jié)點(diǎn)并行運(yùn)算時(shí)效率最高。

將模式分別在集群的主節(jié)點(diǎn)（即管理節(jié)點(diǎn)）、不同數(shù)量的計(jì)算節(jié)點(diǎn)上進(jìn)行計(jì)算，記錄其運(yùn)行所需時(shí)間，并計(jì)算了加速比，其加速性能曲線如圖3所示。結(jié)果顯示，在當(dāng)前算例的計(jì)算量下，并行運(yùn)算的總時(shí)間在從1個(gè)節(jié)點(diǎn)增加到12個(gè)節(jié)點(diǎn)的過程中迅速減少，運(yùn)算效率提升明顯，然后隨著計(jì)算節(jié)點(diǎn)數(shù)增加運(yùn)算效率的提升能力有所下降，并在16節(jié)點(diǎn)時(shí)實(shí)現(xiàn)了并行運(yùn)算的最大效率，之后隨著節(jié)點(diǎn)數(shù)的增加，運(yùn)行時(shí)間反而增加，運(yùn)算效率降低。這主要是由于隨著節(jié)點(diǎn)數(shù)的增加，雖然各區(qū)塊的計(jì)算時(shí)間縮短，但各區(qū)塊間MPI通訊阻塞所占用時(shí)間的比例卻明顯增加，且成為影響并行運(yùn)算效率的主要因素[9]。

集群系統(tǒng)實(shí)測加速比性能的拐點(diǎn)出現(xiàn)在16節(jié)點(diǎn)，這與理論估算的將在17節(jié)點(diǎn)上達(dá)到最大加速比略有差異，可能是由于在集群系統(tǒng)上搭載的軟件平臺、運(yùn)行的作業(yè)調(diào)度機(jī)制、外部的工作環(huán)境等因素的聯(lián)合作用下，影響了并行計(jì)算的效率，導(dǎo)致處理器的計(jì)算負(fù)載以及各區(qū)間MPI通訊阻塞所消耗的時(shí)間與理論估算值略有差異的原因。

圖3 不同計(jì)算節(jié)點(diǎn)下的加速比

4 總結(jié)

根據(jù)計(jì)算出的集群理論浮點(diǎn)峰值，以及HPL所測得的實(shí)測浮點(diǎn)峰值，可以估算本集群的并行效率為87.89%，該集群并行效率高于國內(nèi)主流高性能計(jì)算集群的并行運(yùn)算水平，并行性能優(yōu)秀，可以滿足大氣海洋數(shù)值模式等業(yè)務(wù)化運(yùn)行的需求。

通過選用海洋數(shù)值模式FVCOM一個(gè)算例的應(yīng)用，對集群系統(tǒng)進(jìn)行了加速比測試，加速比并沒有像理論那樣隨著計(jì)算節(jié)點(diǎn)數(shù)的增加而成線性增長，超過16節(jié)點(diǎn)后反而出現(xiàn)了節(jié)點(diǎn)越多運(yùn)算時(shí)間越長的情況。雖然隨著計(jì)算節(jié)點(diǎn)數(shù)的增加各區(qū)塊的計(jì)算時(shí)間會縮短，但是區(qū)塊之間MPI通訊阻塞消耗的時(shí)間在總時(shí)間中所占的比例卻明顯增加。相比計(jì)算縮短的時(shí)間，MPI阻塞消耗了更多的時(shí)間，從而影響了并行運(yùn)算的效率，使集群加速比在16節(jié)點(diǎn)后出現(xiàn)拐點(diǎn)，加速性能呈下降趨勢。

集群系統(tǒng)的加速比測試結(jié)果表明，在數(shù)值模式的并行運(yùn)算中，并不是使用的計(jì)算節(jié)點(diǎn)越多運(yùn)行速度越快，合理的使用計(jì)算節(jié)點(diǎn)不但可以提高運(yùn)行效率，還可以節(jié)省計(jì)算資源。本設(shè)計(jì)中的集群系統(tǒng)通過合理化配置計(jì)算資源，選取適當(dāng)?shù)慕粨Q網(wǎng)絡(luò)，可以同時(shí)高速并行運(yùn)算部署在該系統(tǒng)上的大氣和海洋數(shù)值模式，滿足大氣和海洋數(shù)值模式連續(xù)周期性運(yùn)算的要求。經(jīng)過一段時(shí)間的示范運(yùn)行，集群系統(tǒng)運(yùn)行穩(wěn)定、計(jì)算性能優(yōu)秀，完全能夠滿足仿真系統(tǒng)業(yè)務(wù)化運(yùn)行的要求。

[1]陳顯堯，宋振亞，王永剛，等.并行計(jì)算在海洋環(huán)流數(shù)值模式中的應(yīng)用[C]//2005高性能計(jì)算應(yīng)用大會論文集，2005:264-269.

[2]田俊剛.高性能集群系統(tǒng)分析、設(shè)計(jì)與應(yīng)用[M].西安：西北工業(yè)大學(xué)，2004.

[3]張磊，姜弘道，潘海琳.計(jì)算機(jī)集群的搭建、測試與應(yīng)用[J].水利水電科技進(jìn)展，2006：26(2):65-69.

[4]謝向輝，彭龍根，等.基于Infini Band的高性能計(jì)算機(jī)技術(shù)研究[J].計(jì)算機(jī)研究與發(fā)展，2005，42(6):905-912.

[5]余江洪，肖燕成，等.基于Linpack的高性能計(jì)算機(jī)集群的并行性能測試[J].船電技術(shù)，2009，29(1):56-60.

[6]Chen Changsheng,Robert C Beardsley,Geoffrey Cowles.An Unstructured Grid,Finite-Volume Coastal Ocean Model,FVCOM User Manual.SMAST/UMASSD,02:16-17.

[7]Guo QP,Paker Y.Concurrent Communication and Granularity Assessment for a Transputer-based Multiprocessor system[J].Journal of Computer Systems Science&Engineering,1990，5(1):18-20.

[8]溫小飛，朱宗柏.高性能計(jì)算機(jī)集群的性能評價(jià)[J].武漢理工大學(xué)學(xué)報(bào)（信息與管理工程版）,2005，27(4):19-22.

[9]宋倩，胡松.海洋模式FVCOM2.6并行計(jì)算性能TAU分析[J].計(jì)算機(jī)工程與科學(xué)，2011，33(12):87-93.