高性能計算技術在氣象部門的應用

王 彬

（國家氣象信息中心中國氣象局，北京100081）

0 引 言

高性能計算通過并行計算的方式解決對超級計算性能的需求。氣象是高性能計算的重要應用領域之一。隨著氣象數值預報業(yè)務與科研工作的快速發(fā)展，氣象高性能計算的需求激增，中國氣象部門的高性能計算能力有了長足的進步，應用水平不斷提高，為提高氣象業(yè)務信息化能力做出了重要貢獻。

1 高性能計算技術概述與發(fā)展趨勢

1.1 高性能計算技術概述

根據文獻［1］中的定義，高性能計算（high performance computing，HPC）泛指量大、快速、高效的運算。通常也把高性能計算稱為超級計算。目前，高性能計算已經成為計算機科學技術的一個重要分支，主要是指從體系結構、并行算法和軟件開發(fā)等方面研究開發(fā)高性能計算機的技術，高性能計算是繼理論科學和實驗科學之后科學研究的第三大支柱。從更廣泛的視野來看，高性能計算已不僅限于并行計算，與分布式計算、網格計算、網絡計算、云計算等密切聯系并日益融合。

根據Flynn分類法［2］，現代的高性能計算機系統(tǒng)大都屬于MIMD（多指令流多數據流）類型的計算機。MIMD從結構上和訪存方式上，又可以分為:

結構模型:PVP（并行向量處理機），SMP（共享存儲型多處理機），MPP（大規(guī)模并行處理），DSM（分布共享存儲），COW（工作站集群）。

訪存模型:UMA（均勻存儲器存?。琋UMA（非均勻存儲器存?。?，COMA（只用高速緩存的存儲器結構），CC－NUMA（一致性高速緩存非均勻存儲訪問模型），NORMA（非遠程存儲訪問模型）。

集群系統(tǒng)（cluster）是一組相互獨立的計算機，利用高速通信網絡，按某種結構連接起來，組成一個單一的計算機系統(tǒng)，統(tǒng)一管理調度，實現高效并行處理的系統(tǒng)。其出發(fā)點是提供高可靠性、可擴充性和抗災難性。在2012年6月的世界超級計算機Top500中，集群系統(tǒng)架構占據81%以上的市場份額。

目前衡量高性能計算機的關鍵性能指標包括系統(tǒng)架構、機器規(guī)模、處理器（核）數量、峰值速度、實測速度、運行效率、網絡互聯性能、每瓦特性能等。

1.2 高性能計算技術發(fā)展趨勢

高性能計算進入千萬億次（PFLOPS）時代后，主要廠商已經開始探索ExaFlops（百億億次，千萬億次PFlops的1000倍）級的超級計算機，預計首臺ExaFlops計算機系統(tǒng)將會在2018年左右出現［3］。

雖然性能提升速度迅猛，但是高性能計算領域面臨的高度計算密集、數據密集型應用需求也急劇攀升?，F在和未來所有高性能計算系統(tǒng)面臨的挑戰(zhàn)有:低成本、低能耗、并行程序支持的可用性以及對現有代碼的有效沿用。

在過去的幾十年里，計算機處理器速度的發(fā)展一直遵循著摩爾定律。特定的應用程序會隨著處理器頻率的提高而跑得更快。然而，未來單CPU芯片將需要更高的主頻，這就導致CPU能耗增加，產生散熱、漏電等單CPU芯片物理瓶頸，這些因素有力地推動了多核處理器技術的發(fā)展。處理器性能的提高將不再單純依賴時鐘頻率的提高，而是要發(fā)揮多核/眾核的并行性。從Terascale發(fā)展到Petascale級甚至更高的高性能計算系統(tǒng)意味著系統(tǒng)內的組件（內核、互聯、存儲等）數量也在迅猛增加。目前機器規(guī)模最大的美國紅杉（Sequoia）超級計算機系統(tǒng)總共使用了157萬個處理器內核。

圖形處理器（graphic processing unit，GPU）自問世以來，一直是作為CPU的附屬加速器來使用。隨著技術的發(fā)展和創(chuàng)新，GPU相對于CPU有更多的執(zhí)行單元數量，使GPU能夠在浮點處理能力上獲得優(yōu)勢；GPU速度快、能耗低的優(yōu)勢日漸凸顯，逐漸演變成現在一些高性能計算機用于數據并行的組成部分。由于采用了專用的加速部件，混合架構系統(tǒng)的性能/功耗比一般高于傳統(tǒng)的同構系統(tǒng)［4］。因此，未來高性能計算機硬件體系結構的可能將是CPU與GPU核組成的混合系統(tǒng)。

云計算是近幾年興起并廣受關注的一種資源提供、使用和計算模式:“云計算是由規(guī)模經濟拖動，為互聯網上的外部用戶提供一組抽象的、虛擬化的、動態(tài)可擴展的、可管理的計算資源能力、存儲能力、平臺和服務的一種大規(guī)模分布式計算的聚合體”［5］。云計算環(huán)境中，計算任務分布在計算資源十分豐沛的計算資源池上，各種應用系統(tǒng)能夠根據需要實時獲取計算能力、存儲空間和各種軟件服務，云計算平臺可以按需對資源、平臺和軟件進行動態(tài)地部署、配置、重新配置以及取消等。云計算具有資源虛擬化、存儲高效可靠、高可擴展性、集約管理、按需服務、“超瘦”客戶端、使用方便等特點。

2 國外氣象部門高性能計算應用情況

氣象領域對高性能計算需求十分強烈，其需求主體是數值天氣預報模式的科學研究和業(yè)務運行［6］。世界各國的業(yè)務數值預報也在有計劃、有步驟地快速發(fā)展，未來3～5年幾乎世界各主要國家的全球數值預報模式水平分辨率都將提高到10～20公里，達到了全球中尺度模式的水平，歐洲中期天氣預報中心的模式T1279 L91，水平分辨率已達16公里，日本氣象廳業(yè)務運行的全球數值預報模式T959 L60，水平分辨率達到20公里［7］。

為適應數值預報模式的快速發(fā)展，各國氣象部門的高性能計算機更新速度較快，歐美國家的氣象用機一般每兩年就會更新一次。截止到2012年6月份，全球前500名的系統(tǒng)中一共有15臺系統(tǒng)用于天氣和氣候應用領域，基本采用了MPP架構。

各國氣象部門計算能力，如圖1所示。

圖1 各國氣象部門計算能力

歐洲中期天氣預報中心（ECMWF）、美國、德國、英國、韓國和巴西等世界主要氣象部門都擁有世界上目前排名前500名的高性能計算機系統(tǒng)，這些氣象部門在2008年至2012年間都進行了設備的更新，并計劃在未來幾年引入性能超過千萬億次每秒（PFLOPS）的高性能計算機系統(tǒng)來支持氣象應用。

3 中國氣象部門高性能計算應用情況

3.1 應用現狀

高性能計算機系統(tǒng)是中國氣象信息系統(tǒng)的核心組成部分之一，其計算規(guī)模已成為氣象現代化建設水平的重要標志之一。

中國氣象局國家級業(yè)務中心先后引進了銀河Ⅱ、CRAY J90、CRAY EL98、CRAY C92、IBM SP2、IBM SP、曙光1000A、銀河Ⅲ、神威Ⅰ、神威新世紀－32I、神威新世紀－32P、IBM Cluster 1600、SGI Altix4700以及神威4000A等高性能計算機系統(tǒng)（如圖2所示），在支撐數值預報業(yè)務服務、研究開發(fā)及衛(wèi)星數據處理業(yè)務等工作中發(fā)揮了重大作用［8］。

圖2 國家級高性能計算機系統(tǒng)建設過程

從20世紀90年代初至今，氣象部門國家級計算能力基本上每5年增長1個數量級。2005年底，21.76TFlops的IBM高性能計算機系統(tǒng)投入業(yè)務應用后，用于業(yè)務和科研的計算能力比1978年提高了近2300萬倍，比“九五”期間提高了近200倍。

從發(fā)展過程來看，2000年前進口國外高性能計算機系統(tǒng)占主導地位，2000年后國產高性能計算機與進口并駕齊驅。

國家級氣象部門目前業(yè)務運行的主要高性能計算機有4臺，總計算能力近70TFLOPS，表1給出了國家級業(yè)務運行的主要高性能計算機系統(tǒng)。

表1 氣象部門國家級業(yè)務運行高性能計算機系統(tǒng)

IBM高性能計算機系統(tǒng)作為國家級主要計算業(yè)務平臺，承擔數值天氣預報業(yè)務、短期氣候預測業(yè)務、氣候變化評估、數值預報準業(yè)務及研發(fā)作業(yè)運行等業(yè)務、科研任務。IBM高性能計算機系統(tǒng)包括IBM Cluster 1600系統(tǒng)的376個P655節(jié)點、6個P690節(jié)點、4個P630管理節(jié)點、25個HMC硬件管理控制臺、72個HPS互聯網絡、Fast T900磁盤陣列、網絡交換機以及其他的相關配件。整體計算性能為21.76TFlops。

神威4000A高性能計算機系統(tǒng)作為中國氣象局過渡期高性能計算機系統(tǒng)，承擔著第二代短期氣候預測業(yè)務研發(fā)、IPCC－AR5、GRAPES模式研發(fā)、風能資源預報服務等重要研發(fā)計算任務。神威4000A高性能計算機系統(tǒng)由296個計算節(jié)點、16個存儲節(jié)點、2個元數據服務器節(jié)點，2個登錄節(jié)點，2個管理服務器節(jié)點等部分組成。整體計算性能為33.75TFLOPS。

高性能計算資源對于中國氣象局而言始終是稀缺資源，由于國家級與地方之間，以及地方與地方之間在數值預報方面發(fā)展的不平衡，導致目前這一稀缺資源在部門之間分布（包括地理分布）的不均衡。對此，中國氣象局已著手依托國家級、區(qū)域級信息中心計算能力，建立一個氣象部門內全國范圍分布的、跨廣域網絡的氣象計算資源管理與共享平臺，進行計算資源的整合和氣象模式的網格化應用及推廣，解決氣象部門國家級、地方單位的資源整合、共享與協同管理等問題［9］。

在區(qū)域中心數值預報業(yè)務研究不斷發(fā)展、著力增強區(qū)域天氣氣候預報預測水平和業(yè)務能力的同時，自2000年以來，一些區(qū)域和省級氣象部門也根據業(yè)務發(fā)展需要和實際情況，先后購置建設了不同規(guī)模的高性能計算機系統(tǒng)［10，11］。

3.2 應用展望

隨著多核/眾核處理器、超大規(guī)模并行處理、GPU計算、云計算等新技術的出現，業(yè)界正處于計算技術發(fā)展的轉折點，科學計算算法將經歷技術和思維兩方面的變革。這些新興技術正在或已經對現有高性能計算技術產生了不可忽視的影響和促進，未來的發(fā)展趨勢將是多方面的融合，這將對氣象部門的高性能計算應用、研發(fā)產生深遠的影響，將極大推動包括高性能計算機業(yè)務在內的氣象部門信息化建設［12］?？梢灶A見，在未來，高性能計算技術將與數值氣象預報的應用研究日益融合，不斷創(chuàng)新發(fā)展。

為了滿足數值天氣與氣候預報模式業(yè)務運行和科研工作發(fā)展需要，十二五期間將通過實施能力建設工程項目，引進建設新一代千萬億次以上國家級高性能計算機系統(tǒng)，緩解國家級計算資源緊張局面，支撐同期數值天氣預報、氣候預測與氣候變化等業(yè)務研究工作。區(qū)域級也將建設適當規(guī)模的計算能力，支撐發(fā)展本區(qū)域內業(yè)務。同時，制訂和施行配套的高性能計算資源分配、資源賬戶、資源評估、資源變更等管理規(guī)范［8］。

建立全國和區(qū)域級計算資源綜合管理平臺，制定推行計算資源整合準入方案，研制氣象計算資源綜合管理軟件，建立基于用戶行為的資源管理模式。引進吸收先進軟件技術，建設全國范圍跨區(qū)域的氣象高性能計算平臺，實現計算資源的統(tǒng)一管理、分配調劑與互備支撐。促進資源集約使用，提高資源利用效率和精細化管理水平。圖3是未來CMAGRID建成后的格局。

圖3 CMAGRID

未來的國家級異地業(yè)務應急備份中心，將建立備份高性能計算系統(tǒng)和存儲系統(tǒng)，支撐國家級數值天氣預報業(yè)務數值模式的異地運行。

4 結束語

高性能計算是信息技術發(fā)展較快的方向之一，氣象領域一直是高性能計算應用的重要領域。幾十年以來，由于數值天氣預報模式研究和業(yè)務運行對計算資源的強烈需要，國內外氣象部門的高性能計算機及應用蓬勃發(fā)展起來。中國氣象國家級及區(qū)域級的高性能計算應用水平飛速提升，成為氣象現代化水平的重要標志之一。從未來趨勢看，兩者結合將日趨緊密，并不斷相得益彰，創(chuàng)新發(fā)展。

［1］CHEN Guoliang，WU Junmin.High performance computing and high performance computer［EB/OL］.［2012－12－03］.http://wenku.baidu.com/view/bfa91636f111f18583d05a14.html（in Chinese）.［陳國良，吳俊敏.高性能計算與高性能計算機［EB/OL］.［2012－12－03］.http://wenku.baidu.com/view/bfa91636f111f18583d05a14.html.］

［2］Flynn M.Flynn's taxonomy［EB/OL］.［2013－05－04］.http://en.wikipedia.org/wiki/Flynn＇s＿taxonomy.

［3］LI Guojie.Information science and technology outlook for the first half of the 21st century［J］.Bulletin of Chinese Academy of Sciences，2010，25（1）:78－86（in Chinese）.［李國杰.21世紀上半葉信息科學技術展望［J］.中國科學院院刊，2010，25（1）:78－86.］

［4］LIN Yisong，YANG Xuejun，TANG Tao，et al.An integrated energy optimization approach for CPU－GPU heterogeneous systems based on critical path analysis［J］.Chinese Journal of Computers，2012，35（1）:123－133（in Chinese）.［林一松，楊學軍，唐滔，等.一種基于關鍵路徑分析的CPU－GPU異構系統(tǒng)綜合能耗優(yōu)化方法［J］.計算機學報，2012，35（1）:123－133.］

［5］Foster I，Yong Z，Raicu I，et al.Cloud computing and grid computing 360－degree compared［C］//Proc Grid Comput Environ Workshop，Austin，Texas:IEEE Press，2008:1－10.

［6］WEI Min，WANG Bin，SUN Jing，et al.Analysis of the applicability of tianhe－1 supercomputer in the field of meteorology［J］.Advances in Meteorological Science and Technology，2012，2（1）:31－35（in Chinese）.［魏敏，王彬，孫婧，等.“天河一號”系列超級計算機系統(tǒng)氣象領域適用性分析［J］.氣象科技進展，2012，2（1）:31－35.］

［7］WANG Bin.An introduction to the 15th ECMWF workshop on high performance computing in meteorology［J］.Scientific and Technological Cooperation in Meteorology，2013（2）:11－17（in Chinese）.［王彬.第15屆ECMWF高性能計算機在氣象中的應用研討會簡介［J］.氣象科技合作動態(tài)，2013（2）:11－17.］

［8］ZHAO Licheng.Meteorological information system［M］.Beijing:China Meteorological Press，2011:72－84（in Chinese）.［趙立成，氣象信息系統(tǒng)［M］.北京:氣象出版社，2011:72－84.］

［9］WANG Bin，ZONG Xiang，TIAN Hao.Design and establishment of a nationwide meteorological computational grid［J］.Journal of Applied Meteorological Science，2010，21（5）:632－640（in Chinese）.［王彬，宗翔，田浩.國家氣象計算網格的設計與建立［J］.應用氣象學報，2010，21（5）:632－640.］

［10］XIAO Wenming，LI Yongsheng，CHEN Xiaoyu，et al.Study on performance evaluation of HPC system［J］.Computer Systems ＆Applications，2008（3）:115－118（in Chinese）.［肖文名，李永生，陳曉宇，等.高性能計算系統(tǒng)性能評測關鍵問題探討［J］.計算機系統(tǒng)應用，2008（3）:115－118.］

［11］YUAN Weihua，ZHAO Yujuan，MENG Dongmei，et al.Design and implementation of Tianjin mesoscale numerical weather prediction system［J］.Meteorological Science and Technology，2011，39（6）:828－833（in Chinese）.［袁衛(wèi)華，趙玉娟，孟冬梅，等.天津市中尺度數值預報業(yè)務系統(tǒng)的設計與實現［J］.氣象科技，2011，39（6）:828－833.］

［12］SHEN Wenhai.Future meteorological informationization trends through cloud computing［J］.Advances in Meteorological Science and Technology，2012，2（2）:49－56（in Chinese）.［沈文海.從云計算看氣象部門未來的信息化趨勢［J］.氣象科技進展，2012，2（2）:49－56.］