異構(gòu)平臺(tái)挑戰(zhàn)軟件設(shè)計(jì)

文/本刊記者 王左利

異構(gòu)平臺(tái)挑戰(zhàn)軟件設(shè)計(jì)

文/本刊記者 王左利

“現(xiàn)在要做一個(gè)好的軟件工程師，與以前大不相同的是，你必須對(duì)硬件充分了解，這樣才能設(shè)計(jì)出優(yōu)秀的算法?！?/p>

南京大學(xué)地球科學(xué)系教授周會(huì)群對(duì)高性能計(jì)算的研究非常深入。他說(shuō)，計(jì)算機(jī)可以幫助學(xué)科人員聰明地做實(shí)驗(yàn)，無(wú)論是“做不了”的實(shí)驗(yàn)，還是“做不起”的實(shí)驗(yàn)，計(jì)算機(jī)都可以幫助我們?nèi)プ觥Ｗ鳛橐幻诘厍蚩茖W(xué)領(lǐng)域但每天都在跟高性能計(jì)算打交道的學(xué)者，他對(duì)當(dāng)前高性能計(jì)算發(fā)展的一些觀點(diǎn)更值得計(jì)算機(jī)學(xué)科的人去體會(huì)。

對(duì)于GPU的研究大量重復(fù)

《中國(guó)教育網(wǎng)絡(luò)》：最近全球高性能TOP500排行榜中，排在首位的日本理化研究所的超級(jí)計(jì)算機(jī)K比其他計(jì)算機(jī)快了數(shù)倍，非常驚艷。您對(duì)日本高性能計(jì)算界相當(dāng)了解，您覺(jué)得日本在高性能計(jì)算方面有哪些優(yōu)點(diǎn)值得我們借鑒？

周會(huì)群：日本是一個(gè)做事情很有目標(biāo)的民族。K在設(shè)計(jì)之初，就有報(bào)道說(shuō)，這是沖著TOP500榜首去的，志在重奪世界第一。它也確實(shí)做到了。

日本的超級(jí)計(jì)算機(jī)有一個(gè)特點(diǎn)，就是在硬件誕生的同時(shí)，就有龐大的軟件開(kāi)發(fā)計(jì)劃。這從著名的地球模擬器的設(shè)計(jì)中就可以看到。

地球模擬器是由日本宇宙開(kāi)發(fā)事業(yè)團(tuán)、日本原子能研究所以及日本海洋科學(xué)技術(shù)中心共同研發(fā)的，在研發(fā)伊始，就有非常明確的應(yīng)用目標(biāo)。它要對(duì)整個(gè)地球的大氣環(huán)流、全球變暖、地殼變動(dòng)等活動(dòng)進(jìn)行預(yù)測(cè)與解析。比如，通過(guò)計(jì)算機(jī)模擬來(lái)預(yù)測(cè)厄爾尼諾的現(xiàn)象，解析全球變暖會(huì)對(duì)氣候產(chǎn)生怎樣的影響，或者是通過(guò)計(jì)算機(jī)模型來(lái)推測(cè)數(shù)萬(wàn)年以上的大氣或者海洋的情況。

日本在建大型計(jì)算機(jī)設(shè)施時(shí)，往往都有明確的應(yīng)用目標(biāo)，他們希望以此來(lái)保持本國(guó)技術(shù)的先進(jìn)性，這是一個(gè)很重要的戰(zhàn)略。

對(duì)比國(guó)內(nèi)，我們?cè)趹?yīng)用與硬件的結(jié)合上做得很不夠，往往缺乏典型應(yīng)用的支持。甚至缺乏對(duì)硬件設(shè)施建好之后如何經(jīng)濟(jì)、有效地利用起來(lái)的考慮。

《中國(guó)教育網(wǎng)絡(luò)》 ：現(xiàn)在GPU越來(lái)越熱，您認(rèn)為，異構(gòu)平臺(tái)將會(huì)是一個(gè)趨勢(shì)嗎？

周會(huì)群：是的，不過(guò)異構(gòu)平臺(tái)與其說(shuō)是一個(gè)趨勢(shì)，不如說(shuō)是我們不得不接受的選擇。關(guān)于GPU，我所看到的是，很少有人做真正有意義的工作。雖然我們也可以看到，各個(gè)領(lǐng)域?qū)PU的應(yīng)用正轟轟烈烈，類(lèi)似“GPU在某某領(lǐng)域的應(yīng)用”文章層出不窮，但其實(shí)質(zhì)一樣。因?yàn)榭茖W(xué)計(jì)算萬(wàn)變不離其宗，大多數(shù)模型到最后都?xì)w結(jié)為求矩陣特征值與線性代數(shù)計(jì)算問(wèn)題。

我覺(jué)得與其這樣，不如有專(zhuān)門(mén)的人集中力量把兩個(gè)常用的數(shù)學(xué)程序庫(kù)BLAS與LAPACK在GPU上高效能并行化，其他程序只需連接這兩個(gè)庫(kù)，這樣一切問(wèn)題迎刃而解。現(xiàn)在的問(wèn)題是，最本質(zhì)的工作沒(méi)有人做，卻有大量重復(fù)的工作正在進(jìn)行。

算法評(píng)判標(biāo)準(zhǔn)改變

《中國(guó)教育網(wǎng)絡(luò)》 ：那么，在多核或者異構(gòu)平臺(tái)時(shí)代，您認(rèn)為存在的軟件挑戰(zhàn)在于什么？

周會(huì)群：如何有效、協(xié)調(diào)地綜合利用GPU，如何將現(xiàn)在在C P U上廣泛使用的數(shù)學(xué)程序高效率地應(yīng)用到GPU上，是一個(gè)巨大的軟件挑戰(zhàn)。如果沒(méi)有好的算法，異構(gòu)處理器往往會(huì)出現(xiàn)通訊時(shí)間很短，等待時(shí)間很長(zhǎng)的問(wèn)題。

在異構(gòu)和多核時(shí)代，評(píng)斷算法好壞的標(biāo)準(zhǔn)有了改變。我們必須重新審視既有的算法。過(guò)去我們認(rèn)為一個(gè)好的并行算法應(yīng)當(dāng)符合：高度并行性，即算法能夠?qū)⒂?jì)算任務(wù)分解成盡量互不關(guān)聯(lián)的部分；進(jìn)程之間通信量盡可能少；內(nèi)存的合理利用。而且往往強(qiáng)調(diào)的是前兩個(gè)準(zhǔn)則，比較忽略第三點(diǎn)。而現(xiàn)在，忽視第三個(gè)標(biāo)準(zhǔn)的算法往往表現(xiàn)不好。

例如，解線性方程組的Gauss-Seidel迭代法及其變種，常常用于為大型科學(xué)和工程問(wèn)題的偏微分方程離散化后的得到的線性/非線性方程組求解提供條件預(yù)優(yōu)解?？梢宰C明所謂的紅黑迭代格式可以把原來(lái)相互關(guān)聯(lián)、不利于并行計(jì)算的算法變?yōu)橥耆ゲ魂P(guān)聯(lián)、具有最高并行度的算法。按列均衡分割迭代矩陣，分配給不同

的CPU核，各核之間的通信量也很少，完全符合前述準(zhǔn)則的前兩條，按過(guò)去的標(biāo)準(zhǔn)是一個(gè)優(yōu)良算法?？墒?，在一臺(tái)兩路八核的服務(wù)器上，我們發(fā)現(xiàn)雖然使用雙核的加速倍率基本可以達(dá)到使用單核的近2倍，但當(dāng)使用核數(shù)繼續(xù)增加后，加速倍率基本上沒(méi)有任何增長(zhǎng)。在8個(gè)核上運(yùn)行時(shí)每個(gè)核的并行效率僅30%左右，可以說(shuō)是效率很低。

而過(guò)去一些表現(xiàn)不好的算法今天倒是有了用武之地。比如，天體物理學(xué)計(jì)算和材料科學(xué)、生命科學(xué)研究中所用的分子動(dòng)力學(xué)模擬方法分別涉及計(jì)算N個(gè)粒子之間的萬(wàn)有引力和庫(kù)侖力，其計(jì)算復(fù)雜性為N的平方，模擬中80%以上的時(shí)間都耗費(fèi)在這兩種力的計(jì)算上。最笨的算法是直接計(jì)算粒子兩兩之間作用的所謂的笨辦法。過(guò)去也開(kāi)發(fā)了大量?jī)?yōu)化算法，但是目前在GPU上計(jì)算最快的算法正是笨辦法，比優(yōu)化算法快數(shù)十倍。

現(xiàn)在要做一個(gè)好的軟件工程師，與以前大不相同的是，你必須對(duì)硬件充分了解，這樣才能設(shè)計(jì)出優(yōu)秀的算法。過(guò)去，CPU有什么進(jìn)展，程序就有什么進(jìn)展。但多核處理器或者是異構(gòu)平臺(tái)并非如此，無(wú)論所使用的處理器比之前快多少倍，如果程序設(shè)計(jì)得不好，結(jié)果可能一倍都快不了。

對(duì)于高性能計(jì)算來(lái)說(shuō)，現(xiàn)在一個(gè)理想的CPU要具備兩個(gè)因素，第一，要有很大的Cache，第二，與其他CPU和內(nèi)存的聯(lián)系必須非常緊密，也就是link有足夠的帶寬，很低的時(shí)延。否則核再多都沒(méi)用。

計(jì)算機(jī)教育要注重基礎(chǔ)理論

《中國(guó)教育網(wǎng)絡(luò)》 ：那么對(duì)高校培養(yǎng)計(jì)算機(jī)人才提出了哪些新挑戰(zhàn)？

周會(huì)群：科學(xué)計(jì)算里涉及的軟件開(kāi)發(fā)不同于普通的軟件開(kāi)發(fā)，是一個(gè)復(fù)雜問(wèn)題。碰到的很多問(wèn)題，如果不懂其理論，根本沒(méi)有辦法做好。這就需要對(duì)當(dāng)前的課程進(jìn)行改革，重視計(jì)算機(jī)基礎(chǔ)理論。而計(jì)算機(jī)基礎(chǔ)理論的教學(xué)是國(guó)內(nèi)計(jì)算機(jī)教學(xué)中的軟肋。

現(xiàn)在，中國(guó)的大學(xué)，包括一些頂尖的學(xué)校，計(jì)算機(jī)體系結(jié)構(gòu)這門(mén)課早已不是重點(diǎn)。一方面，國(guó)內(nèi)在此方面鮮有建樹(shù)，體系結(jié)構(gòu)幾乎都是由別人所決定的；另一方面，在大多數(shù)學(xué)校作為選修課來(lái)供學(xué)生選擇。這門(mén)課比較難，所以很少有學(xué)生選它。另外一門(mén)非常重要的課程是并行計(jì)算原理。要想解決實(shí)際計(jì)算中遇到的問(wèn)題，這是很重要的基礎(chǔ)理論。但同樣遺憾的是，它在很多學(xué)校都不是必修課。課程設(shè)置的滯后性與不科學(xué)性，導(dǎo)致人才的缺失。

此外，計(jì)算機(jī)教學(xué)應(yīng)當(dāng)與其他學(xué)科進(jìn)行緊密的結(jié)合。因?yàn)楦咝阅苡?jì)算是一門(mén)交叉學(xué)科，需要培養(yǎng)具備復(fù)合知識(shí)結(jié)構(gòu)的人才，而中國(guó)的計(jì)算機(jī)教學(xué)比較忽略這一點(diǎn)。

周會(huì)群 南京大學(xué)地球科學(xué)系教授。畢業(yè)于南京大學(xué)地球化學(xué)專(zhuān)業(yè)，在南京大學(xué)獲博士學(xué)位。曾在日本名古屋大學(xué)訪問(wèn)研究，進(jìn)修和研究?jī)?nèi)容為：計(jì)算機(jī)斷層掃描、地震勘探數(shù)據(jù)的三維可視化，隨后在日本和美國(guó)的知名公司任職。目前任江蘇省高性能計(jì)算專(zhuān)業(yè)委員會(huì)主任。