人工智能離不開RDMA

郭濤

RDMA（遠(yuǎn)程直接內(nèi)存訪問）編程高手一展身手的機會又來了。5月3日，HPC Adisory Council（國際高性能計算咨詢委員會）宣布，面向全球大學(xué)生的第五屆RDMA編程挑戰(zhàn)賽即日啟動。

從2013年首次舉辦到現(xiàn)在，大賽已經(jīng)連續(xù)第5年舉辦，吸引了越來越多來自全球高校的學(xué)生組隊參加。從首屆比賽的20余支參賽隊到2016年超過百支隊伍參賽，大賽在國內(nèi)甚至全球范圍內(nèi)聲譽日隆，受到了國內(nèi)外相關(guān)領(lǐng)域的專家和企業(yè)的關(guān)注。

大賽發(fā)起人——HPC Adisory Council亞太區(qū)主席劉通介紹說：“在往屆比賽中，作為頒獎嘉賓的國外知名大學(xué)的教授，在頒獎現(xiàn)場就直接向獲獎的大學(xué)生發(fā)出邀請，希望他們能到國外繼續(xù)深造。另外，一些獲獎的學(xué)校還在大賽后接下了許多RDMA的編程項目”。

作為一種先進(jìn)的網(wǎng)絡(luò)數(shù)據(jù)傳輸方式，RDMA技術(shù)除了在高性能計算領(lǐng)域得到廣泛應(yīng)用以外，近幾年還在人工智能、云計算、大數(shù)據(jù)和高頻交易等領(lǐng)域引起強烈關(guān)注。與傳統(tǒng)的網(wǎng)絡(luò)相比，RDMA可以更加顯著地提升應(yīng)用的效率。因為它允許網(wǎng)絡(luò)中的計算機直接從內(nèi)存里交換數(shù)據(jù)，而不涉及任何一臺計算機的處理器、高速緩存或操作系統(tǒng)。

在網(wǎng)絡(luò)中，傳統(tǒng)的TCP/IP的通信能力受到極大限制。而在高性能計算領(lǐng)域，RDMA一直倍受青睞?，F(xiàn)在，隨著云計算、大數(shù)據(jù)、人工智能的興起，海量數(shù)據(jù)的處理、快速的網(wǎng)絡(luò)傳輸已經(jīng)成了用戶的必然需求。RDMA的應(yīng)用也從高性能計算領(lǐng)域逐漸向更多需要高速傳輸?shù)念I(lǐng)域拓展。劉通表示，如今，RDMA已經(jīng)是一種在行業(yè)中普遍使用的標(biāo)準(zhǔn)化的技術(shù)，而不再是陽春白雪。NVIDIA的深度學(xué)習(xí)一體機支持RDMA，Mellanox可以提供支持RDMA的成熟網(wǎng)絡(luò)設(shè)備，書生云超融合一體機未來的發(fā)展方向也是利用RDMA突破TCP/IP的瓶頸。

如今在中國十分火爆的人工智能、深度學(xué)習(xí)成了RDMA新的用武之地。為了追求更高的效率和傳輸性能，越來越多的人工智能、深度學(xué)習(xí)軟件平臺開始向RDMA移植。RDMA編程大賽也與時俱進(jìn)，去年大賽的題目就是TensorFlow在RDMA上的優(yōu)化。

TensorFlow是谷歌基于DistBelief進(jìn)行研發(fā)的第二代人工智能學(xué)習(xí)系統(tǒng)。TensorFlow是將復(fù)雜的數(shù)據(jù)結(jié)構(gòu)傳輸至人工智能神經(jīng)網(wǎng)中進(jìn)行分析和處理的系統(tǒng)。TensorFlow可被用于語音識別或圖像識別等多項機器深度學(xué)習(xí)領(lǐng)域。TensorFlow完全開源，任何人都可以使用。

今年，大賽將繼續(xù)關(guān)注人工智能這一熱點，將另一款有發(fā)展?jié)摿Φ娜斯ぶ悄苘浖﨧XNET的RDMA優(yōu)化作為題目。

劉通表示：“人工智能已呈現(xiàn)出強勁的發(fā)展勢頭，如何利用高性能計算推動人工智能的發(fā)展是近年來業(yè)界聚焦的熱點。本屆大賽的競賽題目將緊貼世界超算產(chǎn)業(yè)的發(fā)展趨勢，重點圍繞人工智能、深度學(xué)習(xí)的理論框架、實踐模型與未來發(fā)展趨勢展開，強調(diào)賽題與實際應(yīng)用相結(jié)合”。

本次大賽由HPC Adisory Council主辦，獲得了美國阿貢國家實驗室、圣地亞哥超算中心、中國高性能計算專業(yè)委員會、China Grid等單位和組織的支持，京東、科大訊飛、曠視科技、Mellanox、NVIDIA、商湯科技等廠商也表示將為大賽提供各種支持。比如，京東承諾，將其自有的機器學(xué)習(xí)平臺開放給參賽的學(xué)生使用。

大賽除了推動RDMA技術(shù)的開發(fā)和應(yīng)用以外，還是一個選拔RDMA相關(guān)技術(shù)人才的重要平臺和渠道，不僅為學(xué)生擇業(yè)提供了幫助，也為企業(yè)培養(yǎng)和儲備了大量專業(yè)人才。

有高性能計算領(lǐng)域的專家指出，多年以前，在大學(xué)時學(xué)習(xí)高性能計算、GPU等技術(shù)的學(xué)生畢業(yè)時很難找到對口的工作。但是現(xiàn)在情況已經(jīng)改變，云計算、大數(shù)據(jù)、人工智能等領(lǐng)域的人才緊缺。RDMA編程大賽可以發(fā)現(xiàn)和輸出更多相關(guān)的專業(yè)人才。

來自阿里的專家表示，人工智能的發(fā)展需要具有綜合素質(zhì)的專業(yè)人才，他們不僅要了解深度學(xué)習(xí)的框架，以及建模和訓(xùn)練，更要掌握相關(guān)領(lǐng)域的基礎(chǔ)知識，包括計算、存儲、網(wǎng)絡(luò)、算法等，要深入本質(zhì)，而不要浮于表面。

本次大賽從即日啟動，10月舉行頒獎典禮，歷時5個月左右。為了鼓勵參賽選手，本次大賽還增設(shè)了特等獎一名，資金為5萬元。大賽主辦方希望今年有更多院校參賽，不斷提升大賽的影響力。