基于Deep Learning多隱含層感知架構(gòu)的超級計算機

摘 要：在大數(shù)據(jù)高效處理和學習方面，超級計算機和Deep Learning[1]（深度學習）已經(jīng)成為了引人注目的話題。結(jié)合Deep learning和超級計算機基礎(chǔ)知識，提出了基于Deep Learning多隱含層感知架構(gòu)的超級計算機新模型，并針對該架構(gòu)超級計算機的計算速率和容錯性能兩方面，分析了該架構(gòu)超級計算機的高性能性。

關(guān)鍵詞：大數(shù)據(jù)；超級計算機；深度學習；多隱含層感知；高性能

中圖分類號：TP393.0

超級計算機是計算機系統(tǒng)中計算能力最強的一種，也是推動計算科學進步的中堅力量，高性能是超級計算機的重要指標。超級計算機在需要密集計算、海量數(shù)據(jù)處理、工程模擬等領(lǐng)域發(fā)揮著舉足輕重的作用，它已經(jīng)成為國力的一種象征。深度學習是機器學習[2]研究的新領(lǐng)域，源于人工神經(jīng)網(wǎng)絡(luò)[3]研究。

1 Deep Learning（深度學習）

1.1 Deep Learning多隱含層感知架構(gòu)

Deep Learning結(jié)構(gòu)最優(yōu)秀的特征是多隱含層的多層感知器[4]架構(gòu)。該架構(gòu)使得它具有優(yōu)異的特征學習能力。并且它的“逐層初始化”（layer-wise pre-training）有效地克服了深度神經(jīng)網(wǎng)絡(luò)在訓練上的難度。Deep Learning的多隱含層結(jié)構(gòu)由包括輸入層、隱層（多層）、輸出層組成的多層網(wǎng)絡(luò)。它的每一層可以認為是一個淺度學習模型（如Support Vector Machines）；這種分層結(jié)構(gòu)比較接近人類大腦的結(jié)構(gòu)。

人大腦皮層計算也是分多層進行，例如人的視覺系統(tǒng)，對圖像數(shù)據(jù)的處理是從V1區(qū)傳到V2區(qū)然后依次在各個區(qū)進行處理。使用含多隱含層感知器架構(gòu)網(wǎng)絡(luò)主要優(yōu)勢在于能以簡潔的方式來表達比淺層網(wǎng)絡(luò)大得多的函數(shù)集合。通過這種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，Deep Learning可以實現(xiàn)復(fù)雜函數(shù)的逼近，并表現(xiàn)出極強的從少量數(shù)據(jù)學習本質(zhì)特征的能力。

1.2 Deep Learning訓練過程

（1）首先逐層構(gòu)建單層神經(jīng)元，使得每次都是訓練一個單層網(wǎng)絡(luò)。

（2）當所有層訓練完后，使用wake-sleep算法[5]進行調(diào)優(yōu)。

將除最頂層的其它層間的權(quán)重變?yōu)殡p向的。其中向上的權(quán)重用于“認知”，向下的權(quán)重用于“生成”。然后使用Wake-Sleep算法調(diào)整所有的權(quán)重。讓“認知”和“生成”達成一致。Wake-Sleep算法分為醒（Wake）和睡（Sleep）兩個部分。

Wake階段：“認知”過程，通過外界輸入物體的特征和向上的權(quán)重（認知權(quán)重）產(chǎn)生每一層的抽象表示（結(jié)點狀態(tài)），并用梯度下降修算法調(diào)整層間的向下的權(quán)重（生成權(quán)重）。

Sleep階段：“生成”過程，通過頂層表示（醒時學得的狀態(tài)）和向下權(quán)重（生成權(quán)重），生成底層的狀態(tài)，如果沒有復(fù)原底層狀態(tài)，則調(diào)整層間向上的權(quán)重（認知權(quán)重），再重新使用Wake-Sleep算法調(diào)優(yōu)，直到頂層表示能夠復(fù)原底層狀態(tài)。

2 基于Deep Learning多隱含層感知架構(gòu)超級計算機

2.1 超級計算機系統(tǒng)四層應(yīng)用視圖

按照面向應(yīng)用的層次化可用性建模[6]方法，可以描述一般超級計算機系統(tǒng)的四層應(yīng)用視圖。

節(jié)點層：該層的基本單元是個體計算節(jié)點，而個體計算節(jié)點是系統(tǒng)向用戶提供的基本計算資源。

系統(tǒng)層：該層是為了幫助系統(tǒng)管理人員從整機角度觀察系統(tǒng)的強度可用性水平，以便于調(diào)整節(jié)點調(diào)度、作業(yè)調(diào)度、失效處理等重要決策。

作業(yè)分區(qū)層：該層由一個個作業(yè)區(qū)組成。每個作業(yè)分區(qū)對應(yīng)一個作業(yè)隊列，其上可有若干用戶作業(yè)并行執(zhí)行。系統(tǒng)的所有節(jié)點資源是按照分區(qū)規(guī)則進行調(diào)度使用的。

作業(yè)層：該層是作業(yè)用戶從單個作業(yè)的角度所見的強度可用性層次。

2.2 基于Deep Learning多隱含層的超級計算機計算節(jié)點模型

超級計算機系統(tǒng)能提供多大的計算能力，對系統(tǒng)的高性能優(yōu)勢的發(fā)揮有著直接影響。計算節(jié)點是系統(tǒng)提供的基本計算資源。從而提高每個計算節(jié)點的計算性能對系統(tǒng)的高性能優(yōu)勢的發(fā)揮有很大的影響。故提出基于Deep Learning 多隱含層感知架構(gòu)的超級計算機計算節(jié)點模型。

基于Deep Learning多隱含層感知架構(gòu)的計算節(jié)點具有多層，每層由多個子計算節(jié)點組成，層間子計算節(jié)點通過計算網(wǎng)絡(luò)傳遞數(shù)據(jù)。每個子計算節(jié)點是一個獨立的計算單元，它主要由計算部件、互連部件和存儲部件組成。

工作原理：當作業(yè)從系統(tǒng)層調(diào)度到計算節(jié)點后，計算節(jié)點的多個層依次對輸入數(shù)據(jù)處理。每層的子計算節(jié)點利用處理函數(shù)（處理向量），對輸入數(shù)據(jù)進行簡單操作生成處理結(jié)果和處理函數(shù)（處理向量）對應(yīng)的反函數(shù)（反向處理向量），然后反函數(shù)（反向處理向量）和處理結(jié)果通過運算生成反向處理結(jié)果，再讓反向處理結(jié)果與輸入數(shù)據(jù)比較：如果反向處理結(jié)果與輸入數(shù)據(jù)不相同，則認為該子計算節(jié)點計算操作錯誤，將錯誤信息報告到系統(tǒng)，再由系統(tǒng)調(diào)用其他計算節(jié)點對該輸入數(shù)據(jù)重新處理；如果反向處理結(jié)果與輸入數(shù)據(jù)相同則認為處理操作正確，則將正確處理結(jié)果作為下層子計算節(jié)點的輸入數(shù)據(jù)，依次迭代操作，直到最終正確處理結(jié)果輸入到該計算節(jié)點的輸出接口，最后正確處理結(jié)果被傳遞到高速計算網(wǎng)絡(luò)。如果作業(yè)需要計算節(jié)點間協(xié)同處理才能完成整個處理操作，則將這個計算節(jié)點的正確處理結(jié)果通過高速計算網(wǎng)絡(luò)傳遞到另外一個計算節(jié)點進行同樣過程的操作，依次迭代，直到完成對該作業(yè)的所有操作，系統(tǒng)輸出最終正確處理結(jié)果；如果作業(yè)只需要一個計算節(jié)點的處理就能夠完成對作業(yè)的所有操作，就將這個計算節(jié)點的正確處理結(jié)果作為系統(tǒng)對作業(yè)的最終處理結(jié)果，輸出系統(tǒng)。

計算節(jié)點采用多層次能夠減輕每層子計算節(jié)點的負擔，提高每層子計算節(jié)點處理速度，進而提高了整個計算節(jié)點的處理速度。而且計算節(jié)點采用多層能夠避免過多的中間數(shù)據(jù)占用高速計算網(wǎng)絡(luò)，從而提高了計算節(jié)點間數(shù)據(jù)傳遞的速度。計算節(jié)點多層次間采用反向回饋機制，能夠有效的避免計算錯誤或降低計算錯誤率，從而增強系統(tǒng)的容錯性能。計算速度的提高和容錯性能的增強最終能夠使超級計算機的總體性能提高。

3 結(jié)束語

本文主要提出對超級計算機的底層計算節(jié)點利用基于Deep Learning 多隱含層感知架構(gòu)思想，構(gòu)建含多隱層的計算節(jié)點用來提高超級計算機的高性能和高容錯性能的新解決方案。

參考文獻：

[1]Hinton G E，Salakhutdinov R R.Reducing the dimensionality of data with neural networks[J].Science，2006（5786）：504-507.

[2]湯姆·米切爾.曾華軍，譯.機器學習[M].北京：機械工業(yè)出版社，2003：1-280.

[3]吳昌友.神經(jīng)網(wǎng)絡(luò)的研究及應(yīng)用[D].哈爾濱：東北農(nóng)業(yè)大學，2007.

[4]HINTON G，OSINDERO S，TEH Y. A fast learning algorithm for deep belief nets[J].Neural Computation，2006（07）：1527-1554.

[5]Chuang Gao，Bin Chen，Wei Wei.Dynamic detection of wake sleep transition with reaction time-magnitude[J].Neural Regenerattion Research，2009（07）：552-560.

[6]鄭霄.超級計算機系統(tǒng)的可用性評估研究[D].鄭州：解放軍信息工程大學，2009.

作者簡介：魯向擁（1992-），男，河南開封人，在校本科生，研究方向：計算機科學與技術(shù)；劉正發(fā)（1990-），男，山西運城人，在校本科生，研究方向：自動化；李明明（1992-），男，河南濟源人，在校本科生，研究方向：網(wǎng)絡(luò)工程。

作者單位：河南大學 計算機與信息工程學院，河南開封 475000