《并行計(jì)算系統(tǒng)》課程的引導(dǎo)性教學(xué)與實(shí)踐

劉敏，張素莉

（1.長(zhǎng)春汽車工業(yè)高等專科學(xué)校公共教學(xué)部，長(zhǎng)春 130013；2.長(zhǎng)春工程學(xué)院計(jì)算機(jī)技術(shù)與工程學(xué)院，長(zhǎng)春 130012）

《并行計(jì)算系統(tǒng)》課程的引導(dǎo)性教學(xué)與實(shí)踐

劉敏1，張素莉2

（1.長(zhǎng)春汽車工業(yè)高等?？茖W(xué)校公共教學(xué)部，長(zhǎng)春 130013；2.長(zhǎng)春工程學(xué)院計(jì)算機(jī)技術(shù)與工程學(xué)院，長(zhǎng)春 130012）

對(duì)于《并行計(jì)算系統(tǒng)》課程的初學(xué)者來說，由于其概念、算法、理論有別于傳統(tǒng)的單機(jī)知識(shí)體系，因而往往會(huì)產(chǎn)生高深和新難的預(yù)感。為使學(xué)生平緩順利地進(jìn)入該課程學(xué)習(xí)，在課程之初增設(shè)引導(dǎo)性講座是一種可行的嘗試性教學(xué)實(shí)踐，取得較好的教學(xué)效果。

單機(jī)體系結(jié)構(gòu)；并行計(jì)算體系結(jié)構(gòu)；引導(dǎo)性教學(xué)

0 引言

《并行計(jì)算系統(tǒng)》課程是計(jì)算機(jī)及相關(guān)專業(yè)的高年級(jí)本科生或研究生的專業(yè)選修課，其特點(diǎn)是既和本科學(xué)生的專業(yè)基礎(chǔ)課及專業(yè)課（如計(jì)算機(jī)導(dǎo)論、計(jì)算機(jī)組成原理、計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)、計(jì)算機(jī)網(wǎng)絡(luò)、計(jì)算方法等）相關(guān)聯(lián)，又在并行計(jì)算系統(tǒng)的體系結(jié)構(gòu)、并行算法和并行程序設(shè)計(jì)等知識(shí)體系方面具有跨越式提升。因此，對(duì)于《并行計(jì)算系統(tǒng)》課程的初學(xué)者來說，難免會(huì)產(chǎn)生高深和新難的預(yù)感。

考慮到盡管該課程的核心是并行算法，然而對(duì)于給定問題的求解算法又和具體體系結(jié)構(gòu)，特別是訪存結(jié)構(gòu)關(guān)聯(lián)密切。同一個(gè)問題可以有不同的求解算法，不同的求解算法適于不同的體系結(jié)構(gòu)。《并行計(jì)算系統(tǒng)》的3部分（并行計(jì)算系統(tǒng)的體系結(jié)構(gòu)、并行算法和并行程序設(shè)計(jì)）的課程設(shè)置也恰恰是以并行計(jì)算系統(tǒng)的體系結(jié)構(gòu)作為開篇的?？紤]到計(jì)算機(jī)軟件專業(yè)的學(xué)生往往側(cè)重算法和程序設(shè)計(jì)方面的知識(shí)體系，而對(duì)體系結(jié)構(gòu)知識(shí)和重要性比較淡化，作者根據(jù)多年的教學(xué)實(shí)踐，在開課之初以體系結(jié)構(gòu)為切入點(diǎn)，增設(shè)了以“單機(jī)體系結(jié)構(gòu)與并行計(jì)算體系結(jié)構(gòu)的相關(guān)性發(fā)展”為題的引導(dǎo)性講座環(huán)節(jié)，目的使學(xué)生平緩順利地進(jìn)入該課程學(xué)習(xí)，實(shí)效較好。

1 單機(jī)體系結(jié)構(gòu)及相關(guān)問題回顧

這個(gè)環(huán)節(jié)首先從學(xué)生在早期本科學(xué)生的專業(yè)基礎(chǔ)課及專業(yè)課（如計(jì)算機(jī)導(dǎo)論、計(jì)算機(jī)組成原理、計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)等）中已經(jīng)熟悉的單機(jī)體系結(jié)構(gòu)開始，介紹及結(jié)構(gòu)特點(diǎn)：運(yùn)算器采用單/多CPU結(jié)構(gòu)，控制器采用集中式控制方式，存儲(chǔ)器采用全局統(tǒng)一編址和分時(shí)共享策略，I/O系統(tǒng)采用總線互聯(lián)技術(shù)。

同時(shí)強(qiáng)調(diào)指出：（1）流水線技術(shù)中，當(dāng)完成流水線的建立之后，就已經(jīng)進(jìn)入了部件級(jí)并行，這已經(jīng)可以稱之為并行計(jì)算的原始或初級(jí)階段；（2）多CPU結(jié)構(gòu)發(fā)展為緊密耦合的多處理機(jī)結(jié)構(gòu)，就可以實(shí)現(xiàn)處理機(jī)之間的并行計(jì)算。但由于其仍然采用全局統(tǒng)一的操作系統(tǒng)集中式控制和全局統(tǒng)一的地址空間分時(shí)共享，因而相對(duì)于多計(jì)算機(jī)系統(tǒng)而言它仍然應(yīng)該歸屬于單機(jī)范疇，實(shí)現(xiàn)的是某一時(shí)間段上的并行計(jì)算，而不是某一時(shí)間點(diǎn)上的并行計(jì)算。深層次的原因是由于存儲(chǔ)器總線的單一性，決定了存儲(chǔ)器訪問的分時(shí)性，從而限制了指令流和數(shù)據(jù)流輸入/輸出的并行性。

這個(gè)環(huán)節(jié)的作用幫助學(xué)生回顧了單機(jī)體系結(jié)構(gòu)的相關(guān)問題，萌生并行計(jì)算系統(tǒng)的概念性模型。

2 單機(jī)體系結(jié)構(gòu)與并行計(jì)算系統(tǒng)體系結(jié)構(gòu)的關(guān)聯(lián)性

這個(gè)環(huán)節(jié)里進(jìn)一步將單機(jī)體系結(jié)構(gòu)與并行計(jì)算系統(tǒng)結(jié)構(gòu)做出關(guān)聯(lián)性介紹。單機(jī)體系結(jié)構(gòu)的運(yùn)算器經(jīng)過單/多CPU結(jié)構(gòu)、緊密耦合的多處理機(jī)結(jié)構(gòu)已經(jīng)發(fā)展為松散耦合的多計(jì)算機(jī)結(jié)構(gòu)；控制器從集中式控制方式發(fā)展為服務(wù)器+網(wǎng)絡(luò)操作系統(tǒng)或分布式操作系統(tǒng)管理下的集中與分布相結(jié)合的控制方式；存儲(chǔ)器從全局統(tǒng)一編址和分時(shí)共享策略發(fā)展為物理上分布、邏輯上共享的分布式存儲(chǔ)、分布式共享存儲(chǔ)以及云存儲(chǔ)策略；I/O系統(tǒng)從總線互聯(lián)技術(shù)發(fā)展為互聯(lián)網(wǎng)絡(luò)共享I/O設(shè)備的技術(shù)。

值得指出的是互聯(lián)網(wǎng)絡(luò)承載著并行計(jì)算系統(tǒng)中的“運(yùn)算器”、“控制器”、“存儲(chǔ)器”和“I//O系統(tǒng)”等所有計(jì)算資源的互聯(lián)互通的任務(wù)，因而并行計(jì)算系統(tǒng)具有其特殊性。

首先，對(duì)于給定問題的求解算法和具體體系結(jié)構(gòu)，特別是訪存結(jié)構(gòu)關(guān)聯(lián)密切。同一個(gè)問題可以有不同的求解算法，不同的求解算法適于不同的體系結(jié)構(gòu)；

其次，求解算法與體系結(jié)構(gòu)的匹配程度，又決定了算法性能的優(yōu)劣。因此，也可以解釋為并行計(jì)算系統(tǒng)（含算法和體系結(jié)構(gòu)）與具體的體系結(jié)構(gòu)有關(guān)。

這里以采用流水線技術(shù)的傅里葉變換和采用分治技術(shù)的傅里葉變換為例來說明。兩種求解算法是完全不同的，所采用的處理機(jī)結(jié)構(gòu)也是完全不同的。前者采用的是具有專用處理功能部件的脈動(dòng)式流水線處理機(jī)，后者采用的是具有并行輸入/輸出功能的通用型處理機(jī)。

這個(gè)環(huán)節(jié)的作用是向?qū)W生展現(xiàn)了單機(jī)體系結(jié)構(gòu)與并行計(jì)算系統(tǒng)體系結(jié)構(gòu)的關(guān)聯(lián)性，初步淡化學(xué)生對(duì)并行計(jì)算系統(tǒng)的高深和新難的預(yù)感，同時(shí)也強(qiáng)調(diào)了體系結(jié)構(gòu)問題在并行計(jì)算系統(tǒng)中的重要作用。

3 并行計(jì)算系統(tǒng)的特殊性問題

這個(gè)環(huán)節(jié)的目的是在同學(xué)們已經(jīng)完成了從單機(jī)體系結(jié)構(gòu)到并行計(jì)算系統(tǒng)體系結(jié)構(gòu)的過渡性認(rèn)識(shí)和充分認(rèn)識(shí)了并行計(jì)算系統(tǒng)體系結(jié)構(gòu)的重要性的基礎(chǔ)上，闡述和體系結(jié)構(gòu)相關(guān)的3個(gè)特殊性問題，引導(dǎo)學(xué)生（特別是軟件專業(yè)的學(xué)生）在整個(gè)課程學(xué)習(xí)過程中充分關(guān)注其重要性和關(guān)聯(lián)性問題。

3.1 通信開銷

在單機(jī)體系結(jié)構(gòu)下所使用的計(jì)算資源是采用總線連接的，無需特殊考慮通信開銷問題。而在很大一部分并行計(jì)算系統(tǒng)的體系結(jié)構(gòu)中，計(jì)算資源是網(wǎng)絡(luò)互聯(lián)的，這就使得通信開銷（報(bào)文數(shù)量、通信延遲、擁塞解決等等）也成為總體系統(tǒng)開銷的一個(gè)部分，甚至是很大一部分，這是并行計(jì)算系統(tǒng)必須同時(shí)考慮的特殊性問題。它不僅直接影響并行計(jì)算的訪存模型，從而也直接影響到并行計(jì)算系統(tǒng)的綜合性能。

3.2 訪存模型

并行計(jì)算系統(tǒng)體系結(jié)構(gòu)的差異性突出體現(xiàn)在訪存模型的差異性上，這種差異性不僅決定著計(jì)算模型的差異性，而且也影響著計(jì)算性能的差異性。并行計(jì)算的訪存模型包括：均勻訪存模型（UMA）、非均勻訪存模型（NUMA）、Cache一致性非均勻訪存模型（CC-NUMA）、全局Cache訪存模型（COMA）、非遠(yuǎn)程訪存模型（NORMA）等，這些訪存模型的差異性都是受存儲(chǔ)器的互聯(lián)模式所決定的。

3.3 性能評(píng)價(jià)

如前所述，對(duì)于給定問題的求解算法和具體體系結(jié)構(gòu)，特別是訪存結(jié)構(gòu)關(guān)聯(lián)密切。同一個(gè)問題可以有不同的求解算法，不同的求解算法適于不同的體系結(jié)構(gòu)。因此，對(duì)并行計(jì)算系統(tǒng)的計(jì)算性能的評(píng)價(jià)不僅僅是對(duì)算法本身的評(píng)價(jià)，也包含著對(duì)體系結(jié)構(gòu)和通信體系的評(píng)價(jià)。

并行計(jì)算系統(tǒng)有兩個(gè)評(píng)價(jià)體系，一個(gè)是加速比評(píng)價(jià)體系，另一個(gè)是可擴(kuò)展性評(píng)價(jià)體系，兩者的評(píng)價(jià)參數(shù)設(shè)置可以充分反映上述觀點(diǎn)。

在這個(gè)環(huán)節(jié)中，以網(wǎng)絡(luò)互聯(lián)為紐帶，把通信開銷、訪存模型以及性能評(píng)價(jià)3個(gè)具有特殊性和關(guān)聯(lián)性的問題展現(xiàn)給學(xué)生，為學(xué)生在整個(gè)后續(xù)課程的學(xué)習(xí)過程中起到一個(gè)提示性和引導(dǎo)性作用。

4 結(jié)語

在從事《并行計(jì)算系統(tǒng)》課程的教學(xué)工作中，作者發(fā)現(xiàn)對(duì)課程的初學(xué)者來說，往往會(huì)帶有高深和新難的預(yù)感?？紤]到單機(jī)體系結(jié)構(gòu)問題是本科學(xué)生的專業(yè)基礎(chǔ)課及專業(yè)課（如計(jì)算機(jī)導(dǎo)論、計(jì)算機(jī)組成原理、計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)等）中已經(jīng)熟悉或熟知的問題，而且并行計(jì)算系統(tǒng)的體系結(jié)構(gòu)問題又是并行計(jì)算系統(tǒng)課程（體系結(jié)構(gòu)、并行算法和并行程序設(shè)計(jì)）中的重要組成部分，因此筆者在開課之初增設(shè)了引導(dǎo)性講座（“單機(jī)體系結(jié)構(gòu)與并行計(jì)算體系結(jié)構(gòu)的相關(guān)性發(fā)展”）環(huán)節(jié)。該講座以體系結(jié)構(gòu)為切入點(diǎn)，向?qū)W生展現(xiàn)了單機(jī)體系結(jié)構(gòu)與并行計(jì)算系統(tǒng)體系結(jié)構(gòu)的相關(guān)性，幫助學(xué)生從對(duì)傳統(tǒng)的單機(jī)的學(xué)習(xí)和思維模式向并行計(jì)算系統(tǒng)的學(xué)習(xí)和思維模式的平緩的轉(zhuǎn)變，并使學(xué)生順利地進(jìn)入該課程學(xué)習(xí)，實(shí)效較好。

[1]陳國良.并行計(jì)算結(jié)構(gòu)算法編程.北京：高等教育出版社，2012.

Guiding Teaching and Practice of Parallel Computing System

LI Min1，ZHANG Su-li2
（1.Public Course Department,Changchun Automobile Industry Institute，Changchun 130013；2.School of Computer Technology and Engineering,Changchun Institute of Technology，Changchun 130012）

For the beginner of the Parallel Computing System course,because of its concept,algorithm,theory is different from the traditional standalone knowledge system,which often has a deep and new difficult premonition.In order to enable the students enter the course smoothly, it is a feasible and practical teaching practice at the beginning of the course,it makes a good teaching effect.

Single Machine Architecture;Parallel Computing Architecture;Guiding Teaching

1007-1423（2016）36-0036-03

10.3969/j.issn.1007-1423.2016.36.009

劉敏（1974-），女，吉林長(zhǎng)春人，本科，副教授，研究方向?yàn)橛?jì)算機(jī)應(yīng)用

2016-12-13

2016-12-23

基金支持：

長(zhǎng)春工程學(xué)院2014年校內(nèi)教改課題“面向產(chǎn)業(yè)需求的《軟件工程》、專業(yè)人才培養(yǎng)模式改革與實(shí)踐”支持；吉林省教育科學(xué)十二五規(guī)劃課題（GH12199）

張素莉（1974-），女，吉林四平人，博士，副教授，研究方向?yàn)橹悄苄畔⑻幚?/p>