片上網(wǎng)絡技術發(fā)展現(xiàn)狀及趨勢淺析

李　麗　許居衍

摘要：半導體制造工藝的快速發(fā)展使得片上可以集成更大規(guī)模的硬件資源，片上網(wǎng)絡的研究試圖解決芯片中全局通信問題，使得從基于計算的設計轉(zhuǎn)變?yōu)榛谕ㄐ诺脑O計，并實現(xiàn)可擴展的通信架構(gòu)。本文回顧和總結(jié)了現(xiàn)有NoC研究工作，指出NoC是當前片上通信發(fā)展的主流趨勢，并分析了當前NoC關鍵技術瓶頸，最后預測了多核的技術和產(chǎn)業(yè)發(fā)展趨勢。

關鍵詞：片上網(wǎng)絡(NoC)；存儲結(jié)構(gòu)；并行軟件；功耗管理

引言

隨著半導體工藝技術步入納米階段，在單一芯片中集成上億晶體管已經(jīng)成為現(xiàn)實，據(jù)TTRS(International Technology Roadmapfor Semiconductors，國際半導體技術路線圖)預測(見表1)，到2010年，單個芯片上的晶體管數(shù)目將達到22億個。如何有效地利用數(shù)目眾多的晶體管是芯片體系結(jié)構(gòu)必須回答的新問題。倘若因循單核的發(fā)展思路，芯片設計將面臨互連延遲、存儲帶寬、功耗極限等性能提升的瓶頸問題。因此，業(yè)內(nèi)普遍認識到，有必要研究新型的芯片體系架構(gòu)以適應性能增長和功耗下降同時發(fā)生這樣看似矛盾的需求。多核技術是一條可行之路。多核能夠用多個低頻率核單元產(chǎn)生超過高頻率單核的處理效能，獲得較佳的性價比。圍繞著多核的一系列技術問題業(yè)已成為近期芯片業(yè)研究的重點和未來的主要發(fā)展方向。

按照不同的片上互連方式，多核SoC可分為兩大類：傳統(tǒng)的基于總線的互連和基于網(wǎng)絡的互連。前者是現(xiàn)有SoC的擴展，通過多總線及層次化總線等技術使得片上集成更多的處理器核，從而實現(xiàn)高復雜度和高性能；而后者是近些年提出的嶄新的概念，即多處理器核之間采用分組路由的方式進行片內(nèi)通信，從而克服了由總線互連所帶來的各種瓶頸問題，這種片內(nèi)通信方式稱為片上網(wǎng)絡(Network on a Chip，NoC)。

NOC概述

基本概念

NoC是指在單芯片上集成大量的計算資源以及連接這些資源的片上通信網(wǎng)絡，如圖1所示。NoC包括計算和通信兩個子系統(tǒng)，計算子系統(tǒng)(圖中由PE，ProcessingElement構(gòu)成的子系統(tǒng))完成廣義的“計算”任務，PE既可以是現(xiàn)有意義上的CPU、SoC，也可以是各種專用功能的IP核或存儲器陣列、可重構(gòu)硬件等·通信子系統(tǒng)(圖中由Switch組成的子系統(tǒng))負責連接PE，實現(xiàn)計算資源之間的高速通信。通信節(jié)點及其間的互連線所構(gòu)成的網(wǎng)絡被稱為片上通信網(wǎng)絡(On-Chip Network，OCN)，它借鑒了分布式計算系統(tǒng)的通信方式，用路由和分組交換技術替代傳統(tǒng)的片上總線來完成通信任務。

NoO技術優(yōu)勢分析

基于分組路由方式進行片上通信的NoC在片上通信方式、功耗、基于重用的設計方法學、解決單一時鐘全局同步等方面都具有優(yōu)越性。

·有利于提高通信帶寬

總線結(jié)構(gòu)是現(xiàn)有芯片架構(gòu)的通信脈絡，隨著電路規(guī)模的擴大，總線結(jié)構(gòu)將成為芯片設計的瓶頸：雖然總線可以有效地連接多個通信方，但總線地址資源并不能隨著計算單元的增加而無限擴展；雖然總線可由多用戶共享，但一條總線無法支持一對以上的用戶同時通信，即串行訪問機制導致了通信的瓶頸。此外，片上通信是功耗的主要來源，龐大的時鐘網(wǎng)絡與總線的功耗將占據(jù)芯片總功耗的絕大部分。

NoC的網(wǎng)絡拓撲結(jié)構(gòu)提供了良好的可擴展性，NoC連線網(wǎng)絡提供了良好的并行通信能力，從而使得通信帶寬增加幾個數(shù)量級，此外，NoC將長的互連線變成交換開關之間互相連接的短連線，這對功耗控制變得極為有利，另一方面，NoC借鑒了通信協(xié)議中的分層思想，這就為從物理級到應用級的全面功耗控制提供了可能。

·有利于提升重用設計

總線架構(gòu)可擴展性和可重用性差，為此在芯片計算能力演變時，必須跟隨著處理能力的需求而變更設計(如更高的內(nèi)存寬度、更高的頻率、更靈活的同步或異步設計等等)，每一代芯片的推出都伴隨著程度不等的設計變更，這對于開發(fā)人員而言是相當大的負擔。若是將通信架構(gòu)獨立設計，并且運用更具彈性的技術，對于縮短設計周期、減少開發(fā)成本都有不小的幫助。

由于NoC所使用的通信協(xié)議層本身屬于獨立的資源，因此提供了支持高效率可重用設計方法學的體系結(jié)構(gòu)：現(xiàn)有規(guī)模的SoC可以基于片上通信協(xié)議作為計算節(jié)點“即插即用”于NoC的網(wǎng)絡節(jié)點；給定的互連拓撲結(jié)構(gòu)使得芯片集成可以采用基于片上通信的設計方法(Communication-basedDesign，CBD)來完成。通信和計算完全分離的技術(也就是通信與計算的正交設計)將重用范圍從計算單元可重用擴展到計算與通信單元皆可重用的層次，從而大大提升了重用設計的水平。

·有利于解決全局同步的難題

納米工藝所帶來的各種物理效應使得片上全局同步越來越困難。當采用50nm工藝，時鐘頻率為10GHz時，全局線延遲將達6～10個時鐘周期，時鐘偏斜(Skew)變得難以控制，而時鐘樹又是影響芯片功耗和成本的一個主要因素。這些問題，隨著集成器件尺寸越來越小，時鐘頻率越來越高，將變得越來越突出。

NoC的片內(nèi)網(wǎng)絡通信方式，資源之間的短線互連和天然的全局異步局部同步(GALS)時鐘策略等特性是解決這些問題有效途徑。

總而言之，研究NoC設計方法和設計技術是滿足納米工藝條件下高集成度芯片發(fā)展的必然需求。NoC設計空間

完整的NoC設計方法學包括很多方面的問題，它們對NoC的發(fā)展都是至關重要的，且已經(jīng)引起了學術界的廣泛研究。Carnegie Mellon大學的U.Y.Ogras等人在文獻中提出了NoC設計空間的概念并將NoC研究歸納為三大類關鍵問題：基礎架構(gòu)、通信機制和映射優(yōu)化，如圖2所示。

圖中，“Hard NoC”(網(wǎng)格部分)指基本架構(gòu)確定，各PE節(jié)點的內(nèi)容也固定的一類NoC結(jié)構(gòu)，其設計空間只是圖中一矩形部分，設計余度最??；“Firm NoC”(灰色陰影空間)指其基本架構(gòu)已確定，網(wǎng)絡通道寬度與通信節(jié)點緩存大小不確定，其他維度對設計者完全自由的一類NoC結(jié)構(gòu)，設計者可以根據(jù)確定的應用實現(xiàn)最優(yōu)的布圖規(guī)劃、通信調(diào)度與任務分配算法、IP映射算法和路由交換解決方案，設計空間比較靈活，“SoftNoC”(白色立方體部分)指設計者需要根據(jù)應用來優(yōu)化NoC設計空間的所有問題，設計靈活性最高，但設計難度和工作量也相應最大。

設計者根據(jù)給定的具體應用，依據(jù)應用特征圖(Application CharacterizationGraph，APCG)，在時間、成本、技術儲備等約束條件下，首先按應用選擇基于哪類NoC開展設計；其次在該類NoC的設計空間范圍內(nèi)解決相應關鍵問題，以探索最優(yōu)的

NoC實現(xiàn)方案。

NoC關鍵技術難點

NoC關鍵技術主要包括系統(tǒng)建模、拓撲結(jié)構(gòu)、路由方法、交換方法、緩存策略、服務質(zhì)量和映射優(yōu)化等，近年來都不同程度地取得研究進展，而阻礙NoC走向大規(guī)模應用的瓶頸在于以下幾方面：

存儲結(jié)構(gòu)問題

Memory是NoC中十分重要的組件，在現(xiàn)有的片上多處理器系統(tǒng)中，存儲器占到70％的芯片面積，并且在不久的將來會上升到90％，而從能耗的角度來看，存儲器所引入的功耗也可達系統(tǒng)功耗的90％，這對芯片的散熱、封裝和可靠性等都帶來了嚴重的問題；NoC系統(tǒng)需要大量的存儲元件，并被組織成復雜的存儲子系統(tǒng)(memorysubsystem)，這個存儲子系統(tǒng)將支持NoC的并行數(shù)據(jù)存儲、傳輸及交換。NoC中大量的存儲資源必將占用多個路由節(jié)點，且由于處理單元與存儲資源之間的數(shù)據(jù)交換非常頻繁，若在數(shù)據(jù)包傳輸路徑上路由節(jié)點數(shù)目過多，會帶來很大的通信延時。如何有效縮短源節(jié)點到目的節(jié)點間的距離對提高整個NoC系統(tǒng)性能十分關鍵。

再者，從通信帶寬的角度，隨著工藝的進步，計算訪存比進一步增大，意味著基于該結(jié)構(gòu)獲得接近峰值性能的應用算法越少。這就引入了一系列問題，如何讓眾多處理器核有足夠的數(shù)據(jù)可算?如何更充分地利用片上有限存儲空間實現(xiàn)核間共享，以避免片外訪存?如何充分利用有限訪存帶寬，盡量讓訪存通道優(yōu)先滿足處于關鍵路徑處理器核的訪問請求?最近美國Sandia國家實驗室提出在多核處理器芯片上堆疊存儲芯片，來解決帶寬增長不足的問題，這或許是一種可行的方案。

總而言之，片上存儲結(jié)構(gòu)已經(jīng)成為影響NoC性能的關鍵因素之一。

軟件并行化問題

未來的基于多核的高性能處理芯片可能會遇到很多傳統(tǒng)的串行程序自動并行化方法較難實施的應用。如果不能有效地利用NoC片上并行處理資源，則并行計算的實際性能將會很低，因此如何通過有效的方法和模型，充分地利用NoC的眾多處理單元，并極大地降低應用的開發(fā)難度，便成為迫切需要解決的問題。

與并行計算機發(fā)展過程中遇到的問題相類似，NoC并行處理體系結(jié)構(gòu)所面臨的主要問題是如何將應用中蘊含的不同層次、不同粒度的并行性有效地提取出來并映射到多核的并行硬件結(jié)構(gòu)上去。這一問題的解決涉及包括程序設計模型、程序設計語言、編譯系統(tǒng)及硬件支撐等在內(nèi)的多個方面。

總體來說，開發(fā)并行程序可以有三種途徑：一是串行程序自動并行化，這條路目前尚未走通，更為實際的目標應為人機交互的自動并行化，二是設計全新的并行程序設計語言。這種方法的缺點是需要全部改寫原有程序，對用戶來說成本和風險也很高，且效率不能保證。但是，隨著多核的出現(xiàn)，若面向大眾推廣并行計算環(huán)境，就必須有一種新的容易被接受的程序設計語言。目前國際上正在研究的新興并行程序設計語言如IBM的X10、UPC(統(tǒng)一并行C語言，C語言的擴展)和Titanmin(Java的擴展)等，第三條途徑就是串行語言加并行庫或偽注釋制導語句的擴展，也即增加一個庫或一些新的制導語句來幫助進行消息傳遞和并行。這正是MPI和OpenMP所采取的途徑，也是目前比較容易被接受且性能較高的途徑，但其程序開發(fā)效率很低，難度也比較大。

功耗管理問題

雖然NoC有助于提高芯片的能效(Energy-Efficiency)，但不能忽視，由于多核系統(tǒng)片上集成規(guī)模的大幅度增加，功耗問題依然突出。如何在NoC設計中提高能效，對眾多計算資源進行調(diào)度管理以最大限度降低功耗依然是NoC設計所面臨的重要問題之一。

從體系結(jié)構(gòu)角度看，NoC主要包括處理器核、核間互連以及片上存儲三個主要部分。NoC的低功耗研究可以圍繞功耗評估，處理器核功耗優(yōu)化，片上網(wǎng)絡功耗優(yōu)化以及片上存儲功耗優(yōu)化這四個方面對各部分展開，其中功耗評估是NoC低功耗設計的基礎。

功耗是導致包括NoC在內(nèi)的多核技術出現(xiàn)的重要誘因，也是片上多處理器設計的重要制約因素。對于NoC的不同設計模塊和設計層次，都存在行之有效的降低功耗的方法，而這些方法又可能是互相牽制，互相影響的。因此需要貫穿NoC體系結(jié)構(gòu)到電路工藝的各方面的豐富知識，才能在設計早期做出正確的多核架構(gòu)的選擇。一般而言，從越高的設計抽象層次入手考慮低功耗設計問題，所獲得的降低功耗的效率就越高。

NOC發(fā)展趨勢

技術發(fā)展趨勢

·向?qū)哟位姾朔较虬l(fā)展

微軟公司2007年6月在美國西雅圖召開了第一個以ManyCore(眾核)為主題的研討會(Workshop)，標志著眾核設計已經(jīng)成為技術發(fā)展的趨勢和學術研究的熱點。

集成電路設計總是想方設法把現(xiàn)有的各種電子電路乃至計算系統(tǒng)集成到單一芯片上，因此計算機體系結(jié)構(gòu)歷來是集成電路片上系統(tǒng)架構(gòu)的參考體系。超級計算機是最強大的計算機，充分參考超級計算機的體系結(jié)構(gòu)是設計多核處理器的基本思路。超級計算機體系架構(gòu)的基本特征就是小核大陣列和層次化管理。無論是世界排名第一的Roadrunner(122400個核)，還是排名第二的BlueGene／L(212992個核)，如圖3所示，都是采用高性能、層次化、可擴展的巨大陣列，連接數(shù)目眾多的普通微處理器(小核)來保障最優(yōu)的性能。超級計算機告訴我們，小核大陣列和層次化管理必將成為眾核處理器的主流技術發(fā)展方向。

·向三維NoC方向發(fā)展

ITRS 2007年版闡述了MoreMoore(延伸摩爾定律)和More thartMoore(超越摩爾定律)兩個概念，如圖4所示，其中延伸摩爾定律是按照等比例縮小繼續(xù)走微細化的道路，而超越摩爾定律追求的是功能多樣化，并指出下一代SoC(NoC)與SiP技術融合的發(fā)展趨勢。

正如ITRS所預測，在工藝技術發(fā)展和設計技術需求的雙重驅(qū)動下，三維集成(又稱為系統(tǒng)級封裝，SiP)技術愈來愈受到學術界和工業(yè)界的關注和重視。NoC雖然克服了全局延遲過長帶來的信號完整性及全局同步等一系列問題，但并沒有在根本上解決縮短物理連線，減小信號時延的問題。由于二維NoC布局條件的限制，難以保證關鍵部件相鄰以縮短關鍵路徑長度，而三維集成技術可把不同的器件層堆疊起來，不僅在真正意義上縮短了連線的長度，并克服這種布局的限制。因此把NoC和三維集成這兩種設計技術融合起來的三維NoC就顯得自然且誘人。

三維NoC是在單個芯片上將資源節(jié)點(Resource)分布在不同的物理層上，并用三維立體架構(gòu)實現(xiàn)資源間的互連，以構(gòu)建高帶寬、低延時、低功耗的NoC系統(tǒng)。典型的三維Mesh結(jié)構(gòu)NoC如圖5所示。三維NoC是一個嶄新的研究話題，近兩年才在國際上被提出(最早一篇相關研究論文于2005年公開發(fā)表。目前從事該領域研究的學術機構(gòu)包括美國斯坦福大學、加州理工大學、賓州州立大學、華盛頓州立大學，瑞典皇家工學院、日本的Keio University，加拿大的不列顛哥倫比亞大學，以及Intel、Toshiba等大公司的研究中心?？梢?，三維NoC已經(jīng)引起了國際上學術界和產(chǎn)業(yè)界的注意，很可能在未來幾年內(nèi)發(fā)展成為一個重要的研究領域，并得到廣泛的關注。

產(chǎn)業(yè)發(fā)展趨勢

多核技術在產(chǎn)業(yè)界已有廣泛應用。從Intel、AMD、SUN、CISCO等國際老牌企業(yè)，到PicoChip(2000年成立)、Ambric(2003年成立)、Tilera(2004年成立)等新興公司，多核產(chǎn)品層出不窮；從超級計算機到PC機，從路由器等寬帶應用到多媒體等嵌入式市場，多核產(chǎn)品逐漸廣為人知。

VDC Research于2007年發(fā)表了《多核計算的嵌入式應用：全球市場機會與需求分析》。報告分析了多核技術從2006年到2011年的市場需求走勢，如圖6所示。圖中的縱軸是以2006年總值為單位1，其他年份與2006年相比多核產(chǎn)品市場總額的倍數(shù)關系。研究表明，多核技術到2011年，嵌入式應用領域的市場總額將超過2007年的6倍，超過2006的44倍。如此快速的增長速度決定了我國不應該介入太晚，否則就只能再次走“產(chǎn)品跟蹤”的老路。

結(jié)語

包括NoC在內(nèi)的多核技術是通用處理器技術升級的大方向已成為業(yè)內(nèi)共識。多核技術是當代集成電路設計的戰(zhàn)略性技術，它以很低的功率消耗、較強的并行處理以及優(yōu)異的計算性能，征服了人們對集成電路性能的追求，“成為業(yè)界的重要里程碑”(Intel總裁語)。

先進的NoC結(jié)構(gòu)可以通過集成現(xiàn)有的百兆頻率核形成高性能多核處理器，大大降低了技術門檻，為中等設計公司帶來了機會，目前已有一批中等公司和新興公司在多核領域嶄露頭角，“國際寡頭”壟斷高性能處理器的格局正在發(fā)生變化。對我國現(xiàn)有設計能力而言，即使不能“一步登天”，但完全可以做到“所想即所得”，這亦為我國發(fā)展自主產(chǎn)權的高性能處理器產(chǎn)業(yè)提供了寶貴的契機。