(上海交通大學(xué),上海200240)
(Shanghai Jiao Tong University, Shanghai 200240, China)
隨著“5G+”的業(yè)務(wù)場景不斷擴(kuò)大,終端數(shù)據(jù)呈現(xiàn)爆炸式增長[1],智能處理技術(shù)將成為未來網(wǎng)絡(luò)發(fā)展的核心要素。未來,6G技術(shù)將具有更高的傳輸速率和連接密度,以及全空域全頻譜通信、有線無線融合、網(wǎng)絡(luò)一體化等關(guān)鍵特征[2]。智能處理技術(shù)將從3個層次與6G網(wǎng)絡(luò)發(fā)展深度融合:第一,6G技術(shù)將帶來更加多樣化的應(yīng)用場景。針對不同場景的數(shù)據(jù)類型、不同業(yè)務(wù)的處理需求,智能處理技術(shù)將與網(wǎng)絡(luò)終端無縫銜接,實現(xiàn)定制化的“場景智能”;第二,6G環(huán)境下劇增的信息量將超出現(xiàn)有設(shè)備的處理極限。智能處理技術(shù)將實現(xiàn)寬帶信號層面的有用信息提取,大大降低端-端傳輸壓力,實現(xiàn)“信息智能”;第三,6G網(wǎng)絡(luò)吞吐量高,并且呈現(xiàn)不同架構(gòu)有機(jī)融合、處理功能一體化等重要態(tài)勢。智能處理技術(shù)將實現(xiàn)頻譜資源的動態(tài)分配、網(wǎng)絡(luò)接口的動態(tài)切換、網(wǎng)絡(luò)拓?fù)涞膭討B(tài)調(diào)控,實現(xiàn)網(wǎng)絡(luò)自治化管理的“網(wǎng)絡(luò)智能”。因此,在5G/6G浪潮的推動下,我們對具有高速率、大帶寬接口的智能處理技術(shù)展開研究至關(guān)重要。
光子具有帶寬大、速率高、抗電磁干擾能力強(qiáng)、串?dāng)_低、傳輸損耗低等優(yōu)點,在很多領(lǐng)域中被廣泛研究并成功應(yīng)用,如光通信、微波光子學(xué)(MWP)、光學(xué)成像、光學(xué)傳感等。然而,傳統(tǒng)光子處理系統(tǒng)在不斷發(fā)展的過程中逐漸顯現(xiàn)出性能瓶頸。例如,由于光電子器件的固有缺陷和并行化通道間的失配,微波光子處理系統(tǒng)的性能會隨著復(fù)雜度和規(guī)模的增大而惡化[3]。此外,傳統(tǒng)光子處理系統(tǒng)通常是為特定的應(yīng)用場景開發(fā)的,靈活性相對較低。在早期的研究中,功能可切換可編程的光子處理器得到了業(yè)界諸多關(guān)注[4],這預(yù)示著功能可切換可編程的光子處理器具有極大的應(yīng)用潛力;因此,未來的光子處理系統(tǒng)不但需要性能上的提高,而且需要更加靈活智能的任務(wù)執(zhí)行方式。
AlphaGo的出現(xiàn)[5-6],標(biāo)志著以深度學(xué)習(xí)和人工神經(jīng)網(wǎng)絡(luò)(ANN)為代表的人工智能(AI)技術(shù)開始在各領(lǐng)域廣泛探索并縱深發(fā)展。當(dāng)前,AI技術(shù)已被引入光學(xué)和光子學(xué)領(lǐng)域。AI賦能的光子處理系統(tǒng)與傳統(tǒng)方法優(yōu)化后的光子處理系統(tǒng)相比,具有更出眾的性能和魯棒性,并有望在實際應(yīng)用場景中大大降低傳統(tǒng)光子處理系統(tǒng)的成本及人工操作難度。
可以預(yù)見,智能光子處理系統(tǒng)(IPS)是未來復(fù)雜環(huán)境中實現(xiàn)寬帶智能信息處理的關(guān)鍵。
隨著光子技術(shù)和智能技術(shù)的不斷融合,IPS將從AI形態(tài)逐漸演變到神經(jīng)擬態(tài)智能形態(tài),并具有更高的通用性與能量效率。如圖1所示,IPS從層次上可分為AI賦能的IPS、光子輔助AI的IPS和神經(jīng)擬態(tài)的IPS。在本節(jié)中,我們討論了不同架構(gòu)IPS的基本特性與實現(xiàn)方法。
首先,我們引入基于深度學(xué)習(xí)的AI技術(shù)來優(yōu)化光子處理系統(tǒng),即AI賦能的IPS。如圖1(上側(cè))所示,IPS由光子模擬寬帶前端和數(shù)字智能后端組成。在實際的光子前端硬件中,噪聲積累、光電轉(zhuǎn)換非線性以及并行通道間失配等缺陷成為制約其性能提升的主要瓶頸,使得信噪比(SNR)嚴(yán)重下降。研究人員提出了基于硬件或軟件的優(yōu)化方法來提高SNR[7-8]。然而,其優(yōu)化效果受限于較低的靈活性和高昂的硬件成本。
引入AI技術(shù)是一種有望提高前端性能的靈活性方案。結(jié)合了深度學(xué)習(xí)的ANN擅長從參考信號(理想)和輸出信號(非理想)構(gòu)成的數(shù)據(jù)集中學(xué)習(xí)中間系統(tǒng)的系統(tǒng)響應(yīng)與系統(tǒng)缺陷特征,從而構(gòu)建復(fù)雜映射關(guān)系完成非理想信號的恢復(fù)。在訓(xùn)練成功的前提下,ANN能夠以較低的成本對寬帶大動態(tài)范圍的前端輸出信號進(jìn)行優(yōu)化;因此,AI賦能的IPS將可超越傳統(tǒng)光子處理系統(tǒng)的性能,對射頻(RF)信號進(jìn)行更有效的處理。
▲圖1 IPS概念的不同架構(gòu)示意圖
其次,我們提出第2種IPS架構(gòu),即通過光子方法輔助AI計算。如圖1(中部)所示,光學(xué)人工神經(jīng)網(wǎng)絡(luò)(OANN)是光學(xué)計算加速器的發(fā)展方向之一。AI中大量的計算操作(如乘法和累加、多媒體接入控制)已成為當(dāng)前中央處理單元(CPU)的嚴(yán)重負(fù)擔(dān)。隨著摩爾定律不斷逼近終點[9],針對計算框架的創(chuàng)新設(shè)計已是刻不容緩。光子因其具有高速率、高能效的特點成為極具潛力的新型技術(shù):首先,電子時鐘的速率僅為吉赫茲量級,嚴(yán)重影響了AI計算中的時延性能;而隨著波分復(fù)用(WDM)、高速調(diào)制等技術(shù)的成熟,光學(xué)方法則能夠以光速進(jìn)行數(shù)據(jù)的并行化傳遞及處理。其次,電子AI計算方案的能耗與輸入矩陣維度的平方成正比,使得能源成本和散熱問題更加凸顯[10];而光學(xué)無源結(jié)構(gòu)則能夠?qū)崿F(xiàn)零能量消耗的超快光學(xué)計算。具體而言,光子輔助AI的IPS的調(diào)制、探測帶寬可達(dá)100 GHz,高出圖形處理單元(GPU)、張量處理單元(TPU)等電子AI專用計算單元兩個數(shù)量級;其單位MAC操作的能耗能夠達(dá)到pJ量級,甚至aJ量級,有望低于TPU的0.43 pJ/MAC水平;其時延水平更是低于100 ps,大大低于TPU的2 μs運(yùn)算時延[11]。因此,通過將光學(xué)實現(xiàn)方法與ANN架構(gòu)相結(jié)合,OANN有望為AI提供更優(yōu)質(zhì)的計算平臺,大大提高AI的運(yùn)行速度和效率,進(jìn)一步拓寬潛在的實時應(yīng)用場景。
采用類腦通信和計算原理的光學(xué)生物神經(jīng)網(wǎng)絡(luò)(OBNN)是超低功耗光學(xué)計算加速器的候選方案。不同于OANN輔助AI的IPS在訓(xùn)練過程中的高能量消耗,基于生物神經(jīng)網(wǎng)絡(luò)(BNN)的大腦只需要20 W的功率即可執(zhí)行不同的任務(wù)[12]。BNN采用脈沖作為信息的表征方式[13],如圖1(中部)所示。與電子學(xué)方法相比,BNN結(jié)構(gòu)中單節(jié)點(即神經(jīng)元)的帶寬與互連密度之間的制衡突出了光子學(xué)方法的大帶寬和低串?dāng)_的優(yōu)勢。進(jìn)而,得益于高能效的特點以及高速脈沖的產(chǎn)生能力,光子學(xué)實現(xiàn)的BNN為開發(fā)超低功耗的計算框架帶來了希望;因此,OBNN有望使IPS應(yīng)用于更靈活的處理場景中,如移動端應(yīng)用。
最后,IPS將接近神經(jīng)擬態(tài)的終極形態(tài)——具有強(qiáng)大的感知和處理能力的“光子大腦”。大腦是高效智能信息處理系統(tǒng)的天然范例。神經(jīng)擬態(tài)的IPS的特征如圖1(下側(cè))所示。第一,神經(jīng)擬態(tài)的IPS對環(huán)境表現(xiàn)出適應(yīng)性。在不同的環(huán)境中,輸入信號會受到自然(如溫度)或人為(如干擾信號)的影響,需要通過各種“傳感器”(如頻率測量)實現(xiàn)對輸入信號的多維評估,以正確理解輸入信號的狀態(tài)。第二,處理策略由神經(jīng)擬態(tài)的IPS的“大腦”制定。這一步驟的核心在于根據(jù)不同的輸入信號以最簡潔高效的途徑實現(xiàn)處理目標(biāo)。第三,神經(jīng)擬態(tài)的IPS選擇必要的處理模塊進(jìn)行處理。神經(jīng)擬態(tài)的IPS應(yīng)當(dāng)實現(xiàn)模塊之間的協(xié)同以實現(xiàn)完整的處理功能,而不是簡單的功能疊加。第四,神經(jīng)擬態(tài)的IPS從輸出結(jié)果中學(xué)習(xí),并產(chǎn)生經(jīng)驗。一個高效的學(xué)習(xí)模塊可以識別當(dāng)前輸出結(jié)果中的不足,并對處理策略進(jìn)行修正。因此,具有光子寬帶處理能力和智能學(xué)習(xí)決策能力的神經(jīng)擬態(tài)IPS對未來信息處理系統(tǒng)至關(guān)重要。
近期,研究人員逐步利用AI解決系統(tǒng)實際問題并開發(fā)用于AI計算的光學(xué)加速器。根據(jù)AI賦能的IPS、OANN和OBNN的層次劃分,本節(jié)中我們對IPS架構(gòu)設(shè)計和關(guān)鍵技術(shù)的研究進(jìn)展以及本課題組的相關(guān)研究進(jìn)行回顧。
AI賦能的IPS的典型架構(gòu)如圖2所示。不同的光子/光學(xué)系統(tǒng)可以作為前端,例如光學(xué)成像系統(tǒng)、光學(xué)通信系統(tǒng)和光學(xué)傳感系統(tǒng)等。特殊設(shè)計的ANN在經(jīng)過訓(xùn)練后可以分析和處理前端的原始輸出,從而能夠?qū)崿F(xiàn)AI賦能的IPS。
▲圖2 AI賦能的智能光子處理系統(tǒng)(IPS)的體系結(jié)構(gòu)
近年來,研究人員嘗試將AI與光學(xué)成像技術(shù)相結(jié)合[14]。AI在光學(xué)成像領(lǐng)域的應(yīng)用包括超分辨率成像[15]、端到端問題計算[16]、自動對焦[17]、光學(xué)切片[18]和降噪[19]等。在光通信和光網(wǎng)絡(luò)領(lǐng)域,AI的應(yīng)用場景涉及到性能監(jiān)視[20]、數(shù)據(jù)分析[21]、網(wǎng)絡(luò)路由[22]、失真改善[23]和調(diào)制識別[24]等。在傳感領(lǐng)域,AI通常被用來開發(fā)新穎的傳感方案[25],進(jìn)行傳感器數(shù)據(jù)處理[26]。此外,AI賦能的其他應(yīng)用還包括集成光子器件設(shè)計[27]、納米結(jié)構(gòu)設(shè)計[28]、光子電路的高度并行仿真[29]和超短脈沖重建[30]。在ANN強(qiáng)大的映射近似能力的支撐下,更多AI賦能的IPS將會不斷涌現(xiàn)。
本課題組取得的進(jìn)展包括深度學(xué)習(xí)賦能的光子模數(shù)轉(zhuǎn)換器(DLPADC)[31]和卷積神經(jīng)網(wǎng)絡(luò)(CNN)優(yōu)化的布里淵瞬時頻率測量技術(shù)(BIFM)[32]等。DL-PADC架構(gòu)示意如圖3所示,整體架構(gòu)由光子前端系統(tǒng)、電子量化模塊和深度學(xué)習(xí)數(shù)據(jù)恢復(fù)網(wǎng)絡(luò)組成。圖3的上側(cè)給出了非線性、通道失配以及用于數(shù)據(jù)恢復(fù)的深度神經(jīng)網(wǎng)絡(luò)(DNN)的示意圖[31]。實驗結(jié)果表明DL-PADC的有效比特位數(shù)性能可優(yōu)于先進(jìn)的ADC。此外,針對寬帶信號測頻需求,我們提出了一種基于CNN的BIFM優(yōu)化方法。實驗結(jié)果顯示,由CNN建立的實測瞬時頻率和理論瞬時頻率之間的映射可以有效減少由BIFM系統(tǒng)缺陷引起的誤差。
對于AI賦能的IPS,其研究難點是如何根據(jù)系統(tǒng)的特點采用適當(dāng)?shù)腁NN結(jié)構(gòu)和學(xué)習(xí)方法來設(shè)計高效的IPS架構(gòu)。目前,大部分相關(guān)工作中缺乏對所采用的ANN后端處理方法的有效評估,如在實際應(yīng)用中的實時性、訓(xùn)練成本和數(shù)據(jù)集的選取等問題。隨著前后端匹配程度的提高,AI賦能的IPS可以充分發(fā)揮光子技術(shù)的潛力并智能化地應(yīng)用于真實場景。
OANN輔助AI的IPS體系結(jié)構(gòu)如圖4(a)所示。數(shù)字電子芯片(DEC)首先將AI任務(wù)分配給OANN,經(jīng)過光學(xué)流水式計算后,OANN再將結(jié)果返還給DEC。全連接和卷積OANN是最典型的研究方向。圖4(b)展示了采用OBNN輔助AI的IPS架構(gòu)。與OANN不同,OBNN中的基本單元是神經(jīng)元和突觸,其研究多與神經(jīng)擬態(tài)光子學(xué)相關(guān)[11]。
在文獻(xiàn)[33]中,Y. C. SHEN課題組率先提出了一種由馬赫-曾德爾干涉儀(MZI)和移相器組成的級聯(lián)架構(gòu),用以實現(xiàn)矩陣乘法功能。X. LIN等提出了一種基于全光學(xué)衍射的OANN方案[34],在手寫數(shù)字識別(MNIST)的任務(wù)測試中實現(xiàn)了91.75%的識別精度。最近,R. HAMERLY等研究了基于相干檢測的可擴(kuò)展OANN,該方案可以達(dá)到吉赫茲的速率,并且能耗水平低至亞阿焦耳[35]。
▲圖3 深度學(xué)習(xí)賦能的光子模數(shù)轉(zhuǎn)換器架構(gòu)示意圖
▲圖4 OANN與OBNN輔助AI的IPS的體系結(jié)構(gòu)
除了全連接網(wǎng)絡(luò)之外,研究人員還專注于CNN的光學(xué)實現(xiàn)方法。在文獻(xiàn)[36]中,作者描述了使用微環(huán)諧振器(MRR)和WDM的數(shù)字電子和模擬光子CNN(DEAP-CNN)架構(gòu)。另外,非線性激活函數(shù)的實現(xiàn)[37]有助于開發(fā)更完整的OANN硬件架構(gòu)。而考慮到實際硬件的缺陷,有效的訓(xùn)練方法[38]則成為OANN實現(xiàn)預(yù)期功能的關(guān)鍵。
本課題組在OANN方面開展了部分研究工作,其中包括高精度光學(xué)卷積單元[39]和高能效CNN的實現(xiàn)[40]。圖5為所提出的光學(xué)卷積單元基于聲光調(diào)制器陣列架構(gòu)[39]。通過硬件重用方案,可以實現(xiàn)CNN的運(yùn)算功能。在文獻(xiàn)[40]中,我們引入了延遲線來實現(xiàn)具有低延遲和低功耗的卷積操作,如圖6所示。通過對系統(tǒng)性能進(jìn)行完善評估,這種新架構(gòu)的能效較之前提出的集成OANN架構(gòu)提升了若干倍。
▲圖5 光學(xué)卷積單元基于聲光調(diào)制器陣列架構(gòu)
▲圖6 高能效比光學(xué)卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)
對于OANN,高效、緊湊、可編程、低功耗的網(wǎng)絡(luò)架構(gòu)需要進(jìn)一步被研究。同時,其研究重點將從概念性驗證向集成化芯片轉(zhuǎn)移。針對芯片化的OANN,應(yīng)注意集成難度會隨著網(wǎng)絡(luò)規(guī)模的擴(kuò)大而增加,因此如何平衡集成難度和所需的計算能力是一個嚴(yán)峻的挑戰(zhàn)。另外,研究者還應(yīng)該關(guān)注OANN的計算生態(tài)系統(tǒng)構(gòu)建,例如開發(fā)與主流計算框架匹配的通信接口。
光子神經(jīng)元作為OBNN的關(guān)鍵組成部分,受到研究者的廣泛關(guān)注。在文獻(xiàn)[41]中,M. A. NAHMIAS等證明了具有腔內(nèi)可飽和吸收體(SA)的垂直腔面發(fā)射激光器(VCSEL)與泄漏-積分-發(fā)放(LIF)神經(jīng)元模型的行為類似。關(guān)于可興奮激光器作為光子神經(jīng)元方案的相關(guān)綜述請參考文獻(xiàn)[42]。突觸在BNN中起到了動態(tài)調(diào)控網(wǎng)絡(luò)行為的重要作用。Z. G. CHENG等利用相變材料(PCM)實現(xiàn)了一種全光光子突觸[43]。PCM的非易失性使得光子突觸不需要消耗靜態(tài)能量。進(jìn)一步,以脈沖時刻依賴的突觸可塑性(STDP)為代表的機(jī)制被認(rèn)為與BNN的學(xué)習(xí)行為密切相關(guān)。研究人員采用各種光學(xué)效應(yīng),如交叉增益調(diào)制、飽和吸收和非線性偏振旋轉(zhuǎn)等[44],嘗試實現(xiàn)光子STDP算法。光學(xué)脈沖神經(jīng)網(wǎng)絡(luò)的研究則致力于將神經(jīng)元、突觸等基本單元進(jìn)行組合架構(gòu)。在文獻(xiàn)[45]中,A. N.TAIT等提出了一種用于可調(diào)節(jié)光脈沖處理的“廣播-加權(quán)”系統(tǒng)架構(gòu),實現(xiàn)了光子神經(jīng)元之間的高密度互連及加權(quán)操作。近期,J. FELDMAN等還提出了一種基于PCM的全光脈沖神經(jīng)網(wǎng)絡(luò)[46],其具有超寬帶運(yùn)行的潛力。
本課題組在OBNN的研究中取得了一些進(jìn)展。我們證明了常規(guī)的分布式反饋激光二極管(DFB-LD)可用于神經(jīng)擬態(tài)信息處理,包括模式識別、單波長STDP實現(xiàn)和聲音方位角測量。此外,我們還提出了一種基于DFBLD的光子神經(jīng)擬態(tài)網(wǎng)絡(luò),用于時空模式識別[47]。如圖7所示,在STDP學(xué)習(xí)模塊的輔助下,該網(wǎng)絡(luò)可以學(xué)習(xí)目標(biāo)模式并進(jìn)行識別,且具有良好的集成潛力。
對于OBNN,各種神經(jīng)元和突觸的高密度互連是BNN的顯著特征,因此簡潔而多樣的光子神經(jīng)元和突觸將成為研究的重點。近期的研究聚焦于光子神經(jīng)元或突觸功能特性的論證,而很少關(guān)注其級聯(lián)和擴(kuò)展特性。當(dāng)前基本單元的種類遠(yuǎn)遠(yuǎn)不夠豐富,因此可用的計算性質(zhì)還很匱乏。值得注意的是,OBNN是實現(xiàn)神經(jīng)擬態(tài)IPS的重要途徑。
IPS是一個復(fù)雜的光電混合系統(tǒng),包括光學(xué)有源/無源器件和射頻驅(qū)動單元。大規(guī)模的光電子集成技術(shù)為IPS實現(xiàn)低功耗和高速率的信息處理提供了支撐。集成化的IPS擁有更加豐富的處理單元庫以及更強(qiáng)的處理能力,能夠解決更復(fù)雜的任務(wù)。
▲圖7 基于DFB-LD的時空脈沖模式識別網(wǎng)絡(luò)
按照集成器件是否使用多材料體系分類,光電集成可以分類為單片同質(zhì)集成與異質(zhì)集成。在單片同質(zhì)集成方面,A. H. ATABAKI等首次提出了基于硅基材料構(gòu)建光電集成芯片的方法[48]。J. S. FABNDINO等提出了基于磷化銦材料的微波光子濾波器的集成方法[49]。另一方面,異質(zhì)集成能夠發(fā)揮各種材料的優(yōu)勢,提升各功能器件的性能。根據(jù)是否進(jìn)行異質(zhì)材料生長,異質(zhì)集成可分為單片異質(zhì)集成與混合異質(zhì)集成[50]。WANG Z. C.等通過外延生長在硅基襯底上成功制備了可以大規(guī)模集成的單片III-V族-硅基激光器[51],在此基礎(chǔ)上,WANG Y.等制備了單片III-V族-硅基量子點激光器陣列[52]?;旌霞傻膬?yōu)勢在于避免了不同材料間的晶格失配,工藝相對簡單,但是集成度較低。N. LINDENMANN、P. O. WEIGEL、B. BEHROOZPOUR 等相繼利用光子引線鍵合技術(shù)[53]、晶圓鍵合技術(shù)[54]、硅通孔技術(shù)[55]進(jìn)行光互聯(lián)與電互聯(lián)實現(xiàn)光電混合集成。
相比于電子設(shè)備,光電集成技術(shù)為IPS 提供了更高的能量效率和處理帶寬,有效突破了目前的電學(xué)瓶頸。對于單片同質(zhì)集成,較為成熟的材料體系為硅基材料和磷化銦材料。其中,硅基材料難以集成光源等有源器件,磷化銦材料成本較高,難以大規(guī)模集成?;旌袭愘|(zhì)集成主要面臨的是實現(xiàn)高效光耦合與電路-光路接口的封裝問題和由驅(qū)動電路帶來的散熱問題。單片異質(zhì)集成是實現(xiàn)光電一體的大規(guī)模集成的關(guān)鍵技術(shù)途徑,其避免了混合集成帶來的封裝問題;但單片異質(zhì)集成目前有3個問題:多材料的兼容問題、由集成度提高帶來的光路-電路的檢測問題,以及芯片的散熱問題。近年來,隨著光電集成技術(shù)不斷發(fā)展與探索,具有代表性的相關(guān)進(jìn)展如表1所示??梢哉f,大規(guī)模光電集成技術(shù)的不斷成熟,點亮了IPS的未來發(fā)展之路。
文章中,我們首先介紹了開發(fā)IPS的必要性,隨后闡述了IPS概念的不同架構(gòu),即AI賦能的IPS、光子輔助AI的IPS和神經(jīng)擬態(tài)的IPS,并指出其在不同層次中的潛在優(yōu)勢。此外,我們回顧了IPS架構(gòu)設(shè)計和關(guān)鍵技術(shù)的研究進(jìn)展,最后對IPS未來的發(fā)展前景進(jìn)行了展望。我們希望在研究人員的努力下,IPS能夠不斷成熟,在未來智能化場景中發(fā)揮重要作用。下一步,研究人員還應(yīng)關(guān)注BNN的拓?fù)浣Y(jié)構(gòu)、學(xué)習(xí)方案和進(jìn)化機(jī)制等內(nèi)容,作為實現(xiàn)神經(jīng)擬態(tài)IPS的重要參考。
表1 大規(guī)?;旌霞杉夹g(shù)的相關(guān)進(jìn)展
致謝
本文的部分研究成果和內(nèi)容撰寫得到了鄒秀婷博士研究生和王靜博士的幫助,謹(jǐn)致謝意!