一種嵌入鐵電晶體管內(nèi)容尋址存儲(chǔ)器的高能效浮點(diǎn)運(yùn)算結(jié)構(gòu)

張 力 高 迪 陳 爍 盧旭東 龐展曦陳闖濤 尹勛釗 卓 成*②

①(浙江大學(xué)信息與電子工程學(xué)院 杭州 310007)

②(浙江大學(xué)國(guó)際聯(lián)創(chuàng)中心 海寧 314400)

1 引言

隨著大數(shù)據(jù)時(shí)代的到來，計(jì)算系統(tǒng)中的數(shù)據(jù)搬移問題成為熱門話題，馮·諾依曼架構(gòu)下的計(jì)算和存儲(chǔ)分離，成為制約系統(tǒng)能效的一大瓶頸[1]。將數(shù)據(jù)從動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(Dynamic Random Access Memory， DRAM)、Flash之類的存儲(chǔ)器搬移出來造成的能耗和延遲，與數(shù)據(jù)在浮點(diǎn)運(yùn)算單元(Floating Point Unit， FPU)中運(yùn)算的能耗和延遲相比，要高出3個(gè)數(shù)量級(jí)以上，這就是所謂的“內(nèi)存墻”問題[2]?？紤]到數(shù)據(jù)密集型應(yīng)用的日益增多，研究者在不斷地尋找各種方法來緩解甚至消除“內(nèi)存墻”瓶頸。

在這些研究中，三元內(nèi)容尋址存儲(chǔ)器(Ternary Content Addressable Memory， TCAM)受到了很大的關(guān)注，它的工作原理是將輸入與多個(gè)存儲(chǔ)單元的內(nèi)容并行地進(jìn)行比較，然后返回匹配到的數(shù)據(jù)地址[2]。TCAM作為一種特殊的內(nèi)存計(jì)算形式，可以預(yù)先存儲(chǔ)使用較頻繁的數(shù)據(jù)和對(duì)應(yīng)的計(jì)算結(jié)果，從而減少實(shí)際運(yùn)算執(zhí)行的次數(shù)，達(dá)到節(jié)約能耗的目的。由于其高并行性和在內(nèi)存中進(jìn)行計(jì)算的特性，它被認(rèn)為是數(shù)據(jù)密集型應(yīng)用的一種高效解決方案[1，2]。然而，仍然存在兩個(gè)關(guān)鍵的挑戰(zhàn)，阻礙了TCAM在實(shí)際應(yīng)用中的進(jìn)一步推廣[2，3]：(1)如何在普通的FPU中部署TCAM，在不產(chǎn)生額外成本的條件下，充分地利用TCAM的優(yōu)勢(shì)？(2)如何解決傳統(tǒng)的基于互補(bǔ)金屬氧化物半導(dǎo)體(Complementary Metal Oxide Semiconductor， CMOS)靜態(tài)隨機(jī)存儲(chǔ)器(Static Random-Access Memory， SRAM)的TCAM不菲的能量和面積消耗？

為了解決CMOS SRAM的高消耗問題，研究者提出了使用新型的非易失性存儲(chǔ)器，如可變電阻型隨機(jī)存儲(chǔ)器(Resistive Random Access Memory，ReRAM)[3]，來實(shí)現(xiàn)TCAM的方案。例如文獻(xiàn)[3—5]研究了各種ReRAM TCAM結(jié)構(gòu)以及它們用于FPU計(jì)算的使用方案。雖然這些設(shè)計(jì)相比傳統(tǒng)CMOS SRAM提高了一定的內(nèi)存密度，但它們?nèi)匀皇芟抻谄骷腞ON/ROFF，搜索和寫入功耗較高[3，6，7]。鐵電場(chǎng)效應(yīng)晶體管(Ferroelectric Field Effect Transistor， FeFET)是另一個(gè)比較有前景的非易失性存儲(chǔ)器TCAM設(shè)計(jì)方向，它具有更低的能耗、延遲和面積[6—9]。文獻(xiàn)[6]提出了一種基于4T-2FeFET單元的TCAM，獲得了比之前其它非易失性存儲(chǔ)器和CMOS存儲(chǔ)器都高的能效。然而，由于使用了4個(gè)CMOS晶體管，該TCAM面積仍然較大。文獻(xiàn)[7]提出了一種2FeFET設(shè)計(jì)來提高密度，但只提供了功能驗(yàn)證，沒有物理細(xì)節(jié)，導(dǎo)致得出了過于樂觀的結(jié)論。此外，之前的工作都沒有完全涵蓋上述TCAM在FPU中使用的兩個(gè)問題，因此需要一個(gè)全面的設(shè)計(jì)方案，通過FeFET TCAM實(shí)現(xiàn)高效節(jié)能的FPU計(jì)算。

本文提出一種新的2FeFET TCAM緊湊實(shí)現(xiàn)設(shè)計(jì)，并深入研究了其特性，從而解決上述能量和面積消耗問題；然后設(shè)計(jì)了一種嵌入了本TCAM的低功耗浮點(diǎn)運(yùn)算結(jié)構(gòu)。本方案的貢獻(xiàn)包括：(1)提出一個(gè)集成了FPU和TCAM的高能效浮點(diǎn)運(yùn)算結(jié)構(gòu)，并設(shè)計(jì)一個(gè)支持通用GPU應(yīng)用并顯著降低能耗的執(zhí)行流程；(2)設(shè)計(jì)一個(gè)超緊湊型2FeFET TCAM單元，以避免不必要的寄生效應(yīng)和面積消耗，與16T CMOS TCAM單元[10]相比，最終實(shí)現(xiàn)了7.7倍的內(nèi)存密度提升；(3)基于物理版圖和多電壓域Preisach模型[11]，本文提出2FeFET TCAM的低能耗、低延遲設(shè)計(jì)指南。實(shí)驗(yàn)結(jié)果表明，本文提出的計(jì)算結(jié)構(gòu)用于數(shù)據(jù)密集型應(yīng)用是非常有前景的，與常規(guī)FPU相比，可節(jié)省高達(dá)33%的能耗。

2 背景

鐵電材料氧化鉻(HfO2)的最新發(fā)展吸引了越來越多的人關(guān)注FeFET器件，以及使用FeFET設(shè)計(jì)CMOS兼容的非易失性應(yīng)用[7—11]。FeFET晶體管的典型特征是在金屬-氧化物半導(dǎo)體場(chǎng)效應(yīng)晶體管(Metal-Oxide-Semiconductor Field-Effect Transistor，MOSFET)的柵極上疊加一層鐵電層，如圖1(a)所示，由于鐵電材料的極化可以長(zhǎng)時(shí)間保留，使Fe-FET具有磁滯現(xiàn)象。由于底層MOSFET的固有增益[11，12]，F(xiàn)eFET的開關(guān)電流比(ION/IOFF)可以高達(dá)106。又由于其三端結(jié)構(gòu)和與CMOS兼容，F(xiàn)eFET可用于設(shè)計(jì)具有獨(dú)立讀取路徑的緊湊型TCAM，從而顯著降低寫入能耗。

圖1 FeFET的器件結(jié)構(gòu)和I-V特征曲線

FeFET通常涉及多電壓域切換，具有非飽和磁滯環(huán)、遲滯效應(yīng)和極化開關(guān)動(dòng)態(tài)特性，文獻(xiàn)[11]提出了一種經(jīng)過實(shí)驗(yàn)驗(yàn)證的多電壓域Preisach模型，以精確描述如圖1(b)所示的FeFET的I-V特性。本文將采用Preisach模型來描述TCAM的各種現(xiàn)象。

3 計(jì)算結(jié)構(gòu)

圖2展示了嵌入FeFET TCAM的浮點(diǎn)運(yùn)算結(jié)構(gòu)及其具體操作方案。為保證FeFET TCAM的高效集成并充分發(fā)揮其能耗優(yōu)勢(shì)，本文設(shè)計(jì)了如圖2(a)所示的操作執(zhí)行流程，該流程分為兩個(gè)階段：(1)計(jì)算樣本分析；(2) FPU計(jì)算和TCAM搜索。在計(jì)算樣本分析階段，首先要統(tǒng)計(jì)得到出現(xiàn)頻率最多的一組操作數(shù)，可以使用GEM5， GPGPU-Sim等微架構(gòu)模擬器來進(jìn)行仿真統(tǒng)計(jì)，統(tǒng)計(jì)時(shí)運(yùn)行多個(gè)不同的測(cè)試腳本以確保較高的覆蓋率[13]，這樣就得到了一個(gè)包含高頻操作數(shù)和相應(yīng)輸出結(jié)果的統(tǒng)計(jì)列表。然后設(shè)定一個(gè)閾值來選擇哪些操作數(shù)和結(jié)果要存儲(chǔ)在FeFET TCAM中，這取決于TCAM容量和用戶的定義。最后將選好的操作數(shù)和結(jié)果存放在FeFET TCAM陣列中以供計(jì)算過程中的搜索使用。

圖2(b)和圖2(c)展示了嵌入了TCAM的高能效浮點(diǎn)運(yùn)算結(jié)構(gòu)及其工作流程，當(dāng)系統(tǒng)開始執(zhí)行浮點(diǎn)數(shù)運(yùn)算操作時(shí)，輸入操作數(shù)被同時(shí)傳送給FPU電路和FeFET TCAM。如果在FeFET TCAM陣列中找到匹配的操作數(shù)，那么在FeFET TCAM中預(yù)先存儲(chǔ)的相應(yīng)結(jié)果將被讀出，同時(shí)產(chǎn)生一個(gè)數(shù)據(jù)選擇器(MUltipleXer， MUX)的選擇信號(hào)和一個(gè)disable信號(hào)。disable信號(hào)被發(fā)送到FPU的門控時(shí)鐘，將FPU對(duì)該組操作數(shù)的計(jì)算中止掉。MUX選擇信號(hào)選擇FeFET TCAM的輸出作為有效輸出，屏蔽掉FPU的輸出。另外，如果FeFET TCAM中沒有匹配的操作數(shù)，F(xiàn)PU將正常執(zhí)行，并將其結(jié)果作為輸出提供給MUX。由于FeFET TCAM搜索流程的緊湊性，TCAM的搜索比FPU計(jì)算快得多，因?yàn)槌Ｒ奆PU的計(jì)算通常有幾個(gè)周期的延遲(例如Radeon hd7000系列顯卡中的FPU計(jì)算需要6個(gè)周期)，所以當(dāng)搜索TCAM操作數(shù)匹配時(shí)，是可以很快中止FPU計(jì)算、從而節(jié)省不必要的多階段運(yùn)算以及相應(yīng)的能耗。由于不匹配通常發(fā)生在不常見的數(shù)據(jù)樣本中，所以發(fā)生的概率較低，因此該設(shè)計(jì)總體上可以顯著地降低能耗和計(jì)算時(shí)間。此外，由于FPU計(jì)算和TCAM搜索是并行執(zhí)行的，這樣的結(jié)構(gòu)不需要對(duì)FPU進(jìn)行額外的修改，從而使FeFET TCAM更易于集成。下一節(jié)將討論FeFET TCAM設(shè)計(jì)的細(xì)節(jié)、運(yùn)作及設(shè)計(jì)指南，來支撐本節(jié)的結(jié)構(gòu)設(shè)計(jì)。

圖2 嵌入FeFET TCAM的浮點(diǎn)運(yùn)算結(jié)構(gòu)及其操作方案

4 2FeFET TCAM設(shè)計(jì)

基于Preisach模型[11]和圖1所展示的開關(guān)特性，4 T-2 FeFET結(jié)構(gòu)[6]可以進(jìn)一步優(yōu)化成2 Fe-FET結(jié)構(gòu)。因?yàn)镕eFET可以看作一個(gè)單晶體管邏輯門，即將FeFET的柵電壓當(dāng)作輸入A， FeFET的存儲(chǔ)的值當(dāng)作輸入B，只有當(dāng)柵電壓和儲(chǔ)值都是邏輯“1”時(shí)，漏極電流ID才為開啟電流ION，其他情況下為閉合電流IOFF。換句話說，F(xiàn)eFET可以被用作一個(gè)與門，輸出電流ID的兩個(gè)狀態(tài)分別對(duì)應(yīng)邏輯“1”和“0”。

圖3(a)為2FeFET TCAM的單元電路結(jié)構(gòu)，2個(gè)FeFET平行放置，漏極連接到匹配線(Match Line， ML)，源極連接到源線(Source Line， ScL)，兩個(gè)柵極分別連接到位線(Bit Line， BL)和選擇線(Selection Line， SL)。然后將多個(gè)2FeFET TCAM單元緊湊地放置在一起，形成一個(gè)TCAM陣列。為了減少寄生效應(yīng)，圖3(b)展示了一個(gè)2×2 TCAM緊湊型陣列布局，寬度為46λ，高度為26λ。λ是該工藝下晶體管特征尺寸的1/2。其中SL和(或者BL和)共用同一根線，這根線可以是一根直線，不需要額外跨層走線，從而減少了單元中的寄生效應(yīng)。與CMOS和ReRAM中的對(duì)應(yīng)元件相比，如果根據(jù)無生產(chǎn)線芯片設(shè)計(jì)工藝渠道組織(Metal Oxide Semiconductor Implementation Service， MOSIS)的設(shè)計(jì)規(guī)則，使用45 nm工藝，2FeFET TCAM單元僅為16T CMOS TCAM[3]面積(1.12 μm2)的13%和2T2R ReRAM TCAM[10]面積(0.41 μm2)的35%。與4T-2FeFET TCAM[6]相比，該方案只消耗22%的面積。如此小的尺寸(7.7x內(nèi)存密度提升)是實(shí)現(xiàn)低能耗快速搜索的關(guān)鍵。

圖3 2FeFET TCAM單元電路和陣列版圖結(jié)構(gòu)

5 操作和設(shè)計(jì)原則

針對(duì)圖3所示的TCAM陣列版圖，圖4進(jìn)一步闡述了2FeFET TCAM單元寫入狀態(tài)的操作流程，它可以寫入“1”、“0”和“無效”3種狀態(tài)。該操作需要兩個(gè)步驟來完成寫入，以寫入邏輯“1”為例：(1)在ScL為“0”時(shí)，寫入信號(hào)Vwr施加在BL和 SL上，從而使M1的柵極為4 V的高電壓，該FeFET中鐵電層極性就被翻轉(zhuǎn)，S管就被寫入一個(gè)“1”的狀態(tài)；(2)將Vwr施加到ScL，兩個(gè)FeFET的柵電壓保持不變，M2的VGS此時(shí)為—4 V，就給寫入了狀態(tài)“0”。這兩個(gè)FeFET的狀態(tài)聯(lián)合起來就表示了這個(gè)存儲(chǔ)單元為邏輯“1”。以此類推，翻轉(zhuǎn)Vwr的電平即可給這個(gè)單元寫入“0”。當(dāng)寫入兩個(gè)“0”狀態(tài)到這兩個(gè)FeFET中時(shí)，該單元就表示“無效”。這就是TCAM單元的存儲(chǔ)實(shí)現(xiàn)邏輯。

圖4 FeFET TCAM單元的寫入方法

搜索操作流程如圖5(a)所示，與寫入相似，也需要兩個(gè)階段：(1)預(yù)充電階段，ML預(yù)充到高電平；(2)輸入數(shù)據(jù)階段，根據(jù)輸入數(shù)據(jù)將Vsearch設(shè)置為圖5中TCAM的SL和的狀態(tài)，即邏輯‘1’設(shè)置為1 V，邏輯‘0’設(shè)置為0 V。如果存儲(chǔ)的數(shù)據(jù)匹配了，這個(gè)單元的2個(gè)FeFET都會(huì)被關(guān)閉，ML停留在高電位。否則，其中1個(gè)或兩個(gè)FeFET將被打開，ML線被拉低。圖5(b)給出了搜索過程中匹配和失配兩種情況的SPICE仿真波形。

圖5 FeFET TCAM的搜索操作流程與仿真波形

注意，上面的仿真電路不僅包含到2FeFET TCAM陣列，而且還包含了寫入/搜索緩沖區(qū)、字線驅(qū)動(dòng)電路、輸出檢測(cè)放大器(Sense Amplifier，SA)、時(shí)鐘和編碼器等電路結(jié)構(gòu)。為了進(jìn)一步縮小陣列的時(shí)延和功耗，本文有以下設(shè)計(jì)準(zhǔn)則：(1)寫入時(shí)，將ML保持在低電平，以減少漏電流；(2)在陣列中，ML和ScL位置平行，BL和SL相互垂直。這樣的走線不僅使寫入和搜索緩沖區(qū)的連接更簡(jiǎn)單，而且還使它們到SA和編碼器的走線為一條直線，從而使FPU到MUX的走線有更大的空間；(3)對(duì)于陣列中未選中的行，可以將對(duì)應(yīng)的ScL設(shè)置為Vwr/2，從而避免不必要的寫入干擾。

6 驗(yàn)證實(shí)驗(yàn)與測(cè)試結(jié)果

本節(jié)將從兩個(gè)層面論證該設(shè)計(jì)結(jié)構(gòu)的優(yōu)點(diǎn)：(1)不同類型、不同尺寸的TCAM陣列的能耗分析；(2)多種GPU腳本測(cè)試的實(shí)際性能表現(xiàn)。

本文使用Spectre仿真器分別對(duì)2FeFET TCAM， 16T CMOS[3]， 2 T2R ReRAM TCAM[8]和4T 2FeFET[6]實(shí)現(xiàn)的64×64 TCAM陣列進(jìn)行了仿真分析，得到了表1所示的性能對(duì)比。FeFET TCAM采用45 nm工藝，按如圖3所示的版圖排列，TCAM單元和SA中的晶體管都為最小工藝尺寸。為了便于比較，16T CMOS TCAM也采用相同的45 nm PTM模型和最小晶體管尺寸。對(duì)于2T2R ReRAM，本文采用與文獻(xiàn)[3]中相同的參數(shù)，設(shè)置/復(fù)位電壓分別為1.8 V/1.2 V， HRS/LRS為2000/20 kΩ。

表1 不同TCAM實(shí)現(xiàn)方式的性能對(duì)比

可以看到，由于圖3所示超高密度的電路結(jié)構(gòu)，該2FeFET TCAM與其它TCAM相比有著顯著的能耗優(yōu)勢(shì)。ReRAM TCAM由于較高的Ron/Roff，需要有較大尺寸的晶體管來提供寫入操作的大電流，因此寫入能耗較大(～3225x)。CMOS TCAM由于晶體管數(shù)量較多，在面積和能耗方面均處于劣勢(shì)。2FeFET TCAM緊湊的物理實(shí)現(xiàn)不僅使能耗方面受益，而且還可以降低延遲，它的速度是其他TCAM的1.03～3倍。本文進(jìn)一步比較了尺寸1～64的不同大小TCAM陣列的能耗，結(jié)果如圖6所示，可以看出，本文的2FeFET TCAM能耗優(yōu)勢(shì)是會(huì)隨著陣列尺寸的增加而增大的。

圖6 不同工藝的TCAM在各種陣列尺寸下做搜索操作的能耗

最后，本文設(shè)計(jì)實(shí)驗(yàn)研究了嵌入TCAM的運(yùn)算結(jié)構(gòu)的能耗性能表現(xiàn)。使用Multi2sim仿真工具搭建測(cè)試平臺(tái)，這是一款開源CPU-GPU多核計(jì)算機(jī)架構(gòu)模擬器，允許用戶自定義運(yùn)算器功能和系統(tǒng)結(jié)構(gòu)。首先將TCAM編寫成Multi2sim支持模塊代碼，定義其功能、接口以及能耗性能參數(shù)。然后修改仿真器庫(kù)中的AMD Radeon HD 7970 GPU模型，加入TCAM模塊，與GPU自帶的FPU一起組成圖2所示的運(yùn)算結(jié)構(gòu)。切換TCAM尺寸定義和能耗參數(shù)，即可模擬不同尺寸、不同類型的TCAM。執(zhí)行測(cè)試腳本，可統(tǒng)計(jì)各種運(yùn)算操作的次數(shù)，計(jì)算出整個(gè)計(jì)算過程的能耗。本文采用Caltech 101數(shù)據(jù)集[14]中的多個(gè)數(shù)據(jù)密集型測(cè)試腳本來比較不同設(shè)計(jì)方案的能耗。在數(shù)據(jù)準(zhǔn)備階段，使用GEM5 +GPGPU-Sim仿真流程運(yùn)行/分析測(cè)試腳本，隨機(jī)選取了數(shù)據(jù)集中90%的數(shù)據(jù)用于分析，找出了最常見的一組操作數(shù)樣本[13]，然后將選擇的數(shù)據(jù)存儲(chǔ)在相應(yīng)的TCAM陣列中。然后使用剩下的10%的數(shù)據(jù)用于實(shí)際測(cè)試。經(jīng)過Multi2sim仿真器模擬GPU運(yùn)行測(cè)試腳本，得到了圖7所示的結(jié)果。這幾組結(jié)果為3種不同類型TCAM+FPU結(jié)構(gòu)、在不同測(cè)試腳本和不同陣列尺寸下的總能耗，結(jié)果數(shù)據(jù)使用文獻(xiàn)[15]中的常規(guī)FPU能耗為基準(zhǔn)進(jìn)行歸一化，圖中紅字分別為1行、32行、64行時(shí)的TCAM所存數(shù)據(jù)的命中率。如圖7所示，采用本文2FeFET TCAM結(jié)構(gòu)在各種情況下的能耗都低于其他兩種。值得注意的是，圖7的能耗變化還呈現(xiàn)出一種2次曲線的趨勢(shì)：對(duì)于較小的TCAM陣列，能耗隨著TCAM數(shù)量的增大而減小；到達(dá)一個(gè)特定的尺寸后，陣列會(huì)能耗達(dá)到最低；之后，能耗隨著陣列大小的增大而增大。這是因?yàn)楫?dāng)陣列尺寸較小時(shí)，增大陣列可以存儲(chǔ)更多的數(shù)據(jù)樣本，實(shí)現(xiàn)更高的搜索命中率，從而減少FPU的執(zhí)行次數(shù)。當(dāng)數(shù)組大小超過高頻樣本的數(shù)量后，增大的數(shù)組大小對(duì)減少FPU執(zhí)行的貢獻(xiàn)不大，反而更大的數(shù)組在緩沖、寫入和搜索方面消耗的能量更多。平均而言，在32行陣列的情況下，采用2FeFET TCAM的FPU結(jié)構(gòu)在6種測(cè)試腳本下平均可以節(jié)省33%的能耗，而基于CMOS和基于ReRAM的對(duì)應(yīng)結(jié)構(gòu)的平均能耗節(jié)約分別為22%和13%。

圖7 多個(gè)腳本測(cè)試不同TCAM實(shí)現(xiàn)的浮點(diǎn)運(yùn)算結(jié)構(gòu)的能耗

7 結(jié)論

本文介紹了一種嵌入新型FeFET TCAM的高效能浮點(diǎn)計(jì)算結(jié)構(gòu)，本結(jié)構(gòu)中的TCAM僅用2個(gè)Fe-FET實(shí)現(xiàn)，從而獲得了非常高的集成密度。然后使用該FeFET TCAM設(shè)計(jì)了TCAM+FPU的計(jì)算結(jié)構(gòu)，通過預(yù)存儲(chǔ)高頻計(jì)算數(shù)據(jù)來減少FPU的執(zhí)行次數(shù)，從而節(jié)省計(jì)算能耗。實(shí)驗(yàn)表明，在不同的測(cè)試腳本下，本文提出的結(jié)構(gòu)平均可以節(jié)省33%的能耗。