基于憶阻器的細(xì)胞神經(jīng)網(wǎng)絡(luò)及在圖像處理中的應(yīng)用①

吳潔寧， 閆登衛(wèi)，王麗丹， 段書凱

1.復(fù)旦大學(xué) 信息科學(xué)與工程學(xué)院， 上海 200433； 2.西南大學(xué) 人工智能學(xué)院， 重慶 400715

憶阻器是Chua等[1-2]提出的一種新型兩端元件， 考慮到電路變量之間的對稱性， 憶阻器的狀態(tài)變量可以通過電荷和磁通之間的關(guān)系來表征． 此后， 惠普實(shí)驗(yàn)室Strukov等[3]在納米結(jié)構(gòu)中觀察到了憶阻效應(yīng)， 表明納米級(jí)兩端元件表現(xiàn)為憶阻器是可能的． 這個(gè)重要的發(fā)現(xiàn)做出了巨大的科學(xué)貢獻(xiàn)， 人們陸續(xù)在許多其他材料中發(fā)現(xiàn)了電阻開關(guān)效應(yīng)． 近年來， 憶阻器引起了人們的廣泛關(guān)注， 有大量研究致力于憶阻器建模、 憶阻電路動(dòng)力學(xué)分析及憶阻器在實(shí)現(xiàn)類腦神經(jīng)計(jì)算機(jī)上的應(yīng)用等[4-6]．

細(xì)胞神經(jīng)網(wǎng)絡(luò)(CNN)[7]是一種實(shí)時(shí)處理信號(hào)的大規(guī)模非線性模擬電路． 與細(xì)胞自動(dòng)機(jī)(CA)[8]類似的是， 細(xì)胞神經(jīng)網(wǎng)絡(luò)由大量有規(guī)律、 間隔的細(xì)胞組成， 這些細(xì)胞通過它們最近的鄰居相互通信． 在細(xì)胞神經(jīng)網(wǎng)絡(luò)中， 細(xì)胞以非線性的方式與相鄰細(xì)胞相互作用． 每個(gè)細(xì)胞單元由一個(gè)非線性壓控電流源、 一個(gè)線性電容器和幾個(gè)線性電路元件電阻組成[9]． 與人工神經(jīng)網(wǎng)絡(luò)相比， 細(xì)胞神經(jīng)網(wǎng)絡(luò)具有易于在硅片中實(shí)現(xiàn)的優(yōu)點(diǎn)[10]．

然而， 隨著細(xì)胞神經(jīng)網(wǎng)絡(luò)中細(xì)胞數(shù)量規(guī)模的增大， 例如需要利用細(xì)胞神經(jīng)網(wǎng)絡(luò)處理大尺寸的圖像時(shí)， 細(xì)胞神經(jīng)網(wǎng)絡(luò)的電路結(jié)構(gòu)會(huì)變得復(fù)雜， 這樣會(huì)給權(quán)重模板[11-12]的更新帶來不便． 因此， 在神經(jīng)形態(tài)結(jié)構(gòu)和神經(jīng)網(wǎng)絡(luò)中， 利用納米技術(shù)的憶阻器可以被用于實(shí)現(xiàn)突觸連接， 以減少面積消耗和功耗[13-14]． 由于憶阻器具有天然的記憶特性， 因此憶阻細(xì)胞神經(jīng)網(wǎng)絡(luò)的信息處理能力可以進(jìn)一步提高[15-16]． Itoh等[17]利用非線性無源憶阻器設(shè)計(jì)了一個(gè)細(xì)胞自動(dòng)機(jī)和一個(gè)離散時(shí)間細(xì)胞神經(jīng)網(wǎng)絡(luò)． Kim等[18]利用基于憶阻器的突觸構(gòu)建了細(xì)胞神經(jīng)網(wǎng)絡(luò)的電路結(jié)構(gòu)． 在文獻(xiàn)[14]和文獻(xiàn)[19]中， CNN細(xì)胞中的電阻被替換為憶阻器． 因此， CNN和憶阻器[5，20]在多個(gè)領(lǐng)域都可以被認(rèn)為是非常有效的工具．

憶阻神經(jīng)網(wǎng)絡(luò)的優(yōu)勢如下： ①將納米級(jí)尺寸的憶阻器作為人工神經(jīng)突觸， 使得突觸的高密度連接成為可能， 增加了人工神經(jīng)網(wǎng)絡(luò)的連接數(shù)量； ②憶阻器的阻值與流經(jīng)其的磁通或電荷有關(guān)， 擁有自然的信息記憶功能， 因此它作為突觸具備學(xué)習(xí)及存儲(chǔ)的功能； ③憶阻器的掉電不丟失性可以降低功耗； ④大多數(shù)制作憶阻器的材料都和互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)工藝相兼容， 可緊密結(jié)合憶阻器與傳統(tǒng)電路， 從而有望構(gòu)成憶阻神經(jīng)網(wǎng)絡(luò)高密度集成電路的結(jié)構(gòu)． 本文綜合前人的研究成果， 構(gòu)造了新的憶阻細(xì)胞神經(jīng)網(wǎng)絡(luò)， 用其代替?zhèn)鹘y(tǒng)細(xì)胞神經(jīng)網(wǎng)絡(luò)電路中相應(yīng)的線性電阻， 并構(gòu)建出新型憶阻橋突觸電路． 該模型除了具有傳統(tǒng)突觸橋電路的優(yōu)點(diǎn)外， 同時(shí)還簡化了電路結(jié)構(gòu)， 可不經(jīng)過轉(zhuǎn)換直接輸出電壓信號(hào)， 并且和傳統(tǒng)憶阻突觸橋電路相比， 權(quán)值的更新條件更簡單． 本文利用SPICE仿真證實(shí)了該模型可以實(shí)現(xiàn)相應(yīng)權(quán)值的更新操作， 并通過實(shí)驗(yàn)驗(yàn)證了該憶阻細(xì)胞神經(jīng)網(wǎng)絡(luò)可應(yīng)用于圖像去噪及邊緣提?。?/p>

1 憶阻器的數(shù)學(xué)模型

憶阻器是電阻可調(diào)的非線性器件， 惠普憶阻器模型符合歐姆定律：

v(t)=M(t)i(t)

(1)

式(1)中M(t)為憶阻器的阻值：

(2)

(3)

式(2)、 式(3)中D為其對應(yīng)的氧化物薄膜層的總寬度，w(t)為缺氧的TiO2-X層的寬度， 0≤w(t)≤D．ROFF即是當(dāng)w(t)=0時(shí)憶阻器對應(yīng)的高阻態(tài)，RON是當(dāng)w(t)=D時(shí)對應(yīng)的低阻態(tài)．μV是氧空位的平均遷移率．

由式(1)的歐姆定律， 式(3)可表達(dá)為：

(4)

(5)

式(5)中k表示憶阻值M(t)和輸入電壓v(t)之間的函數(shù)關(guān)系． 設(shè)定憶阻器模型的參數(shù)為RON=100 Ω，ROFF=16 kΩ，D=10 nm，μV=10-14m2/sV． 當(dāng)給其施加一個(gè)正弦激勵(lì)v(t)=sin(2πt)時(shí)， 憶阻值M(t)關(guān)于時(shí)間t及電壓v(t)的變化曲線如圖1所示．

圖1 當(dāng)施加激勵(lì)v(t)=sin(2πt)時(shí)， 憶阻值的關(guān)系軌跡

2 憶阻細(xì)胞神經(jīng)網(wǎng)絡(luò)

本文探討二維M×N的憶阻細(xì)胞神經(jīng)網(wǎng)絡(luò)， 即總共有M行、N列． 細(xì)胞神經(jīng)網(wǎng)絡(luò)的基本單元稱為細(xì)胞， 記第i行、j列的細(xì)胞為C(i，j)． 其中每個(gè)細(xì)胞都同其相鄰的細(xì)胞相關(guān)連， 且彼此之間存在直接影響． 設(shè)作用范圍是r， 則一個(gè)細(xì)胞擁有一個(gè)(2r+1)×(2r+1)鄰域矩陣． 本文討論r=1的情況．

本文提出的憶阻細(xì)胞神經(jīng)網(wǎng)絡(luò)基本電路單元的原理圖如圖2所示， 它包含一個(gè)憶阻器、 一個(gè)電容、 一個(gè)獨(dú)立電壓激勵(lì)、 一個(gè)電流激勵(lì)及不超過2n個(gè)的受控電流源．n表示相鄰細(xì)胞的個(gè)數(shù)． 這里u，x，y分別代表輸入、 狀態(tài)、 輸出． 與傳統(tǒng)的細(xì)胞神經(jīng)網(wǎng)絡(luò)類似， 每一個(gè)細(xì)胞的電路單元都含有相同的電路結(jié)構(gòu)和參數(shù)[7]． 在r=1對應(yīng)的細(xì)胞神經(jīng)網(wǎng)絡(luò)， 各個(gè)細(xì)胞C(i，j)都能接收到來自8個(gè)鄰域的輸入信號(hào)， 同時(shí)每個(gè)細(xì)胞C(i，j)也要提供8個(gè)輸出細(xì)胞給相應(yīng)的8個(gè)鄰域細(xì)胞． 值得注意的是， 各個(gè)細(xì)胞的總輸入信號(hào)不僅來自其各個(gè)鄰域細(xì)胞的輸入信號(hào)， 還來自其自身的輸出反饋信號(hào)及獨(dú)立電流源． 所以， 一個(gè)細(xì)胞本身也包含于自己的鄰域細(xì)胞中[7]．

圖2 憶阻細(xì)胞神經(jīng)網(wǎng)絡(luò)的基本電路單元

根據(jù)基爾霍夫電流定律(KCL)和基爾霍夫電壓定律(KVL)， 可得到單個(gè)憶阻細(xì)胞的狀態(tài)方程為：

(6)

式(6)中C(k，l)∈Nr(i，j)， 表示(2r+1)2個(gè)相鄰的細(xì)胞， 即C(i，j)細(xì)胞及所有鄰域細(xì)胞． 這里r的值為1．vxij表示C(i，j)的狀態(tài)電壓，vukl及vykl(t)表示C(k，l)的輸入及輸出反饋電壓．Ixu(ij，kl)和Ixy(ij，kl)都是線性電壓控制電流源， 并滿足Ixy(ij，kl)=Aij， klvykl(t)，Ixu(ij，kl)=Bij， klvukl．M(t)是憶阻值， 它取決于兩端輸入電壓．

一個(gè)細(xì)胞C(i，j)的狀態(tài)取決于一個(gè)獨(dú)立電流源I， 一個(gè)獨(dú)立電壓源vuij， 其本身的狀態(tài)vxij、 輸出反饋及輸入控制． 輸出反饋依賴于3×3的反饋模板Aij， kl， 而輸入控制依賴于3×3的控制模板Bij， kl， 這兩個(gè)模板共同決定了鄰域細(xì)胞之間相互連接的權(quán)值． 權(quán)值的設(shè)定和運(yùn)算可由憶阻橋電路實(shí)現(xiàn)．

3 憶阻橋突觸電路的實(shí)現(xiàn)

在細(xì)胞神經(jīng)網(wǎng)絡(luò)對應(yīng)的信號(hào)和圖像處理應(yīng)用中， 模板有舉足輕重的影響． 當(dāng)細(xì)胞神經(jīng)網(wǎng)絡(luò)起不一樣的作用時(shí)， 其模板也應(yīng)有相應(yīng)的更新． 在傳統(tǒng)的細(xì)胞神經(jīng)網(wǎng)絡(luò)電路中， 權(quán)值運(yùn)算用放大器和乘法器來實(shí)現(xiàn)， 電路一旦建立， 放大器的增益固定， 不容易實(shí)現(xiàn)權(quán)值的改變．

該突觸模型主要由憶阻器和電阻構(gòu)成， 如圖3所示． 在此模型中存在兩個(gè)可變器件， 憶阻器M1與M2具有相反的極性，R1和R2為兩個(gè)電阻． 若給該電路施加正向激勵(lì)，M1和M2的阻值可以產(chǎn)生相反的改變． 利用減法器實(shí)現(xiàn)節(jié)點(diǎn)a與b之間的電勢差． 與傳統(tǒng)的憶阻橋突觸電路相比， 減法器代替了晶體管和有源負(fù)載組成的差分電路， 且不再需要電流信號(hào)與電壓信號(hào)之間進(jìn)行轉(zhuǎn)換， 簡化了對應(yīng)的突觸電路結(jié)構(gòu)． 輸出電壓v0表示為：

圖3 憶阻橋突觸電路

(7)

令R3=R4=R5=R6， 則式(7)可以表示為：

(8)

這里可以把輸入v0和輸出vin之間的關(guān)系表示成：

v0=kvin

(9)

k即為該憶阻橋突觸的權(quán)值， 根據(jù)式(8)，k可以進(jìn)一步表示為：

(10)

突觸權(quán)值k可以看作是與兩個(gè)憶阻值相關(guān)的函數(shù)． 當(dāng)M1R2>M2R1時(shí)，k大于0， 突觸權(quán)值為正； 當(dāng)M1R2

若令R1=R2， 則k可以表示為：

(11)

此時(shí)， 在突觸電路模型中， 其對應(yīng)的權(quán)值改變的表達(dá)式可看作與M1及M2相應(yīng)的方程， 即：

(12)

由式(12)可知， 與具有4個(gè)憶阻器的突觸電路模型相比， 此突觸電路進(jìn)一步簡化了權(quán)值改變條件．

本文對該憶阻橋突觸模型做了SPICE實(shí)驗(yàn)． 設(shè)R1=R2=30 kΩ， 減法器4個(gè)阻值R3=R4=R5=R6=50 kΩ， 憶阻參量RON=100 Ω，ROFF=20 kΩ，D=10 nm，μv=10-14m2/sV， 并且其對應(yīng)的初始條件M1(0)=M2(0)=10 kΩ． 設(shè)定仿真時(shí)間是10 s， 施加的激勵(lì)是周期4 s、 幅值1 V的方波電壓， 如圖4a． 圖4b顯示了憶阻橋電路中兩個(gè)憶阻值和時(shí)間的關(guān)系， 綠色實(shí)線表示憶阻值M1隨時(shí)間變化的軌跡， 紅色的虛線表示憶阻值M2隨時(shí)間變化的軌跡． 由圖4b可以看出， 仿真結(jié)果驗(yàn)證了本文提出的憶阻橋突觸電路能實(shí)現(xiàn)式(12)的結(jié)果， 即能實(shí)現(xiàn)零、 正、 負(fù)的突觸權(quán)值． 圖4c表征了式(7)對應(yīng)的憶阻橋突觸模型的權(quán)值k， 橫軸是輸入激勵(lì)， 縱軸是輸出信號(hào)．

圖4 憶阻橋突觸模型對應(yīng)的SPICE仿真

4 計(jì)算仿真

4.1 穩(wěn)定性分析

圖5為細(xì)胞C(2， 2)6組不同的初始條件， 細(xì)胞C(2， 2)相對于圖5的6組初始條件的6個(gè)瞬時(shí)狀態(tài)如圖6所示． 從圖6可以明顯看出， 雖然給細(xì)胞C(2， 2)輸入不同的初始條件， 但憶阻細(xì)胞神經(jīng)網(wǎng)絡(luò)的輸出狀態(tài)最終都可以達(dá)到穩(wěn)定狀態(tài)． 設(shè)定反饋模板、 控制模板和電流源的值分別為：

圖5 細(xì)胞C(2， 2)的6組不同的初始狀態(tài)

圖6 細(xì)胞C(2， 2)相對于圖5的6組初始條件的6個(gè)瞬時(shí)狀態(tài)

(13)

4.2 憶阻細(xì)胞神經(jīng)網(wǎng)絡(luò)在圖像處理中的應(yīng)用

在日常生活中， 輸入的圖像信息總是疊加一些噪聲干擾． 在圖像信息處理過程中， 從圖像中濾除該干擾最簡單的方法是使用平均算子． 因此， 本文選擇平均算子作為去噪神經(jīng)網(wǎng)絡(luò)對應(yīng)的動(dòng)態(tài)規(guī)則， 表示為：

(14)

另外， 令控制模板和電流為：

(15)

輸入一個(gè)加了高斯白噪聲的指紋圖片， 方差σ=0.1， 由圖7(a)可見， 最終輸出結(jié)果如圖7(f)所示． 結(jié)果表明憶阻細(xì)胞神經(jīng)網(wǎng)絡(luò)有良好的圖片去噪效果， 且比傳統(tǒng)的細(xì)胞神經(jīng)網(wǎng)絡(luò)電路結(jié)構(gòu)更簡單．

圖7 憶阻細(xì)胞神經(jīng)網(wǎng)絡(luò)用于圖像去噪

圖像邊緣囊括了圖片大量有用的訊息， 特征提取為圖像處理過程中另一個(gè)關(guān)鍵的應(yīng)用． 本文給憶阻細(xì)胞神經(jīng)網(wǎng)絡(luò)輸入一張圖片， 如圖8(a)所示， 憶阻細(xì)胞神經(jīng)網(wǎng)絡(luò)處理的結(jié)果如圖8(d)所示． 本文用的反饋模板和控制模板如式(16)所示． 由圖8可以看出， 將憶阻細(xì)胞神經(jīng)網(wǎng)絡(luò)用于圖像處理中， 可以擁有良好的邊緣選取效果．

圖8 憶阻細(xì)胞神經(jīng)網(wǎng)絡(luò)用于圖像邊緣提取

(16)

5 結(jié)語

在生命科學(xué)及信息工程中， 憶阻器作為突觸被廣泛地應(yīng)用到人工神經(jīng)網(wǎng)絡(luò)的相關(guān)研究中． 本文研究了一個(gè)新的憶阻細(xì)胞神經(jīng)網(wǎng)絡(luò)， 利用憶阻器替換傳統(tǒng)細(xì)胞神經(jīng)網(wǎng)絡(luò)電路里出現(xiàn)的線性電阻， 并通過該突觸電路用于突觸權(quán)值運(yùn)算． 本文改進(jìn)了傳統(tǒng)的憶阻橋突觸電路， 使之除了具有傳統(tǒng)的突觸橋電路的優(yōu)勢外， 還具有更加簡化的電路和簡化的權(quán)值變化條件． 因此， 本文提出的憶阻細(xì)胞神經(jīng)網(wǎng)絡(luò)可以減小電路尺寸， 提高運(yùn)算速度， 電路結(jié)構(gòu)具有更緊湊和更通用的優(yōu)點(diǎn)， 易于大規(guī)模集成電路的實(shí)現(xiàn)． 本文使用SPICE模型仿真證實(shí)了該突觸結(jié)構(gòu)可以實(shí)現(xiàn)權(quán)值運(yùn)算． 另外， 本文將憶阻細(xì)胞神經(jīng)網(wǎng)絡(luò)用于圖像處理的去噪和邊緣提取， 實(shí)驗(yàn)結(jié)果表明其在圖像處理的相關(guān)應(yīng)用上具有良好的效果， 并且此結(jié)構(gòu)有助于促進(jìn)人工神經(jīng)網(wǎng)絡(luò)進(jìn)一步的硬件實(shí)現(xiàn)．