基于Seesaw門的雙向聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)

盧曉建, 張曉康, 王 賓, 張 強(qiáng), 魏小鵬

(1.大連大學(xué) 軟件工程學(xué)院, 遼寧 大連 116622； 2.大連理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 遼寧 大連 116024)

DNA計(jì)算是用DNA分子求解復(fù)雜問題的新型計(jì)算方法，具有超強(qiáng)的并行處理能力及可編程性[1-2].1994年Adleman[3]首次利用DNA堿基互補(bǔ)配對原則建立了一個(gè)DNA計(jì)算模型，并利用該模型成功求解了七點(diǎn)旅行商問題.這是第一次利用DNA進(jìn)行特定目的的計(jì)算，但當(dāng)時(shí)技術(shù)水平有限，計(jì)算結(jié)果往往需要幾十個(gè)小時(shí)來讀取，而且合成DNA的成本非常高.盡管當(dāng)時(shí)條件受限，DNA計(jì)算仍引起越來越多學(xué)者的興趣，同時(shí)越來越多的學(xué)者投入到DNA計(jì)算的領(lǐng)域之中.各種所謂的DNA計(jì)算器等器件被構(gòu)建出來[4]，但這些計(jì)算器只是一種特異性的器件，不具備太多的通用性.20世紀(jì)初左右，DNA計(jì)算逐漸成型，進(jìn)入發(fā)展階段，學(xué)者開始利用DNA構(gòu)建基礎(chǔ)的邏輯門，并將不同級(jí)邏輯門級(jí)聯(lián)構(gòu)建復(fù)雜的邏輯電路[5]，最終實(shí)現(xiàn)較為通用的DNA計(jì)算.但在這個(gè)階段，學(xué)者們面臨很多棘手的問題,例如，DNA反應(yīng)形成的產(chǎn)物穩(wěn)定，很難進(jìn)行信號(hào)的傳遞；邏輯門是否能建立成功；邏輯門運(yùn)行結(jié)果如何檢測等.為了解決這些問題，人們利用各種金屬離子、酶等非DNA物質(zhì)對邏輯門進(jìn)行處理[6]，但效果都不是很好，沒能從根本上解決這些問題.自2006年以來，DNA計(jì)算走向通用化計(jì)算階段.2006年，Seelig等[7]提出“立足點(diǎn)介導(dǎo)-鏈置換”的反應(yīng)體系，這種反應(yīng)體系不僅會(huì)輸出雙鏈結(jié)構(gòu)，還能輸出一條單鏈用于信號(hào)傳遞.利用這種DNA鏈置換技術(shù)構(gòu)建的AND邏輯系統(tǒng)以及更加復(fù)雜的邏輯門電路，成功地將立足點(diǎn)、分支遷移和鏈置換理論結(jié)合在一起，為構(gòu)建模擬或混合電路提供了技術(shù)性支持.DNA鏈置換作為一種動(dòng)態(tài)DNA納米技術(shù)，可以實(shí)現(xiàn)生化反應(yīng)的級(jí)聯(lián)以及納米尺度的運(yùn)動(dòng)或能量轉(zhuǎn)換，基于此，學(xué)者們對DNA鏈置換的研究也越來越多.DNA鏈置換技術(shù)被廣泛應(yīng)用于生化邏輯電路[8]、生物醫(yī)療[9]和DNA納米機(jī)器人[10]等多個(gè)領(lǐng)域.2011年Qian等[11]利用DNA鏈置換建立了集成門、扇出門和閾值門等多種Seesaw門，并延伸出各種復(fù)雜的DNA生化系統(tǒng)[12-13].DNA計(jì)算發(fā)展至今已經(jīng)取得了很多突破性的進(jìn)展，大大促進(jìn)了生物計(jì)算的發(fā)展與應(yīng)用，是人類不可多得的寶貴財(cái)富.

人工神經(jīng)網(wǎng)絡(luò)是模擬大腦神經(jīng)元構(gòu)建的某種簡化模型，具有聯(lián)想存儲(chǔ)、自學(xué)習(xí)、高速尋找優(yōu)化解等很多優(yōu)點(diǎn).到目前為止，已經(jīng)提出上百種人工神經(jīng)網(wǎng)絡(luò)模型，在自動(dòng)控制、信號(hào)處理、模式識(shí)別、故障檢測、醫(yī)學(xué)和經(jīng)濟(jì)等領(lǐng)域展現(xiàn)出強(qiáng)大的適用性，并成功解決了許多實(shí)際生活中的難題[14]，具有廣闊的發(fā)展前景.目前，關(guān)于DNA計(jì)算的研究已經(jīng)涉及許多方面，其中將DNA計(jì)算與人工神經(jīng)網(wǎng)絡(luò)相結(jié)合，實(shí)現(xiàn)DNA分子的“智能”計(jì)算是一個(gè)重要研究方向.2011年Winfree研究組以DNA鏈置換為基礎(chǔ)，用112種不同的DNA鏈級(jí)聯(lián)組成含有4個(gè)完全連接神經(jīng)元的霍普菲爾德神經(jīng)網(wǎng)絡(luò)，可以通過生化反應(yīng)實(shí)現(xiàn)“猜心術(shù)”的游戲[15].這是第一次用DNA分子在試管中構(gòu)造出人工神經(jīng)網(wǎng)絡(luò)，為DNA計(jì)算的發(fā)展提供了新的研究思路.然而霍普菲爾德神經(jīng)網(wǎng)絡(luò)在實(shí)現(xiàn)“猜心術(shù)”游戲時(shí)，網(wǎng)絡(luò)規(guī)模較大.之后，Genot等[16]利用DNA分子搭建了一個(gè)競爭神經(jīng)網(wǎng)絡(luò)，可以實(shí)現(xiàn)類似霍普菲爾德神經(jīng)網(wǎng)絡(luò)的功能,即用較少的DNA鏈實(shí)現(xiàn)了“猜心術(shù)”游戲.2018年，Cherry等[17]用Seesaw門搭建了winner-take-all神經(jīng)網(wǎng)絡(luò)，該神經(jīng)網(wǎng)絡(luò)可以解決一個(gè)經(jīng)典的機(jī)器學(xué)習(xí)問題：識(shí)別手寫數(shù)字.這標(biāo)志著DNA計(jì)算在通往人工智能的道路上邁出了重要一步.上述神經(jīng)網(wǎng)絡(luò)只是用DNA生化反應(yīng)實(shí)現(xiàn)了神經(jīng)網(wǎng)絡(luò)的工作過程，其學(xué)習(xí)訓(xùn)練過程是由電子計(jì)算機(jī)完成的，并非一個(gè)完整的人工神經(jīng)網(wǎng)絡(luò).所以，現(xiàn)在也有很多學(xué)者嘗試用DNA分子實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)權(quán)值的動(dòng)態(tài)調(diào)整，即開發(fā)適應(yīng)動(dòng)態(tài)環(huán)境的DNA生化系統(tǒng)[18-19].

DNA分子神經(jīng)網(wǎng)絡(luò)是DNA計(jì)算與人工智能的結(jié)合體，既有DNA計(jì)算強(qiáng)大的并行處理能力，也有人工智能的“推理思考”能力，所以利用DNA分子搭建各種神經(jīng)網(wǎng)絡(luò)是實(shí)現(xiàn)智能DNA生物計(jì)算機(jī)的一項(xiàng)重要工作.這種具有人工智能的DNA生化系統(tǒng)可以在化學(xué)檢測、醫(yī)療診斷等領(lǐng)域發(fā)揮不可估量的作用.在未來，或許也可以創(chuàng)造出完全有機(jī)的人體機(jī)器人.本文旨在將DNA鏈置換技術(shù)與雙向聯(lián)想記憶(BAM)神經(jīng)網(wǎng)絡(luò)[20]結(jié)合起來，利用Seesaw門搭建雙向聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)，從而在納米尺度上實(shí)現(xiàn)雙向聯(lián)想記憶功能，展現(xiàn)DNA分子的“自主聯(lián)想記憶”能力.在本文中，每個(gè)神經(jīng)元由兩個(gè)不同Seesaw門級(jí)聯(lián)組成，然后不同的神經(jīng)元繼續(xù)級(jí)聯(lián)組成完整的神經(jīng)網(wǎng)絡(luò).對于訓(xùn)練完成的BAM神經(jīng)網(wǎng)絡(luò)，如果給予足夠的信息，經(jīng)過DNA生化反應(yīng)可以準(zhǔn)確地聯(lián)想到其他相關(guān)信息.本文用Seesaw門構(gòu)建了兩個(gè)BAM神經(jīng)網(wǎng)絡(luò).第一個(gè)是根據(jù)三原色的加減色原理搭建了一個(gè)含有6神經(jīng)元的BAM神經(jīng)網(wǎng)絡(luò).第二個(gè)BAM神經(jīng)網(wǎng)絡(luò)含有18個(gè)神經(jīng)元，該網(wǎng)絡(luò)可以在3*3節(jié)點(diǎn)中實(shí)現(xiàn)簡單的字符聯(lián)想記憶.

1 相關(guān)概念及仿真實(shí)驗(yàn)方法

1.1 相關(guān)概念

神經(jīng)網(wǎng)絡(luò)的一個(gè)重要分支是聯(lián)想記憶網(wǎng)絡(luò)，BAM神經(jīng)網(wǎng)絡(luò)是應(yīng)用較為廣泛的一種聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)模型，它的最大特點(diǎn)是可以實(shí)現(xiàn)雙向異聯(lián)想.該網(wǎng)絡(luò)是一種雙層雙向的神經(jīng)網(wǎng)絡(luò)，有離散型、連續(xù)型和自適應(yīng)型等多種形式.本文采用的是離散型BAM神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)兩層的狀態(tài)向量可取單極性二進(jìn)制1或0，也可以取雙極性離散值1或-1.BAM神經(jīng)網(wǎng)絡(luò)的信息傳播是雙向的，沒有明確的輸入層或輸出層，通過從動(dòng)態(tài)到穩(wěn)態(tài)的過程來實(shí)現(xiàn)雙向聯(lián)想功能.當(dāng)向其中一層加入輸入信號(hào)時(shí)，另一層可以得到輸出信號(hào).將其中的一層稱為X層，另一層稱為Y層.X層到Y(jié)層的權(quán)值矩陣與Y層到X層的權(quán)值矩陣互為轉(zhuǎn)置矩陣.對已建立權(quán)值矩陣的BAM神經(jīng)網(wǎng)絡(luò)，在X層輸入樣本XP后,經(jīng)過雙向往返過程，一直進(jìn)行到兩層神經(jīng)元的狀態(tài)均不再發(fā)生變化為止，此時(shí)的網(wǎng)絡(luò)狀態(tài)稱為穩(wěn)態(tài)，對應(yīng)的Y層輸出向量YP便是模式XP經(jīng)雙向聯(lián)想后所得的結(jié)果.同理，如果從Y層輸入樣本YP，經(jīng)過上述的雙向聯(lián)想過程，X層將輸出聯(lián)想結(jié)果XP.BAM神經(jīng)網(wǎng)絡(luò)采用灌輸式的學(xué)習(xí)方式，特別之處在于網(wǎng)絡(luò)的權(quán)值一旦設(shè)計(jì)好就不再變動(dòng)，其學(xué)習(xí)是一次性的，而不是一個(gè)反復(fù)訓(xùn)練的過程.所以，可以先設(shè)計(jì)一個(gè)訓(xùn)練完成的BAM神經(jīng)網(wǎng)絡(luò)，然后再根據(jù)設(shè)計(jì)好的權(quán)值矩陣，用Seesaw門級(jí)聯(lián)組成完整的DNA神經(jīng)網(wǎng)絡(luò)，進(jìn)而實(shí)現(xiàn)DNA分子的智能雙向聯(lián)想記憶.

以DNA鏈置換反應(yīng)為基礎(chǔ)的Seesaw門主要有扇出門、集成門、閾值門和放大門等.在Seesaw門的左右兩端可以進(jìn)行信號(hào)鏈的輸入和輸出.不同的Seesaw門可以相互級(jí)聯(lián)，搭建成各種不同的邏輯電路.本文BAM網(wǎng)絡(luò)中的每一個(gè)神經(jīng)元前半部分為一個(gè)集成門，后半部分為一個(gè)帶閾值的扇出門，如圖1所示.每個(gè)神經(jīng)元的輸入和輸出個(gè)數(shù)可以根據(jù)需要靈活組合，神經(jīng)元前半部分集成門的輸出鏈作為后半部分扇出門的輸入鏈繼續(xù)反應(yīng)，而且只有當(dāng)集成門的輸出值大于扇出門的閾值時(shí)，扇出門才會(huì)有輸出.

圖1 Seesaw門搭建神經(jīng)元示意圖Fig.1 Seesaw gates building neuron schematic

1.2 仿真實(shí)驗(yàn)方法

本文在設(shè)計(jì)BAM神經(jīng)網(wǎng)絡(luò)時(shí)，一個(gè)棘手的問題就是設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)的權(quán)值矩陣.在設(shè)計(jì)權(quán)值矩陣時(shí)，首先根據(jù)需記憶的樣本模式利用外積和法求解出帶負(fù)值的權(quán)值矩陣，然后再將帶負(fù)值的權(quán)值矩陣轉(zhuǎn)換為雙軌制的非負(fù)權(quán)值，進(jìn)而根據(jù)雙軌制的非負(fù)權(quán)值設(shè)計(jì)Seesaw門反應(yīng)電路.

Visual DSD是一款設(shè)計(jì)、分析DNA鏈置換反應(yīng)的重要軟件，本文所有的DNA生化反應(yīng)都是在Visual DSD中仿真實(shí)現(xiàn)的.筆者在設(shè)計(jì)BAM神經(jīng)網(wǎng)絡(luò)時(shí)采用的反應(yīng)參數(shù)如下：3個(gè)堿基長度toehold的結(jié)合速率常數(shù)為5×10-5nM-1S-1，解離速率常數(shù)為26 S-1；其他toehold的結(jié)合速率常數(shù)為 2×10-3nM-1S-1，解離速率常數(shù)為1.3 S-1；泄漏反應(yīng)速率常數(shù)為1×10-8nM-1S-1，1個(gè)單位濃度為25 nM.

2 實(shí)驗(yàn)原理及仿真實(shí)驗(yàn)結(jié)果

2.1 BAM神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)三原色的加減色原理

三原色有多種劃分標(biāo)準(zhǔn)，常用的有色光三原色和顏料三原色.其中,色光三原色是指紅、綠、藍(lán)三色，顏料三原色是指青、品紅、黃三色.色光三原色符合加色法原理，其中任意兩種顏色按一定比例混合就可以呈現(xiàn)出青、品紅、黃三色中的某種顏色.顏料三原色符合減色法原理，其中任意兩種顏色按一定比例混合就可以呈現(xiàn)出紅、綠、藍(lán)三色中的某種顏色.配色表如表1所示，配色圖見圖2.

表1 色光三原色和顏料三原色的加減色配色表

圖2 三原色配色圖Fig.2 Three primary color scheme

色光三原色的加色法原理與顏料三原色的減色法原理可以巧妙地利用雙向聯(lián)想功能來實(shí)現(xiàn)，本文用Seesaw門設(shè)計(jì)了一個(gè)含有6神經(jīng)元的BAM神經(jīng)網(wǎng)絡(luò)，并以此展示DNA分子實(shí)現(xiàn)雙向異聯(lián)想的能力.

在設(shè)計(jì)BAM神經(jīng)網(wǎng)絡(luò)時(shí)，將網(wǎng)絡(luò)分為X層和Y層(圖3)，每層包括三個(gè)神經(jīng)元，X層的三個(gè)神經(jīng)元x1、x2和x3分別代表紅、綠和藍(lán)三色，Y層的三個(gè)神經(jīng)元y1、y2和y3分別代表青、品紅和黃三色.比如，當(dāng)在X層輸入紅色和綠色時(shí)，根據(jù)加色法原理，會(huì)在Y層輸出黃色；當(dāng)在X層只輸入紅色時(shí)，根據(jù)減色法原理，會(huì)在Y層輸出品紅色和黃色.同樣的，在Y層輸入青色和品紅色時(shí)，在X層可以輸出藍(lán)色；在Y層只輸入青色時(shí)，在X層可以輸出藍(lán)色和綠色.

圖3 三原色BAM神經(jīng)網(wǎng)絡(luò)簡化結(jié)構(gòu)圖

圖4為該BAM神經(jīng)網(wǎng)絡(luò)的Seesaw門反應(yīng)電路圖.

圖4 三原色BAM神經(jīng)網(wǎng)絡(luò)Seesaw門反應(yīng)電路圖Fig.4 Seesaw gates response circuit diagram with three primary color BAM neural network

表2 三原色BAM網(wǎng)絡(luò)加減色原理真值表

表3 代表每種顏色興奮、抑制狀態(tài)的DNA鏈編號(hào)

在用此BAM神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)三原色加減色原理時(shí)，紅色、綠色和藍(lán)色混合形成白色與青色、品紅色和黃色混合形成黑色的功能暫時(shí)無法實(shí)現(xiàn).本文利用Visual DSD軟件對其余12種可能情形進(jìn)行仿真實(shí)驗(yàn)，仿真結(jié)果見圖5和圖6.從圖中結(jié)果可以看出，每次實(shí)驗(yàn)都有6條有效輸出鏈和6條無效輸出鏈，結(jié)果符合三原色的加減色原理.

圖5 在X層輸入信號(hào)時(shí)的仿真結(jié)果Fig.5 Simulation results when inputting at the X layer

圖6 在Y層輸入信號(hào)時(shí)的仿真結(jié)果Fig.6 Simulation results when inputting at the Y layer

2.2 BAM神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)字符聯(lián)想

BAM神經(jīng)網(wǎng)絡(luò)的一個(gè)重要應(yīng)用就是字符的識(shí)別及聯(lián)想，字符識(shí)別及聯(lián)想在日常工作生活中應(yīng)用很廣.本文用Seesaw門設(shè)計(jì)了一個(gè)可以實(shí)現(xiàn)字符聯(lián)想的BAM神經(jīng)網(wǎng)絡(luò),如圖7所示.

圖7 3*3節(jié)點(diǎn)儲(chǔ)存的兩對聯(lián)想字符

本文設(shè)計(jì)了兩種BAM網(wǎng)絡(luò)來實(shí)現(xiàn)字符的聯(lián)想記憶，第一種是將兩個(gè)網(wǎng)格按列劃分，X層的第一列和Y層的第一列對應(yīng)設(shè)計(jì)一個(gè)含有6神經(jīng)元的BAM神經(jīng)網(wǎng)絡(luò)，每層包含3個(gè)神經(jīng)元.以此類推，總共設(shè)計(jì)了3個(gè)6神經(jīng)元的BAM神經(jīng)網(wǎng)絡(luò)，這3個(gè)BAM網(wǎng)絡(luò)組成一個(gè)整體，實(shí)現(xiàn)字符之間的聯(lián)想記憶功能.第二種是設(shè)計(jì)一個(gè)18神經(jīng)元的BAM神經(jīng)網(wǎng)絡(luò)，每層包含9個(gè)神經(jīng)元，分別代表每個(gè)網(wǎng)格中的9個(gè)節(jié)點(diǎn).相應(yīng)的Seesaw門反應(yīng)電路圖分別見圖8和圖9(封二).這兩種字符聯(lián)想實(shí)現(xiàn)方式的真值表分別見表4和表5.

圖9 18神經(jīng)元BAM神經(jīng)網(wǎng)絡(luò)的Seesaw門反應(yīng)電路圖Fig.9 Seesaw gate response circuit diagram of the 18-neuron BAM neural network

表4 3個(gè)6神經(jīng)元字符聯(lián)想BAM神經(jīng)網(wǎng)絡(luò)真值表

表5 18神經(jīng)元字符聯(lián)想BAM神經(jīng)網(wǎng)絡(luò)真值表

圖8 3個(gè)6神經(jīng)元BAM神經(jīng)網(wǎng)絡(luò)的Seesaw門反應(yīng)電路圖

圖10 3個(gè)6神經(jīng)元字符聯(lián)想BAM神經(jīng)網(wǎng)絡(luò)仿真結(jié)果Fig.10 Three 6-neuron character association BAM neural network simulation results

圖11 18神經(jīng)元字符聯(lián)想BAM神經(jīng)網(wǎng)絡(luò)仿真結(jié)果Fig.11 18-neuron character association BAM neural network simulation results

3 討 論

本文用Seesaw門級(jí)聯(lián)組成單個(gè)神經(jīng)元，再將多個(gè)神經(jīng)元構(gòu)建為完整的神經(jīng)網(wǎng)絡(luò). Seesaw門的獨(dú)特反應(yīng)機(jī)制，可以實(shí)現(xiàn)反饋型神經(jīng)網(wǎng)絡(luò)，完成一個(gè)由動(dòng)態(tài)到穩(wěn)態(tài)的過程.本文最復(fù)雜的BAM神經(jīng)網(wǎng)絡(luò)一共有18個(gè)神經(jīng)元，如果將雙軌運(yùn)算中的神經(jīng)元也算入其中，那就是36個(gè)神經(jīng)元組成的龐大神經(jīng)網(wǎng)絡(luò)，其中包含大約240條DNA鏈.就仿真結(jié)果而言，即使最復(fù)雜的BAM神經(jīng)網(wǎng)絡(luò)，得到的結(jié)果依然準(zhǔn)確、穩(wěn)定，展現(xiàn)出DNA分子強(qiáng)大的運(yùn)行能力，同時(shí)也反應(yīng)出DNA分子在組建智能生物計(jì)算機(jī)中的巨大潛力.然而本文實(shí)現(xiàn)BAM神經(jīng)網(wǎng)絡(luò)的過程并非是用DNA分子獨(dú)立實(shí)現(xiàn)的.神經(jīng)網(wǎng)絡(luò)的運(yùn)行一般分為學(xué)習(xí)訓(xùn)練和工作兩個(gè)階段，本文中BAM神經(jīng)網(wǎng)絡(luò)采用灌輸式學(xué)習(xí)方式，可以通俗地理解為“死記硬背”，其學(xué)習(xí)過程是一次性的.學(xué)習(xí)訓(xùn)練過程并非由DNA生化反應(yīng)完成，只是通過DNA分子實(shí)現(xiàn)了神經(jīng)網(wǎng)絡(luò)的工作過程.為了使DNA分子更加智能化，未來工作的重點(diǎn)是用DNA生化反應(yīng)實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過程，繼而實(shí)現(xiàn)完整的DNA分子神經(jīng)網(wǎng)絡(luò).另外，本文在設(shè)計(jì)BAM神經(jīng)網(wǎng)絡(luò)時(shí)，采用雙軌運(yùn)算的方式彌補(bǔ)DNA計(jì)算負(fù)值運(yùn)算的不足，復(fù)雜度較常規(guī)神經(jīng)網(wǎng)絡(luò)大，所以，在未來工作中希望找到代替雙軌運(yùn)算的方法，以減小神經(jīng)網(wǎng)絡(luò)的復(fù)雜度.