基于PID型迭代學(xué)習(xí)控制算法的皮層網(wǎng)絡(luò)節(jié)律調(diào)制

王佶宣，鄧 斌，王 江，伊國勝

基于PID型迭代學(xué)習(xí)控制算法的皮層網(wǎng)絡(luò)節(jié)律調(diào)制

王佶宣，鄧 斌，王 江，伊國勝

(天津大學(xué)電氣自動(dòng)化與信息工程學(xué)院，天津 300072)

皮層網(wǎng)絡(luò)節(jié)律是大腦動(dòng)力學(xué)的普遍特征，它與認(rèn)知和記憶功能密切相關(guān)．異常大腦節(jié)律通常伴隨著癲癇、帕金森等疾病的產(chǎn)生．通過電刺激能有效調(diào)制異常腦節(jié)律，進(jìn)而減輕疾病癥狀．目前常用的是開環(huán)電刺激調(diào)制方法，刺激能耗高且無反饋信息，難以實(shí)現(xiàn)個(gè)性化有效調(diào)制節(jié)律．為了實(shí)現(xiàn)自適應(yīng)調(diào)制皮層節(jié)律，構(gòu)建皮層網(wǎng)絡(luò)的平均場模型，產(chǎn)生不同節(jié)律的自發(fā)振蕩活動(dòng)．首先，以通過PID型學(xué)習(xí)律處理的實(shí)際和期望主頻的差值作為反饋?zhàn)兞?，采用PID型迭代學(xué)習(xí)控制算法實(shí)時(shí)自適應(yīng)調(diào)制40Hz電刺激的幅值，實(shí)現(xiàn)了將主頻從theta節(jié)律調(diào)制到alpha節(jié)律．其次，利用開環(huán)控制、PID控制與PID型迭代學(xué)習(xí)控制方法，對不同個(gè)體和相同個(gè)體的節(jié)律分別進(jìn)行調(diào)制，證明PID型迭代學(xué)習(xí)控制具有最優(yōu)的個(gè)性化調(diào)制結(jié)果．然后，利用數(shù)值仿真實(shí)驗(yàn)驗(yàn)證了PID型迭代學(xué)習(xí)控制能將delta、theta和gamma節(jié)律的任意主頻調(diào)制到alpha節(jié)律．最后，從理論推導(dǎo)方面對PID型迭代學(xué)習(xí)控制算法進(jìn)行了收斂性分析，證明該方法在理論上的有效性．本文研究從數(shù)值仿真和理論推導(dǎo)兩方面，證明了PID型迭代學(xué)習(xí)控制算法能通過控制電刺激振幅，進(jìn)而有效調(diào)制大腦皮層節(jié)律至alpha節(jié)律，具有較好的個(gè)性化調(diào)制結(jié)果，進(jìn)一步為臨床通過閉環(huán)控制治療節(jié)律異常疾病提供了方法指導(dǎo).

節(jié)律調(diào)制；皮層網(wǎng)絡(luò)；迭代控制；閉環(huán)控制

大腦節(jié)律是指神經(jīng)元活動(dòng)的不同模式，它與特定行為、睡眠狀態(tài)相關(guān)，通常通過測量神經(jīng)元集群的場活動(dòng)來得到節(jié)律[1]．局部場電位(local field potential，LFP)是測量大腦節(jié)律的一種有效方法，LFP反映了大腦內(nèi)局部興奮性和抑制性神經(jīng)元突觸后電位的和，代表神經(jīng)集群局部的協(xié)同作用．通過傅里葉分析等方法能將LFP記錄的局部神經(jīng)集群振蕩電活動(dòng)轉(zhuǎn)化為大腦節(jié)律信號．通過LFP測量所得的大腦節(jié)律主要分為delta節(jié)律(1～3Hz)、theta節(jié)律(4～7Hz)、alpha節(jié)律(8～12Hz)、beta節(jié)律(13～30Hz)和gamma節(jié)律(30～100Hz)[2]．不同的大腦節(jié)律與生理狀態(tài)、認(rèn)知功能以及病理狀況密切相關(guān)．例如，theta節(jié)律與記憶相關(guān)，alpha節(jié)律與認(rèn)知相關(guān)．a(chǎn)lpha節(jié)律在認(rèn)知過程中具有重要意義，該節(jié)律的削弱甚至消失是多種腦疾病的生理表現(xiàn)，通過調(diào)制主頻至alpha節(jié)律能有效增強(qiáng)認(rèn)知功能[3]．目前通常利用深部腦電刺激(deep brain stimulation，DBS)調(diào)制大腦節(jié)律．通過DBS調(diào)制神經(jīng)元集群活動(dòng)，能有效增強(qiáng)alpha節(jié)律振蕩并改善大腦的認(rèn)知功能[4]．因此研究如何利用電刺激調(diào)制alpha節(jié)律對治療腦節(jié)律異常疾病具有重要意義.

電刺激調(diào)制節(jié)律分為開環(huán)和閉環(huán)控制，臨床中最常用的是開環(huán)電刺激．開環(huán)控制的刺激參數(shù)調(diào)制困難，通常刺激裝置的參數(shù)在植入大腦后由經(jīng)驗(yàn)豐富的醫(yī)生設(shè)置，整體調(diào)制時(shí)長，至少需要長達(dá)6個(gè)月才能達(dá)到較為理想的結(jié)果[5]．且由于手術(shù)困難、易感染和調(diào)制參數(shù)不便等不利因素，導(dǎo)致在開環(huán)控制方法下節(jié)律的調(diào)制實(shí)時(shí)性較差、調(diào)制耗時(shí)長、調(diào)制結(jié)果難以預(yù)測并且調(diào)制過程嚴(yán)重依賴醫(yī)生經(jīng)驗(yàn)．這些不利因素可能對大腦的節(jié)律活動(dòng)，甚至是患者身體健康造成有害影響．開環(huán)電刺激調(diào)制過程簡單，雖然最終能通過改變刺激頻率和幅值使網(wǎng)絡(luò)主頻被調(diào)制到目標(biāo)主頻[6]，但是開環(huán)控制對調(diào)制結(jié)果的可控性較弱，調(diào)制結(jié)果高度依賴刺激參數(shù)．由于開環(huán)控制自適應(yīng)調(diào)控刺激參數(shù)的能力較弱，通常是通過試錯(cuò)來確定最終參數(shù)設(shè)置[7].因此需要設(shè)計(jì)一種控制方法，既能實(shí)時(shí)調(diào)制大腦節(jié)律到期望節(jié)律，又能快速自適應(yīng)調(diào)節(jié)刺激參數(shù)，減小不利刺激對大腦的影響．

閉環(huán)電刺激調(diào)制方式在調(diào)制大腦節(jié)律方面具有優(yōu)勢．不但能實(shí)現(xiàn)實(shí)時(shí)檢測大腦系統(tǒng)的動(dòng)態(tài)變化，自動(dòng)調(diào)制大腦節(jié)律并優(yōu)化刺激參數(shù)，而且能有效縮短無效電刺激的作用時(shí)長，降低刺激能耗．目前，通過閉環(huán)控制大腦信號的難點(diǎn)是如何選取控制信號和反饋信號[8]．電刺激振幅參數(shù)通常被選取作為控制信號，通過調(diào)節(jié)該參數(shù)能有效控制異常神經(jīng)元集群活動(dòng)．利用含外部輸入自回歸模型構(gòu)建自適應(yīng)最小方差控制器，能通過閉環(huán)控制有效調(diào)控DBS幅值，使異常神經(jīng)元放電活動(dòng)正?；痆9]．此外，在動(dòng)物實(shí)驗(yàn)中，通過DBS控制刺激幅值也能實(shí)現(xiàn)自動(dòng)檢測大鼠海馬區(qū)癲癇電信號，有效調(diào)制異常癲癇信號[10]，改善大鼠大腦異常節(jié)律振蕩．因此，基于上述研究基礎(chǔ)，本文選取電刺激幅值作為控制信號，通過閉環(huán)控制實(shí)時(shí)調(diào)控大腦節(jié)律．此外，反饋信號的選取對調(diào)控效果也至關(guān)重要．研究表明皮層網(wǎng)絡(luò)平均場電位變化與節(jié)律變化高度相關(guān)[11]，通過計(jì)算平均場電位的頻率分布范圍，能直觀表示皮層網(wǎng)絡(luò)所處的節(jié)律區(qū)間，利用平均場電位計(jì)算出的網(wǎng)絡(luò)主頻直接決定網(wǎng)絡(luò)所處的節(jié)律范圍，因此本文采用平均場電位的主頻信號作為反饋信號．

迭代學(xué)習(xí)控制(iterative learning control，ILC)非線性強(qiáng)，魯棒性好，適用于建模困難和具有重復(fù)性變化的對象[12]．在ILC系統(tǒng)中只需給出輸入和輸出信號，簡化了被控對象動(dòng)態(tài)變化的復(fù)雜性．由于平均場電位呈現(xiàn)重復(fù)性變化，而且對皮層網(wǎng)絡(luò)施加的電刺激也表現(xiàn)為周期性變化，因此傳統(tǒng)PID控制難以滿足對皮層網(wǎng)絡(luò)這些重復(fù)性活動(dòng)的非線性控制需求．ILC方法在控制重復(fù)性運(yùn)動(dòng)中表現(xiàn)出顯著的優(yōu)勢，而且它不依賴被控對象的具體模型，能實(shí)現(xiàn)有限時(shí)間上的完全跟蹤．ILC方法已被證明能抑制和修正異常放電活動(dòng)，使丘腦神經(jīng)元的放電活動(dòng)從異?；謴?fù)到正常狀態(tài)．此外，通過添加遺忘因子進(jìn)而改進(jìn)ILC方法，對小世界網(wǎng)絡(luò)的場電位進(jìn)行控制，實(shí)現(xiàn)了場電位信號跟蹤期望波形信號[13]．將PID控制理念運(yùn)用于ILC方法中是目前常用的控制方法之一，利用PI型迭代學(xué)習(xí)控制方法能使HH神經(jīng)元和ML神經(jīng)元的實(shí)際輸出跟蹤期望軌跡放電[14]．而且利用PI型迭代學(xué)習(xí)控制方法也能消除PR模型中異常的放電活動(dòng)[15]．進(jìn)一步改進(jìn)PI型迭代學(xué)習(xí)控制方法，將其與無跡卡爾曼濾波器結(jié)合，能調(diào)節(jié)單神經(jīng)元的癲癇樣放電，使異常的病態(tài)放電波形正?；痆16]．綜上所述，ILC方法控制效果好，能平穩(wěn)控制真實(shí)信號跟蹤期望信號，具有更高更平穩(wěn)的響應(yīng)速度．雖然ILC已被廣泛應(yīng)用于控制神經(jīng)元網(wǎng)絡(luò)中的對象，但目前利用ILC實(shí)時(shí)調(diào)控皮層網(wǎng)絡(luò)節(jié)律變化的理論方法仍不完善．

為了實(shí)現(xiàn)實(shí)時(shí)自適應(yīng)調(diào)制皮層網(wǎng)絡(luò)異常節(jié)律，本文采用PID型迭代學(xué)習(xí)控制方法調(diào)控網(wǎng)絡(luò)節(jié)律．文中主要分為3個(gè)部分：首先介紹皮層網(wǎng)絡(luò)模型的構(gòu)建方法；然后選擇閉環(huán)控制的刺激頻率，驗(yàn)證相應(yīng)電刺激頻率能否有效調(diào)制異常theta節(jié)律至期望alpha節(jié)律；接著分析對比不同控制方法的調(diào)制效果，證明PID型迭代學(xué)習(xí)控制方法在調(diào)制皮層節(jié)律方面的優(yōu)越性；最后對實(shí)驗(yàn)結(jié)果進(jìn)行收斂驗(yàn)證，并進(jìn)行討論和總結(jié).

1 模型和方法

1.1 皮層網(wǎng)絡(luò)模型

皮層網(wǎng)絡(luò)中具有許多噪聲，利用高斯白噪聲能模擬該噪聲，表達(dá)式為

對大腦注入額外單陽極或單陰極刺激，會(huì)引起外部電荷注入會(huì)導(dǎo)致電荷失衡，造成不可挽回的損傷，因此采用電荷平衡的雙向脈沖刺激能減弱該損傷．雙向脈沖刺激的優(yōu)勢在于陰極脈沖和陽極脈沖的電荷輸入量相等，使刺激對大腦注入的凈電荷量等于零．雙向脈沖刺激是較為可靠的刺激方式，能最大程度降低電荷注入對大腦損傷，本文采用的不對稱雙向電刺激表達(dá)式為

式中：和分別為陽、陰極刺激的強(qiáng)度，mA；和分別為陰、陽極脈沖間隔寬度，ms；為陰、陽極間時(shí)間間隔，ms．為了實(shí)現(xiàn)電荷平衡，實(shí)驗(yàn)選取的不對稱雙向脈沖的陰陽極具有不同的脈沖寬度，選取為的10倍，避免網(wǎng)絡(luò)的振蕩抑制現(xiàn)象產(chǎn)生[18]．不對稱雙向脈沖波形和相關(guān)參數(shù)設(shè)置如圖1所示.

圖1 刺激波形

1.2 平均場分析與計(jì)算

平均場電位是表示皮層網(wǎng)絡(luò)活動(dòng)變化的參數(shù)，它是模型中描述局部場電位的參數(shù)，平均場電位的計(jì)算公式為

表1 模型參數(shù)設(shè)置

為了測試PID型迭代學(xué)習(xí)控制算法能否有效控制皮層網(wǎng)絡(luò)節(jié)律，主要從以下3個(gè)步驟進(jìn)行測試，相應(yīng)的迭代學(xué)習(xí)控制流程如圖2所示.

圖2 迭代學(xué)習(xí)控制流程

步驟2 進(jìn)行PID型迭代學(xué)習(xí)控制，計(jì)算網(wǎng)絡(luò)的平均場電位和迭代誤差.

步驟3 計(jì)算相關(guān)頻帶總能量，通過功率譜密度分析計(jì)算節(jié)律主頻大?。舻螖?shù)低于10次，儲(chǔ)存誤差并進(jìn)行下一次迭代并返回步驟2；若迭代次數(shù)高于10次，跳出迭代循環(huán)．

1.3 PID型迭代控制算法

圖3 PID型迭代學(xué)習(xí)算法結(jié)構(gòu)

Fig.3 Structure of the proportional-integral-derivative-type iterative learning algorithm

2 結(jié) 果

2.1 閉環(huán)刺激頻率選擇

圖4 刺激頻率選擇圖

2.2 PID型迭代控制調(diào)制theta節(jié)律

圖5 刺激調(diào)制

在閉環(huán)控制起始位置處，皮層網(wǎng)絡(luò)初始狀態(tài)表現(xiàn)為theta頻帶能量最高和alpha頻帶能量最低，如圖5(b)所示．隨著迭代控制開始，期望主頻和實(shí)際主頻產(chǎn)生誤差，將此誤差信號反饋給皮層網(wǎng)絡(luò)并不斷進(jìn)行反饋調(diào)制．在調(diào)制過程中，theta頻帶能量逐漸降低，而alpha頻帶能量逐漸上升，網(wǎng)絡(luò)實(shí)際主頻逐漸增大并靠近期望主頻．調(diào)制結(jié)果表明，PID型迭代控制學(xué)習(xí)方法能有效調(diào)制網(wǎng)絡(luò)節(jié)律．隨著迭代次數(shù)的增大，刺激幅值不斷降低，當(dāng)?shù)螖?shù)到達(dá)第7次時(shí)，網(wǎng)絡(luò)狀態(tài)趨于穩(wěn)定，實(shí)際主頻幾乎等于期望主頻．在隨后的迭代過程中，實(shí)際節(jié)律實(shí)現(xiàn)對期望節(jié)律的跟蹤，刺激幅值保持在較小的穩(wěn)定值，穩(wěn)定狀態(tài)下刺激幅值幾乎等于零，網(wǎng)絡(luò)主頻值最終保持在11.23Hz．仿真結(jié)果表明，PID型迭代學(xué)習(xí)控制能自適應(yīng)調(diào)制刺激幅值，不但能有效減小異常刺激作用時(shí)長，降低刺激能耗，而且能有效調(diào)制皮層網(wǎng)絡(luò)的節(jié)律．

2.3 不同控制方法調(diào)制相同節(jié)律

在相同的刺激條件下，能否靈活調(diào)制節(jié)律是衡量控制方法的關(guān)鍵因素．首先利用皮層網(wǎng)絡(luò)模型產(chǎn)生相同的放電波形和網(wǎng)絡(luò)主頻用于模擬相同個(gè)體；然后利用不同的放電波形和網(wǎng)絡(luò)主頻表示不同個(gè)體；最后施加不同的電刺激，測試不同控制方法的調(diào)制效果．如圖6～圖8所示，黑色曲線表示初始狀態(tài)，藍(lán)色曲線表示調(diào)制結(jié)果，每幅圖中的圖(a)和(b)描述相同個(gè)體的不同狀態(tài)，圖(c)和(d)描述了不同個(gè)體的不同狀態(tài)．對每個(gè)狀態(tài)施加不同的電刺激，測試網(wǎng)絡(luò)主頻能否被調(diào)制到alpha節(jié)律．如圖6所示，開環(huán)控制在任意刺激參數(shù)設(shè)置條件下，對節(jié)律的調(diào)制效果較差，無論是對于相同個(gè)體還是不同個(gè)體，都難以通過隨機(jī)設(shè)置的初始刺激參數(shù)將theta節(jié)律調(diào)制到alpha節(jié)律．調(diào)制結(jié)果證明，雖然開環(huán)控制調(diào)制方法簡單，但有效的刺激參數(shù)依賴經(jīng)驗(yàn)設(shè)置，只有針對性的刺激參數(shù)才能將節(jié)律調(diào)制到alpha節(jié)律．相比于開環(huán)控制，PID控制表現(xiàn)較好．如圖7所示，PID控制在隨機(jī)的刺激參數(shù)設(shè)置條件下，能將大部分異常節(jié)律調(diào)制到期望節(jié)律，但仍有部分theta節(jié)律無法被調(diào)制至alpha節(jié)律．實(shí)驗(yàn)結(jié)果表明，相比于開環(huán)控制，閉環(huán)控制適應(yīng)個(gè)體差異性的能力更強(qiáng)．如圖8所示，相比于前兩種控制方法，PID型迭代學(xué)習(xí)控制方法不但能實(shí)時(shí)調(diào)制網(wǎng)絡(luò)節(jié)律，且調(diào)制準(zhǔn)確率比PID控制更高，個(gè)體差異性的適應(yīng)能力更強(qiáng)．結(jié)果表明，PID型學(xué)習(xí)律的迭代學(xué)習(xí)控制在實(shí)現(xiàn)自適應(yīng)調(diào)制的基礎(chǔ)上，進(jìn)一步提高了對個(gè)體差異性的適應(yīng)能力，具有更好的跟蹤性能和更快收斂速度．

圖6 開環(huán)控制調(diào)制

圖7 PID控制調(diào)制

圖8 PID型迭代控制調(diào)制圖

2.4 不同節(jié)律的閉環(huán)調(diào)制

PID型迭代學(xué)習(xí)控制已在上文中被證明能自適應(yīng)將網(wǎng)絡(luò)主頻從theta節(jié)律調(diào)制到alpha節(jié)律．但上述數(shù)值仿真實(shí)驗(yàn)具有一定局限性，主要表現(xiàn)為網(wǎng)絡(luò)主頻限制在theta節(jié)律．為驗(yàn)證PID型迭代控制學(xué)習(xí)算法對任意主頻的調(diào)制能力，通過設(shè)置使網(wǎng)絡(luò)產(chǎn)生不同的主頻，并使該主頻處于不同的頻帶，對網(wǎng)絡(luò)施加PID型迭代學(xué)習(xí)控制算法，驗(yàn)證該算法調(diào)制節(jié)律的 能力.

如圖9(a)和(b)所示，首先驗(yàn)證處于同一節(jié)律頻帶的不同主頻能否被調(diào)制到期望alpha節(jié)律頻帶．先通過設(shè)置網(wǎng)絡(luò)參數(shù)，使網(wǎng)絡(luò)產(chǎn)生兩種不同主頻值，分別為6.836Hz和6.792Hz，但這兩個(gè)主頻都處于theta頻帶．然后通過控制算法調(diào)制，結(jié)果表明這兩種主頻值均能被調(diào)制到alpha頻帶．最后筆者驗(yàn)證了大量位于theta頻帶的主頻是否能被調(diào)制到alpha頻帶，證明所有主頻都能被調(diào)制成功．實(shí)驗(yàn)結(jié)果表明，該算法能有效調(diào)制位于相同節(jié)律下的不同主頻至期望節(jié)律頻帶．

為了驗(yàn)證PID型迭代學(xué)習(xí)控制算法對處于不同頻帶主頻的調(diào)制能力，將皮層網(wǎng)絡(luò)初始節(jié)律設(shè)置到處于delta、beta和gamma頻帶，再利用該算法調(diào)制相應(yīng)的網(wǎng)絡(luò)節(jié)律，驗(yàn)證調(diào)制效果．調(diào)制結(jié)果展示在圖9(c)～(e)中，利用PID型迭代學(xué)習(xí)控制算法能將處于非alpha頻帶的主頻調(diào)制到目標(biāo)alpha頻帶，實(shí)現(xiàn)對網(wǎng)絡(luò)節(jié)律的調(diào)制，該算法使網(wǎng)絡(luò)具有更強(qiáng)的可控性．當(dāng)網(wǎng)絡(luò)初始主頻處于delta和theta頻帶時(shí)，調(diào)制的刺激幅值為正；當(dāng)初始主頻處于beta和gamma頻帶時(shí)，調(diào)制的刺激幅值為負(fù)．這些實(shí)驗(yàn)結(jié)果進(jìn)一步驗(yàn)證了電刺激對皮層網(wǎng)絡(luò)節(jié)律調(diào)制機(jī)制的不同．正幅值的脈沖刺激使網(wǎng)絡(luò)主頻增大，與之相反，負(fù)幅值的脈沖刺激使網(wǎng)絡(luò)主頻減?。C上所述，PID型迭代學(xué)習(xí)控制算法使節(jié)律的調(diào)制過程由繁變簡，能調(diào)制任意初始節(jié)律到alpha節(jié)律.

2.5 PID型迭代學(xué)習(xí)控制律的收斂性證明

通過采用平均場理論簡化理論推導(dǎo)過程，首先將單個(gè)神經(jīng)元電勢表示為平均場電位與噪聲波動(dòng)的共同作用為

將式(1)的求和公式轉(zhuǎn)化為積分公式，使該函數(shù)連續(xù)可積為

圖9 節(jié)律調(diào)制圖

聯(lián)立式(9)～式(11)計(jì)算得出平均場電位為

將式(15)轉(zhuǎn)化為狀態(tài)方程得

通過分部積分公式得

將式(18)的結(jié)果代入式(17)得

3 討 論

為了達(dá)到實(shí)時(shí)自適應(yīng)調(diào)制網(wǎng)絡(luò)節(jié)律到期望節(jié)律的目的，本文設(shè)計(jì)了PID型迭代控制算法．由于模型中主要關(guān)注的是節(jié)律調(diào)控，因此使用較為簡單的低階模型，并在節(jié)律調(diào)制方面提供了合理的控制策略. PID型迭代學(xué)習(xí)控制算法能實(shí)時(shí)調(diào)制大腦節(jié)律，縮短電刺激參數(shù)調(diào)節(jié)時(shí)間，降低刺激能耗，實(shí)現(xiàn)自適應(yīng)調(diào)制不同節(jié)律[21]．現(xiàn)階段神經(jīng)調(diào)制方法大部分是基于DBS技術(shù)，DBS調(diào)制已被證明在治療腦疾病上有顯著效果．通過在精確的作用靶點(diǎn)上對患者施加高頻電刺激，能達(dá)到較好的治療效果[22]．但是連續(xù)高頻刺激具有一定缺陷，不但能耗高導(dǎo)致刺激裝置續(xù)航能力差，而且高頻刺激容易誘發(fā)眾多的副作用．因此本文中選取的40Hz電刺激調(diào)制皮層網(wǎng)絡(luò)節(jié)律，在大幅降低刺激能耗的基礎(chǔ)上，有效調(diào)制了皮層節(jié)律．此外，已有實(shí)驗(yàn)研究證明40Hz光照刺激能有效調(diào)制小鼠網(wǎng)絡(luò)節(jié)律活動(dòng)，提高小鼠認(rèn)知功能[23]．上述光照刺激為開環(huán)刺激，在此基礎(chǔ)上添加PI控制調(diào)制光照刺激強(qiáng)度，進(jìn)一步通過動(dòng)物實(shí)驗(yàn)證明40Hz的閉環(huán)刺激能有效抑制癲癇疾病發(fā)作[24]．綜上所述，相比于高頻電刺激，40Hz電刺激的引入不但能減弱高頻電刺激對大腦的強(qiáng)烈刺激作用和不適感，而且能大幅降低刺激能耗.

本文采用PID型迭代學(xué)習(xí)控制算法調(diào)制電刺激的幅值，調(diào)制過程中刺激的幅值主要表現(xiàn)為：隨著迭代次數(shù)的增大，刺激幅值先隨之降低，然后保持在較小的范圍內(nèi)呈現(xiàn)周期性變化．迭代學(xué)習(xí)控制通過迭代次數(shù)的增大，逐漸實(shí)現(xiàn)實(shí)際主頻對期望主頻的追蹤．每次迭代的刺激幅值是由實(shí)際主頻和期望主頻做差，再通過迭代學(xué)習(xí)律計(jì)算所得，將該計(jì)算值作為下次迭代控制中的刺激幅值．仿真中每次迭代時(shí)間為1000ms，且在當(dāng)次迭代中刺激幅值為定值，因此每次迭代過程中的刺激波形表現(xiàn)為重復(fù)性變化．隨著迭代次數(shù)增大，實(shí)際主頻與期望主頻差值減小，導(dǎo)致刺激幅值減小，最終保持在一個(gè)較小數(shù)值．本文利用PID型迭代學(xué)習(xí)控制算法適用于重復(fù)性運(yùn)動(dòng)對象的優(yōu)勢，通過調(diào)制40Hz電刺激的幅值，能將不同的節(jié)律自適應(yīng)調(diào)制到期望的alpha節(jié)律.

PID型迭代學(xué)習(xí)控制算法通過實(shí)時(shí)檢測并計(jì)算皮層網(wǎng)絡(luò)的平均場電位變化，自動(dòng)調(diào)制電刺激的幅值．通過數(shù)學(xué)模型能更深入地分析閉環(huán)控制方法下刺激調(diào)制大腦節(jié)律的機(jī)制．但由于臨床實(shí)驗(yàn)中存在多種環(huán)境阻抗因素，使得每個(gè)神經(jīng)元受到不同的電刺激而非模型中的相同電刺激[25]，導(dǎo)致如果將該算法應(yīng)用在實(shí)際中，調(diào)制的準(zhǔn)確度可能會(huì)降低．此外，閉環(huán)控制方法中的反饋信號是實(shí)際主頻值和期望主頻值的差值，雖然該信號能有效表示大腦網(wǎng)絡(luò)振蕩活動(dòng)，但是單一的反饋信號準(zhǔn)確度和可靠性低于多個(gè)生物標(biāo)記合成的反饋信號所具有的可靠性[26]．本文通過構(gòu)建皮層網(wǎng)絡(luò)平均場模型，在模型中驗(yàn)證閉環(huán)控制方法的可實(shí)施性，為皮層網(wǎng)絡(luò)節(jié)律調(diào)制提供了有意義的分析和理論補(bǔ)充，但通過臨床實(shí)驗(yàn)證明PID型迭代控制算法的有效性仍面臨嚴(yán)峻的挑戰(zhàn).

4 結(jié) 語

目前通過閉環(huán)控制調(diào)制網(wǎng)絡(luò)節(jié)律的方法仍不完善，為實(shí)現(xiàn)對皮層網(wǎng)絡(luò)節(jié)律的自適應(yīng)調(diào)制，本文構(gòu)建了皮層網(wǎng)絡(luò)振蕩模型，通過PID型迭代學(xué)習(xí)控制調(diào)制皮層網(wǎng)絡(luò)節(jié)律．利用功率譜密度分析計(jì)算相應(yīng)頻帶的主頻，計(jì)算真實(shí)主頻和期望主頻的差值，將該差值作為反饋?zhàn)兞?，通過控制算法調(diào)制電刺激的幅值，進(jìn)而達(dá)到自適應(yīng)調(diào)制網(wǎng)絡(luò)節(jié)律到alpha節(jié)律的目的．結(jié)果表明，PID型迭代學(xué)習(xí)控制能有效調(diào)制大腦節(jié)律，具有較強(qiáng)的魯棒性，能將任意初始節(jié)律自適應(yīng)調(diào)制到期望alpha節(jié)律．研究結(jié)果進(jìn)一步從理論角度為臨床中閉環(huán)電刺激的實(shí)施提供了補(bǔ)充，也為治療多種節(jié)律活動(dòng)異常的神經(jīng)系統(tǒng)疾病提供了技術(shù)參考.

［1］ Klimesch W. EEG alpha and theta oscillations reflect cognitive and memory performance：A review and analysis[J]. Brain Research Review，1999，29(2)：169-195.

［2］ Scherberger H，Jarvis M R，Andersen R A. Cortical local field potential encodes movement intentions in the posterior parietal cortex[J]. Neuron，2005，46(2)：347-354.

［3］ Thut G，Miniussi C，Gross J. The functional importance of rhythmic activity in the brain[J]. Current Biology，2012，22(16)：R658-R663.

［4］ Abuhassan K，Coyle D，Maguire L. Compensating for thalamocortical synaptic loss in Alzheimer’s disease[J]. Frontiers in Computational Neuroscience，2014，8：65.

［5］ Bronstein J M，Tagliati M，Alterman R L. Deep brain stimulation for Parkinson disease an expert consensus and review of key issues[J]. Archives of Neurology，2011，68(2)：165-171.

［6］ Wang J X，Deng B，Gao T S，et al. Frequency-dependent response in cortical network with periodic electrical stimulation[J]. Chaos，2020，30(7)：073130.

［7］ Quinkert A W，Schiff N D，Pfaff D W. Temporal patterning of pulses during deep brain stimulation affects central nervous system arousal[J]. Behavioural Brain Research，2010，214(2)：377-385.

［8］ 任凱麗. 癲癇樣放電狀態(tài)建模與控制的研究[D]. 天津：天津大學(xué)精密儀器與光電子工程學(xué)院，2015.

Ren Kaili. The Modeling and Control of Epileptic Discharge State[D]. Tianjin：School of Precision Instrument and Opto-Electronics Engineering，Tianjin University，2015(in Chinese).

［9］ Santaniello S，F(xiàn)iengo G，Glielmo L，et al. Closed-loop control of deep brain stimulation：A simulation study[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering，2011，19(1)：15-24.

［10］ 胡振華，封洲燕，鄭曉靜，等. 實(shí)時(shí)癲癇電位檢測與閉環(huán)式電刺激系統(tǒng)的設(shè)計(jì)[J]. 生物醫(yī)學(xué)工程學(xué)雜志，2015，32(1)：168-174.

Hu Zhenhua，F(xiàn)eng Zhouyan，Zheng Xiaojing，et al. Design of a system for real-time seizure detection and closed-loop electrical stimulation[J]. Journal of Biomedical Engineering，2015，32(1)：168-174(in Chinese).

［11］ Wang X J. Neurophysiological and computational principles of cortical rhythms in cognition[J]. Physiological Reviews，2010，90(3)：1195-1268.

［12］ 孫明軒，黃寶健. 迭代學(xué)習(xí)控制[M]. 北京：國防工業(yè)出版社，1999.

Sun Mingxuan，Huang Baojian. Iterative Learning Control[M]. Beijing：National Defence Industry Press，1999(in Chinese).

［13］ 李樹楠，李冬輝，王 江. 神經(jīng)元網(wǎng)絡(luò)場電位的迭代學(xué)習(xí)控制研究[J]. 計(jì)算機(jī)應(yīng)用研究，2016，33(3)：696-700.

Li Shunan，Li Donghui，Wang Jiang. Iterative learning control of field potential of neuronal network[J]. Application Research of Computers，2016，33(3)：696-700(in Chinese).

［14］ 張麗媛. 基于閉環(huán)控制的神經(jīng)元及集群癲癇狀態(tài)的研究[D]. 天津：天津大學(xué)精密儀器與光電子工程學(xué)院，2014.

Zhang Liyuan. Research on the Closed-loop Control of the Neuron and Neural Mass’s Epileptic State[D]. Tianjin：School of Precision Instrument and Opto-Electronics Engineering，Tianjin University，2014(in Chinese).

［15］ Li Shunan，Li Donghui，Wang Jiang，et al. Iterative learning control algorithm for spiking behavior of neuron model[J]. International Journal of Modern Physics B，2015，30(1)：1550240.

［16］ 曹玉珍，張麗媛，劉 晨，等. 基于Pinsky-Rinzel模型癲癇狀態(tài)的估計(jì)與閉環(huán)混合[J]. 納米技術(shù)與精密工程，2015，13(3)：232-238.

Cao Yuzhen，Zhang Liyuan，Liu Chen，et al. Estimation and closed-loop mixed control of epileptic state based on Pinsky-Rinzel model[J]. Nanotechnology and Precision Engineering，2015，13(3)：232-238(in Chinese).

［17］ Hutt A，Mierau A，Lefebvre J. Dynamic control of synchronous activity in networks of spiking neurons[J]. PLoS One，2016，11(9)：e0161488.

［18］ Liu C，Wang J，Li H，et al. Model-based iterative learning control of Parkinsonian state in thalamic relay neuron[J]. Communications in Nonlinear Science and Numerical Simulation，2014，19(9)：3255-3266.

［19］ Selvaraj P，Sleigh J W，Kirsch H E，et al. Closed-loop feedback control and bifurcation analysis of epileptiform activity via optogenetic stimulation in a mathematical model of human cortex[J]. Physical Review E，2016，93(1)：012416.

［20］ Rolls E T. Attractor networks[J]. Wiley Interdisciplinary Reviews-Cognitive Science，2010，1(1)：119-134.

［21］ Ortega J M，Rheinboldt W C. Iterative Solution of Nonlinear Equations in Several Variables[M]. New York：Society for Industrial and Applied Mathematics，1987.

［22］ 張建國，馬 羽，劉煥光. 腦深部電刺激術(shù)在中國的發(fā)展現(xiàn)狀[J]. 中國神經(jīng)精神疾病雜志，2009，35(7)：385-387.

Zhang Jianguo，Ma Yu，Liu Huanguang. Development status of deep brain stimulation in China[J]. Chinese Journal of Neuropsychiatric Disorders，2009，35(7)：385-387(in Chinese).

［23］ Iaccarino H F，Singer A C，Martorell A J，et al. Gamma frequency entrainment attenuates amyloid load and modifies microglia[J]. Nature，2016，562 (7725)：E1.

［24］ Paz J T，Davidson T J，F(xiàn)rechette E S，et al. Closed-loop optogenetic control of thalamus as a tool for interrupting seizures after cortical injury[J]. Nature Neuroscience，2013，16(1)：64-98.

［25］ Zhang T，Grill W M. Effect of electrode geometry on deep brain stimulation：Monopolar point source[J]. IFMBE Proceedings，2009，24：167-170.

［26］ Giannicola G，Rosa M，Servello D，et al. Subthalamic local field potentials after seven-year deep brain stimulation in Parkinson’s disease[J]. Experimental Neurology，2012，237(2)：312-317.

Cortical Network Rhythm Modulation Based on the PID-Type Iterative Learning Control Algorithm

Wang Jixuan，Deng Bin，Wang Jiang，Yi Guosheng

(School of Electrical and Information Engineering，Tianjin University，Tianjin 300072，China)

The cortical network rhythm is a ubiquitous feature of brain dynamics closely related to cognitive and memory function. Abnormal brain rhythms cause certain disorders，such as epilepsy and Parkinson’s disease. Electrical stimulation could effectively modulate abnormal brain rhythms and further relieve the symptoms of diseases. The open-loop electrical modulation is a common method with high energy consumption，which has no feedback resulting in individual modulation difficulty. To realize the adaptive modulation of cortical rhythms，a mean-field model of the cortical network rhythm is proposed to generate spontaneous oscillation activities with different rhythms. First，the difference of the actual and desired dominant frequencies processed by the proportional-integral-derivative(PID)-type learning control law is taken as the feedback variables. The PID-type iterative learning control(ILC)algorithm is adopted to adaptively modulate the amplitude of 40Hz electrical stimulation. Modulating the dominant frequency from the theta rhythm to the alpha rhythm is realized. Next，the rhythms of the same and different individuals are modulated using the open-loop control，PID control，and PID-type ILC. The results prove that the PID-type ILC algorithm has the best individual modulation effect. The numerical simulation demonstrates that the algorithm could modulate arbitrary dominant frequencies in the delta，theta，and gamma rhythms to the alpha rhythm. Finally，the convergence of the algorithm is theoretically analyzed，which proves its effectiveness. Both theoretical derivation and numerical simulation have proven that the PID-type ILC algorithm could modulate the cortical rhythm to the alpha rhythm effectively by controlling the electrical stimulation amplitude，which presents a good individual modulation result. These results provide methodological guidance for the clinical treatment of abnormal rhythm diseases through closed-loop control.

rhythm modulation；cortical network；iterative learning control；closed-loop control

Q612

A

0493-2137(2022)10-1071-11

10.11784/tdxbz202109044

2021-09-28；

2021-12-08.

王佶宣（1995— ），女，博士研究生，wangjixuan@tju.edu.cn.

伊國勝，guoshengyi@tju.edu.cn.

國家自然科學(xué)基金資助項(xiàng)目(62071324)；天津市自然科學(xué)基金資助項(xiàng)目(19JCQNJC01200).

the National Natural Science Foundation of China(No. 62071324)，the Natural Science Foundation of Tianjin，China (No. 19JCQNJC01200).

(責(zé)任編輯：孫立華)