求解時變凸二次規(guī)劃的變參積分動態(tài)學(xué)習(xí)網(wǎng)絡(luò)

陸榮秀，黃 偉，楊 輝，張智軍

1(華東交通大學(xué) 電氣與自動化工程學(xué)院， 南昌 330013)

2(江西省先進控制與優(yōu)化重點實驗室， 南昌 330013)

3(華南理工大學(xué) 自動化科學(xué)與工程學(xué)院，廣州 510640)

E-mail：1583395293@qq.com

1 引 言

時變二次規(guī)劃(quadratic programming，QP)問題在諸多領(lǐng)域，如約束最小二乘問題求解[1]、非線性優(yōu)化問題[2]、經(jīng)濟數(shù)學(xué)[3]、系統(tǒng)分析[4]等中都發(fā)揮著至關(guān)重要的作用.一般而言，QP問題的求解方法都是基于迭代計算思想求解，如拉格朗日法[5]、Lemke算法[6]、內(nèi)點法[7]等.然而，這些方法即使依靠高性能計算機，求解依然需要較長時間，特別是在求解大規(guī)模的實時問題時表現(xiàn)較差.因此，尋找更加高效的求解方法始終是研究人員的目標.

近年來，人工神經(jīng)網(wǎng)絡(luò)因其自我學(xué)習(xí)，快速尋優(yōu)的特點被廣泛應(yīng)用于求解最優(yōu)化問題.基于人工神經(jīng)網(wǎng)絡(luò)的特點，研究者希望利用神經(jīng)網(wǎng)絡(luò)加速Q(mào)P問題求解過程以縮短求解時間.基于梯度下降理論，文獻[8]提出了梯度神經(jīng)網(wǎng)絡(luò) (gradient-based neural network，GNN)，該網(wǎng)絡(luò)主要用于求解靜態(tài)凸QP問題[9].然而面對時變QP問題時，GNN無法實時追蹤理論解而無法收斂.針對這個問題，張雨濃[10]等人提出了零化神經(jīng)網(wǎng)絡(luò)(zeroing neural network，ZNN).該網(wǎng)絡(luò)能實時追蹤時變QP問題并保持收斂，極大地提高了計算效率，被廣泛應(yīng)用于求解時變問題，如求解時變Sylvester方程[11]，時變動態(tài)矩陣反演[12]，時變二次規(guī)劃問題[13]等.然而，ZNN雖然彌補了GNN無法實時追蹤時變問題理論解的缺點，但也有收斂時間過長的不足之處.為了克服ZNN的這一缺點，文獻[14]提出了一種變參收斂微分神經(jīng)網(wǎng)絡(luò)(varying-parameter convergent differential neural network，VP-CDNN) 以加快計算速度，縮短收斂時間.VP-CDNN比ZNN有更快的指數(shù)級收斂速率，被應(yīng)用于解決許多最優(yōu)控制問題，如冗余關(guān)節(jié)角漂移[15]，時變Sylvester方程[16]等.然而，囿于硬件而參數(shù)較差時，VP-CDNN表現(xiàn)也并不理想，所以尋找更快更好的神經(jīng)網(wǎng)絡(luò)依然是研究者的目標.

因此，本文提出了一種新型變參積分動態(tài)學(xué)習(xí)網(wǎng)絡(luò)(varying-parameter integral dynamic learning network，VP-IDLN).與傳統(tǒng)的微分神經(jīng)網(wǎng)絡(luò)不同，VP-IDLN采用誤差積分法設(shè)計，控制策略靈活，具有超指數(shù)級收斂速率，收斂性質(zhì)和魯棒性良好.實驗證明VP-IDLN在參數(shù)設(shè)置較差時，也有較好收斂速率，下限較高.與GNN、ZNN和VP-CDNN相比，收斂時間是其幾十分之一，收斂速率提升顯著.

2 時變凸QP問題的數(shù)學(xué)形式

受線性約束時變凸QP問題的數(shù)學(xué)形式為：

minimize：xT(t)J(t)x(t)/2+kT(t)x(t)
subject to：D(t)x(t)=l(t)

(1)

為求解式(1)中x(t)，定義拉格朗日函數(shù)：

L(x(t)，λ(t)，t)：=xT(t)J(t)x(t)/2+kT(t)x(t)
+λT(t)D(t)x(t)-λT(t)l(t)，t∈[0，+∞)

(2)

式中λ(t)∈Rm表示拉格朗日乘子，x(t)是未知變量.由拉格朗日乘數(shù)法[17]可知，當L(x(t)，λ(t)，t)的偏導(dǎo)數(shù)連續(xù)且存在時，凸QP問題(1)有最優(yōu)解.則方程(2)滿足以下條件：

(3)

為使式(3)更為簡潔，可寫為分塊矩陣形式：

P(t)y(t)=q(t)

(4)

式中P(t)是一個可逆的方陣以保證式(4)有且僅有唯一解.

為逼近時變QP問題的最優(yōu)解，定義以下誤差函數(shù)：

H(t)：=P(t)y(t)-q(t)

(5)

當H(t)收斂至零時，方程(5)等價于方程(4).

3 變參積分動態(tài)學(xué)習(xí)網(wǎng)絡(luò)

3.1 變參積分動態(tài)學(xué)習(xí)網(wǎng)絡(luò)設(shè)計

基于神經(jīng)動力學(xué)設(shè)計經(jīng)驗[18]，提出一種新型誤差積分公式：

(6)

式中H0=H(0)=P(0)y(0)-q(0)代表方程(6)在t=0時的初始值.其中P(0)，q(0)，y(0)分別是P(t)，q(t)，y(t)的初值.由神經(jīng)網(wǎng)絡(luò)理論[19]，于式(6)中引入相關(guān)系數(shù)和激活函數(shù)，獲得新的誤差積分神經(jīng)動力學(xué)公式：

(7)

式中α，β>0是用來控制收斂速率的固定值標量參數(shù)，exp(-(t+5))是時間t有關(guān)的指數(shù)型時變量.此外，Φ(·)：Rm×n→Rm×n代表了單調(diào)遞增的奇函數(shù).值得一提的是ω是方程(7)的初值且ω=βΦ(H(0)).

把方程(5)代入方程(7)可得：

(8)

(9)

將方程(9)代入方程(8)，可得變參積分動態(tài)學(xué)習(xí)網(wǎng)絡(luò)(VP-IDLN) 的數(shù)學(xué)模型：

(10)

根據(jù)VP-IDLN的數(shù)學(xué)模型，繪出相應(yīng)的系統(tǒng)流程圖如圖1所示.

圖1 VP-IDLN數(shù)學(xué)模型的系統(tǒng)流程圖Fig.1 System flow chart of VP-IDLN mathematical model

3.2 VP-IDLN的收斂性分析

在本節(jié)進一步探討分析VP-IDLN的收斂性質(zhì).

定理1.已知時變系數(shù)矩陣J(t)，k(t)，D(t)，l(t)，使用VP-IDLN求解時變凸QP問題且其激活函數(shù)為單調(diào)遞增奇函數(shù)Φ(·)時，狀態(tài)變量y(t)總是可以收斂至理論解y*(t).

(11)

(12)

其次，為方便推導(dǎo)，寫出方程(7)的標量形式：

(13)

(14)

由李雅普諾夫理論[22]，構(gòu)建一個新的李雅普諾夫函數(shù)為：

vi(t)=(ωi-αφi(t))2/2

(15)

對vi(t)求導(dǎo)有：

(16)

考慮到φi(t)的定義并結(jié)合方程(14)，可得：

=-αβe-(t+5)hi(t)φ(hi(t))

(17)

證明成立.

本文使用的激活函數(shù)如圖2所示，分別是linear，power和leaky relu函數(shù).

圖2 求解時變QP問題VP-IDLN所用激活函數(shù)Fig.2 Activation function for solving the time-varying QP problem with VP-IDLN

Linear：φ(x)=x式中x代表了標量或矩陣且定義不變；

Power：φ(x)=xu，u≥3且是奇數(shù)；

事實上，leaky relu函數(shù)是一種特殊的單調(diào)遞增奇函數(shù)，除了不滿足-f(x)=f(-x)在數(shù)值上的要求，具有其他奇函數(shù)的一切性質(zhì).

定理2.已知時變凸QP問題的系數(shù)矩陣J(t)，k(t)，D(t)，l(t)，VP-IDLN的狀態(tài)變量y(t)在使用linear激活函數(shù)時可以收斂至唯一理論解y*(t)，收斂速度能達到超指數(shù)級，其具體收斂速率為(αet+5-5β-βt)/βt.

證明：當選擇linear函數(shù)φ(x)=x，x∈R為激活函數(shù)，方程(7)變?yōu)椋?/p>

(18)

方程(18)是一個典型的一階線性微分方程，其通解為：

(19)

對φi(t)求導(dǎo)，得hi(t)為：

(20)

(21)

綜上所述，VP-IDLN使用linear激活函數(shù)時有超指數(shù)級的收斂性質(zhì)，其收斂速率為(αet+5-5β-βt)/βt.

證明成立.

定理3.已知時變系數(shù)矩陣J(t)，k(t)，D(t)，l(t)，使用power函數(shù)作為激活函數(shù)求解時變凸QP問題時，VP-IDLN的狀態(tài)變量y(t)可以收斂至唯一理論解y*(t).其具體的收斂性質(zhì)如下所示：

(22)

(23)

(24)

將式(24)改寫成可分離變量形式，有：

(25)

對式(25)兩邊同時積分，得到一個關(guān)于時間t的方程：

(26)

(27)

由δi(t)的定義可得φi(t)為：

(28)

(29)

因為u>1所以有(u-1)e(t+5)/u/u2>0.根號內(nèi)-α(u-1)e(t+5)/u/βu+C1是一個單調(diào)遞減函數(shù).當α(u-1)e(t+5)/u/βu=C1時其收斂時間為Tcon=ulnC2-5，其中C2=C1βu/α(u-1).由單調(diào)遞減函數(shù)的性質(zhì)可知，當t∈[0，Tcon]時，函數(shù)-α(u-1)e(t+5)/u/βu+C1≥0.當t∈(Tcon，+∞)時，hi(t)<0，方程(29)在實數(shù)域內(nèi)無解.這是因為u是大于1的奇數(shù)，所以u-1必為偶數(shù)，而偶數(shù)方根內(nèi)數(shù)必須為非負數(shù)，其互相矛盾而無解.

綜上所述，hi(t)在t≥Tcon時可收斂至零.

(30)

總而言之，VP-IDLN的收斂性質(zhì)可以表述為：

至此，證明了VP-IDLN可以在有限時間內(nèi)收斂，接下來討論其收斂速率.

由方程(30)不能直接獲得hi(t)收斂速率，因而通過與linear激活函數(shù)比較來判定其收斂速率.

由式(22)可知，VP-IDLN使用power函數(shù)時hPi(t)為：

(31)

式中hPi(t)的下標P代表power函數(shù).然后對hPi(t)求導(dǎo)得其導(dǎo)數(shù)為：

(32)

類似的，通過對方程(18)求導(dǎo)能夠得到VP-IDLN使用linear激活函數(shù)時hLi(t)導(dǎo)數(shù)為：

(33)

式中L是hLi(t)的下標，代表使用了linear函數(shù)時hi(t)的值.為了方便比較linear函數(shù)和power函數(shù)的收斂速率，假定存在某時刻滿足hPi(t)=hLi(t)=hi(t)，然后有以下不等式：

(34)

證明成立.

定理4.已知時變凸QP問題的系數(shù)矩陣J(t)，k(t)，D(t)，l(t)，當使用leaky relu激活函數(shù)時，VP-IDLN能夠以超指數(shù)級的收斂速率完成收斂.當hi(t)>0時，收斂速率為(αet+5-5β-βt)/βt.當hi(t)≤0時，收斂速率為(αet+5-r5β-rβt)/rβt.式中r是一個很小的正數(shù).

證明：leaky relu函數(shù)本質(zhì)上與linear函數(shù)差別不大，僅在hi(t)≤0時多了一個系數(shù)r，為節(jié)省空間，證明過程可參見定理2，在此不再贅述.

3.3 VP-IDLN的魯棒性分析

當模型出現(xiàn)擾動誤差時，VP-IDLN的數(shù)學(xué)模型可寫為：

(35)

式中ΔO(t)∈Rm×n代表的是模型中擾動誤差.

證明：為便于推導(dǎo)，將方程(35)改寫為如下矢量形式：

(36)

(37)

類似于收斂性證明，根據(jù)李雅普諾夫穩(wěn)定性定理，先定義一個適當?shù)睦钛牌罩Z夫函數(shù).則先定義函數(shù)：

(38)

(39)

(40)

(41)

結(jié)合公式(41)與李雅普諾夫穩(wěn)定性理論，對以上兩種情況進行細致分析.特別地，|hi(t)|是非負數(shù)且φ(·)是單調(diào)遞增的奇函數(shù).所以αφ(|hi(t)|)是一個非負數(shù).

(42)

將不等式(42)代入方程(12)，得到狀態(tài)解y(t)和理論解y*(t)間的誤差‖(t)‖2為：

(43)

綜上所述，即使VP-IDLN中存在干擾誤差，VP-IDLN也具有良好的魯棒性，能排除干擾，快速收斂到一個穩(wěn)定值.

證明完畢.

4 實驗與分析

本節(jié)首先通過仿真實驗驗證不同參數(shù)α，β對VP-IDLN收斂速率的影響.其次進一步分析參數(shù)改變對VP-IDLN魯棒性的影響.最后，在使用linear，power與leaky relu激活函數(shù)的情況下，將VP-IDLN與傳統(tǒng)的微分神經(jīng)網(wǎng)絡(luò)(即GNN，ZNN，VP-CDNN)進行比較，證明VP-IDLN具有更好的收斂性能和更短的收斂時間.

4.1 時變凸QP問題的系數(shù)矩陣

在進行仿真實驗前，不失一般性，參數(shù)矩陣J(t)，k(t)，D(t)，l(t)分別設(shè)為：

(44)

式中Ci=cos(i*t)且Si=sin(i*t).此外，時變凸QP問題理論解y*(t)和狀態(tài)解y(t)可以寫成：

(45)

式中ya，yb，yc都是隨機數(shù).

4.2 參數(shù)選擇

本部分將探究不同參數(shù)值α和β對VP-IDLN收斂性質(zhì)的影響，詳實的實驗結(jié)果數(shù)據(jù)如表1、圖3和圖4所示.不失一般性，本部分實驗選用linear函數(shù)為激活函數(shù)，使用控制變量法，固定一個參數(shù)，不斷改變另一個參數(shù)，進行六次獨立重復(fù)實驗.

表1 使用linear激活函數(shù)，VP-IDLN不同參數(shù)對應(yīng)收斂時間Table 1 Convergence time of VP-IDLN with linear-type activation function and different parameters α and β

首先，由圖3(a)可知，當α=1，β=0.01時，狀態(tài)變量y(t)收斂至唯一理論解y*(t)的時間為0.0028s.當α=1，β=0.1時，從圖3(b)可知，誤差‖(t)‖2的收斂時間為0.0057s.當α=1，β=1，根據(jù)圖3(c)，狀態(tài)分量y1(t)，y2(t)收斂至理論解分量和時間是0.032s.其次，由圖4(a)，當α=0.1，β=0.1時，狀態(tài)變量y(t)在0.031s內(nèi)收斂至理論解y*(t).當α=1，β=0.1時，如圖4(b)所示，狀態(tài)分量y1(t)和y2(t)能在0.0057s內(nèi)從隨機初值收斂至理論解分量與當α=10，β=0.1時，根據(jù)圖4(c)，誤差‖(t)‖2完成收斂過程需要0.0025s.因此，可知VP-IDLN的收斂速度受參數(shù)α，β影響，保持參數(shù)α不變，增大β，VP-IDLN收斂時間也隨之變大；保持參數(shù)β不變增大α，VP-IDLN的收斂時間縮短.

最后，基于圖3和圖4的數(shù)據(jù)和實驗，作出了關(guān)于VP-IDLN不同參數(shù)所對應(yīng)的收斂時間表1.由表1可知，當參數(shù)α=1時，增大β而減少參數(shù)比值α/β(具體值為100，20，10，2，1)，VP-IDLN的收斂時間會逐漸增大 (為0.0028s，0.0031s，0.0057s，0.018s，0.032s).保持β=0.1，增加α的值而增大比值α/β(具體值為1，5，10，50，100)，VP-IDLN的收斂時間逐漸變小 (分別為0.031s，0.006s，0.0057s，0.0047s，0.0025s).

圖3 保持α不變，增大β時VP-IDLN的計算誤差‖(t)‖2Fig.3 Computational error‖(t)‖2of the VP-IDLN when parameter α remains unchanged and β becomes larger

圖4 保持β不變，增大α?xí)rVP-IDLN的計算誤差‖(t)‖2Fig.4 Computational error‖(t)‖2of the VP-IDLN when parameter β remains unchanged and α becomes larger

綜上所述，VP-IDLN的收斂時間與參數(shù)α和β的比值密切相關(guān)，α/β的值越大，其收斂時間越短，收斂速度越快.值得一提的是，即使在參數(shù)設(shè)置較差的情況下，VP-IDLN最長的收斂時間依然小于0.04s，比傳統(tǒng)微分神經(jīng)網(wǎng)絡(luò)在參數(shù)較好下的收斂時間還要短(參見4.4節(jié)圖7(a)中l(wèi)inear激活函數(shù)GNN，ZNN和VP-CDNN的收斂時間).可見，VP-IDLN在參數(shù)設(shè)置不佳時也有很快的收斂速率，擁有較高的下限.

4.3 魯棒性分析

與收斂性實驗類似，在使用linear激活函數(shù)的前提下，使用控制變量法，固定一個參數(shù)，改變另一參數(shù)，進行6次獨立重復(fù)實驗.本次實驗中，干擾誤差為：

ΔO(t)=[0.02cost，0.03sin2t，0.02sin4t]T

其實驗結(jié)果如圖5、圖6和表2所示.綜合圖5和圖6可知，模型中存在誤差VP-IDLN也能較好的消除其影響，快速收斂并趨于穩(wěn)定，收斂曲線幾乎沒有振蕩.其收斂性質(zhì)與4.2節(jié)分析一致.但其缺點也較明顯，參數(shù)選擇較差時VP-IDLN的誤差無法完成收斂，會趨于一個較為穩(wěn)定的值.事實上，這個穩(wěn)定值也不可能是一條直線，仔細觀察，其有極小幅度的波動.選擇該曲線最大波動值稱為最大誤差來衡量其波動幅度.由圖5可知，保持α不變，增大β，VP-IDLN 的誤差‖(t)‖2的最大誤差變化極小.從圖5(a)-圖5(c) 可知，β的增大對VP-IDLN最大誤差影響微乎其微，其最大誤差近似相等，其值在0.157 左右浮動，更多詳細數(shù)據(jù)可見表2.

圖5 保持α不變，增大β且模型中存在擾動誤差時VP-IDLN的計算誤差‖(t)‖2=‖y(t)-y*(t)‖2Fig.5 Computational error‖(t)‖2of the VP-IDLN when parameter α remains unchanged and β becomes larger with disturbance

圖6 保持β不變，增大α且模型中存在擾動誤差時VP-IDLN的計算誤差‖(t)‖2=‖y(t)-y*(t)‖2Fig.6 Computational error‖(t)‖2of the VP-IDLN when parameter β remains unchanged and α becomes larger with disturbance

表2 使用linear激活函數(shù)，VP-IDLN不同參數(shù)對應(yīng)最大誤差Table 2 Maximum error of VP-IDLN with linear-type activation function and different parameters α and β

與之相對，保持β不變，增大α，VP-IDLN的最大誤差有顯著變化.當α=1，β=1時，由圖6(a)可知，VP-IDLN的最大誤差是0.165.當α=5，β=1時，根據(jù)圖6(b)，最大誤差降至0.031.當α=10，β=1時，從圖6(c)可得，VP-IDLN的最大誤差已經(jīng)滿足收斂要求，為0.015. 綜上所述，保持β不變，增大α，VP-IDLN 的最大誤差會不斷下降，直至滿足收斂要求.

除此之外，根據(jù)圖5和圖6與實驗數(shù)據(jù)，制作了數(shù)據(jù)詳實的表2.顯而易見，在模型中存在干擾誤差的情況下，參數(shù)α，β對其魯棒性的影響各不相同，當α=1，β=0.01，0.05，0.1，0.5，1時，VP-IDLN的最大誤差分別為0.154，0.156，0.157，0.159，0.161.當β=1，α=1，2，5，8，10時，VP-IDLN 的最大誤差為0.167，0.076，0.033，0.018，0.015.綜上所述，兩個參數(shù)中α對VP-IDLN 的魯棒性影響較大，α的值越大，其魯棒性也就越好，收斂速度越快，抗干擾能力越強.現(xiàn)實生活中，可以根據(jù)需要，選擇合適的參數(shù).

4.4 與傳統(tǒng)微分神經(jīng)網(wǎng)絡(luò)比較

本小節(jié)，在使用linear，power和leaky relu函數(shù)的情況下，將VP-IDLN與傳統(tǒng)的微分神經(jīng)網(wǎng)絡(luò)進行比較，以驗證VP-IDLN具有更好的收斂性質(zhì)與更快的收斂速率.在本次實驗中，3種神經(jīng)網(wǎng)絡(luò)都選用了一樣的系數(shù)矩陣和相應(yīng)的激活函數(shù).此外，還保證了微分神經(jīng)網(wǎng)絡(luò)GNN，ZNN和VP-CDNN的參數(shù)γ=10等于VP-IDLN的α/β.特別地，leaky relu函數(shù)中r=0.1.其實驗結(jié)果見圖7.

由圖7(a)-圖7(c)可知，無論使用何種激活函數(shù)，VP-IDLN的收斂速率總是最快，其收斂時間是GNN，ZNN，VP-CDNN的十分之一，甚至更快.如圖7(a)所示，當激活函數(shù)為linear函數(shù)時，VP-IDLN，ZNN，VP-CDNN都能在有限時間內(nèi)完成收斂，而GNN保持大幅度的震蕩無法收斂.然而，VP-IDLN能夠在0.005s內(nèi)完成收斂，而VP-CDNN與ZNN需要0.55s，差距較為明顯.當power函數(shù)作為激活函數(shù)時，從圖7(b)可知，VP-IDLN依然有最快的收斂速率，在0.005s內(nèi)完成了收斂.與之相對的是GNN，ZNN與VP-CDNN都無法在2s內(nèi)完成收斂.GNN因其不能實時追蹤時變解依然保持大幅度的震蕩，而ZNN與VP-CDNN雖然有下降的趨勢，但收斂速度過慢而無法在2s內(nèi)結(jié)束收斂.在使用leaky relu函數(shù)時，其差別也更大.VP-IDLN依然可以在0.005s內(nèi)完成收斂，但其他神經(jīng)網(wǎng)絡(luò)都無法在2s內(nèi)完成收斂，盡管把時間尺度放大到10s，VP-CDNN依然需要3.9s才能完成收斂.ZNN雖然有收斂的趨勢，但無法在有限時間內(nèi)完成收斂.GNN一如既往保持振蕩，無法實時追蹤理論解，效果較差.

圖7 在使用不同激活函數(shù)求解時變凸QP問題時，VP-IDLN的誤差‖(t)‖2與傳統(tǒng)微分神經(jīng)網(wǎng)絡(luò)GNN，ZNN和VP-CDNN的比較Fig.7 Online solutions to convex QP problem and the computational error‖(t)‖2=‖y(t)-y*(t)‖2 of VP-IDLN with different activation functions compared with GNN，ZNN，VP-CDNN

綜上所述，在保持參數(shù)一致的情況下，無論選用何種激活函數(shù)，擁有超指數(shù)級收斂速率的VP-IDLN的收斂性能總是好于傳統(tǒng)的微分神經(jīng)網(wǎng)絡(luò)GNN，ZNN和VP-CDNN.

5 結(jié)束語

為了求解受約束的時變凸QP問題，本文提出了一種新型的變參積分動態(tài)學(xué)習(xí)網(wǎng)絡(luò) (VP-IDLN).首先，該神經(jīng)網(wǎng)絡(luò)設(shè)計參數(shù)為指數(shù)型，具有時變、靈活和自適應(yīng)調(diào)整的特點.其次，通過理論分析，證明了VP-IDLN具有全局收斂性，在選用不同激活函數(shù)時擁有超指數(shù)級的收斂速率，實現(xiàn)了超指數(shù)率收斂.然后，分析證明了VP-IDLN具有良好的魯棒性，抗干擾能力較強.最后，通過仿真實驗證明了VP-IDLN具有良好的收斂性能，即使在參數(shù)不佳的情況下也有良好的表現(xiàn)，下限較高.除此之外，相同參數(shù)設(shè)置下VP-IDLN的收斂速率也遠快于傳統(tǒng)微分神經(jīng)網(wǎng)絡(luò)GNN，ZNN 與VP-CDNN.