動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)分類器主動(dòng)學(xué)習(xí)算法及其智能控制應(yīng)用

任紅格　李冬梅　李福進(jìn)

(河北聯(lián)合大學(xué)電氣工程學(xué)院　河北 唐山 063009)

?

動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)分類器主動(dòng)學(xué)習(xí)算法及其智能控制應(yīng)用

任紅格李冬梅李福進(jìn)

(河北聯(lián)合大學(xué)電氣工程學(xué)院河北 唐山 063009)

摘要針對(duì)動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)分類器訓(xùn)練時(shí)采樣時(shí)間長(zhǎng)、計(jì)算量大的問(wèn)題，提出一種動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)分類器的主動(dòng)學(xué)習(xí)算法。根據(jù)主動(dòng)學(xué)習(xí)AL(Active Learning)算法中一種改進(jìn)型不確定性采樣策略，綜合考慮樣本的后驗(yàn)概率及其與已標(biāo)記樣本間的相似性，標(biāo)注綜合評(píng)價(jià)得分值較小的樣本，將其用于對(duì)網(wǎng)絡(luò)分類器的訓(xùn)練。通過(guò)Sobol’敏感度分析法，神經(jīng)網(wǎng)絡(luò)適時(shí)地增加敏感度值較大或刪減敏感度值較小的隱層神經(jīng)元，以提高其學(xué)習(xí)速率，減小輸出誤差。分類器訓(xùn)練仿真實(shí)驗(yàn)結(jié)果表明，與被動(dòng)學(xué)習(xí)算法相比，該算法能夠大大縮短網(wǎng)絡(luò)分類器訓(xùn)練時(shí)間，降低其輸出誤差。將該算法用于液壓AGC系統(tǒng)中，實(shí)驗(yàn)結(jié)果表明，該算法可實(shí)現(xiàn)系統(tǒng)中PID控制器參數(shù)的在線調(diào)節(jié)，提高了厚度控制精度，以此驗(yàn)證了該算法的適用性。

關(guān)鍵詞主動(dòng)學(xué)習(xí)動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)分類器Sobol’敏感度分析法改進(jìn)型不確定采樣策略液壓AGC

0引言

神經(jīng)網(wǎng)絡(luò)作為一種監(jiān)督學(xué)習(xí)模型廣泛應(yīng)用于分類問(wèn)題[1]，神經(jīng)網(wǎng)絡(luò)分類器的設(shè)計(jì)包括神經(jīng)網(wǎng)絡(luò)模型的選擇、采集樣本、標(biāo)記樣本以及樣本訓(xùn)練等過(guò)程[2]。若樣本采集、標(biāo)注的方法選擇不當(dāng)，就有可能增加分類器訓(xùn)練時(shí)間，并在計(jì)算量上也付出較大代價(jià)。同樣，若神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)選擇過(guò)大或過(guò)小也會(huì)影響分類器學(xué)習(xí)效率，改變分類器最終性能。

基于上述問(wèn)題，在分類器學(xué)習(xí)方法選取上，目前主動(dòng)學(xué)習(xí)AL算法是該領(lǐng)域中的重要研究方向之一，它同時(shí)利用標(biāo)注和無(wú)標(biāo)注樣例來(lái)構(gòu)建高精度分類模型，以降低人類專家工作量[3]。近年來(lái)主動(dòng)學(xué)習(xí)被大量應(yīng)用于信息檢索、圖像和語(yǔ)音識(shí)別、文本分類和自然語(yǔ)言處理等領(lǐng)域[3,4]。2009年，韓光等人將一種SVM主動(dòng)學(xué)習(xí)算法應(yīng)用于障礙物檢測(cè)中，并在真實(shí)的野外環(huán)境圖像庫(kù)上進(jìn)行了實(shí)驗(yàn)，證明了其較快的收斂速度[5]；2011年，陳榮等人將主動(dòng)學(xué)習(xí)算法引入到SVM分類器的圖像分類算法中，并通過(guò)實(shí)驗(yàn)驗(yàn)證了該算法能夠有效地減少分類器訓(xùn)練時(shí)所需的人工標(biāo)注樣本的數(shù)量，同時(shí)獲得較高的準(zhǔn)確率和較好的魯棒性[6]；2013年，吳偉寧通過(guò)主動(dòng)學(xué)習(xí)算法，以盡量少的標(biāo)注和時(shí)間代價(jià)構(gòu)造了一個(gè)較高精度的對(duì)象類別識(shí)別系統(tǒng)[7]。

在神經(jīng)網(wǎng)絡(luò)模型選取的問(wèn)題上，由于目前的神經(jīng)網(wǎng)絡(luò)多數(shù)是通過(guò)足夠的設(shè)計(jì)經(jīng)驗(yàn)和充足的數(shù)據(jù)確定其結(jié)構(gòu)，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)一旦確定將不再調(diào)整[8]。因此，本文建立了一種基于敏感度分析的增長(zhǎng)—修剪型動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)模型。動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)通過(guò)敏感度分析，刪減敏感度值小的神經(jīng)元，當(dāng)網(wǎng)絡(luò)處理問(wèn)題能力較弱時(shí)，插入敏感度值大的神經(jīng)元，以提高網(wǎng)絡(luò)學(xué)習(xí)速率，減小輸出誤差。

首先，本文在主動(dòng)學(xué)習(xí)算法現(xiàn)有的不確定性采樣策略US(Uncertainty Sampling)基礎(chǔ)上，提出一種改進(jìn)型不確定性采樣策略MUS(Modified Uncertainty Sampling)。通過(guò)對(duì)各訓(xùn)練樣本后驗(yàn)概率以及無(wú)標(biāo)記樣本與有標(biāo)記樣本間相似性的分析，從大量無(wú)標(biāo)記樣本中選取符合采樣條件的樣本，用以動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，從而達(dá)到減少采集樣本時(shí)間和計(jì)算量的目的。其次，可訓(xùn)練的動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)分類器根據(jù)Sobol’敏感度分析方法適時(shí)地增加敏感度值較大或刪減敏感度值較小的隱含層神經(jīng)元，以縮短網(wǎng)絡(luò)學(xué)習(xí)時(shí)間，減小網(wǎng)絡(luò)輸出誤差。最后，將該算法用于液壓AGC系統(tǒng)中，通過(guò)在線調(diào)節(jié)PID控制器的參數(shù)來(lái)達(dá)到提高厚度控制的目的。仿真實(shí)驗(yàn)結(jié)果驗(yàn)證了所提算法的有效性和適用性。

1主動(dòng)學(xué)習(xí)算法

主動(dòng)學(xué)習(xí)算法的思想是利用現(xiàn)有的知識(shí)，選擇標(biāo)記部分樣例加入訓(xùn)練集，迭代訓(xùn)練分類器，盡可能用較少的訓(xùn)練數(shù)據(jù)得到較高分類性能的分類器，以加速學(xué)習(xí)過(guò)程并提高分類性能。主動(dòng)學(xué)習(xí)算法的工作過(guò)程是一個(gè)迭代訓(xùn)練分類器的過(guò)程，該過(guò)程先通過(guò)采樣方法從大量沒有標(biāo)記的樣例中選出最有價(jià)值的樣例，之后用這些樣例進(jìn)行循環(huán)訓(xùn)練，當(dāng)達(dá)到一定精度后輸出[ 3,4,9]。

主動(dòng)學(xué)習(xí)算法可以由五個(gè)組件進(jìn)行建模：

A=(C,L,S,Q,U)

其中C為分類器；L是一組已標(biāo)注的訓(xùn)練樣本集；Q是用于在未標(biāo)注的樣本中查詢信息量大的樣本的查詢函數(shù)；U是整個(gè)未標(biāo)注樣本集；S是督導(dǎo)者，來(lái)對(duì)未標(biāo)注樣本進(jìn)行標(biāo)注。

主動(dòng)學(xué)習(xí)算法的過(guò)程：初始化階段，隨機(jī)從未標(biāo)記樣本中選取一小部分樣本由督導(dǎo)者進(jìn)行標(biāo)注，用已標(biāo)注好的樣本對(duì)分類器進(jìn)行初步訓(xùn)練得到一個(gè)初始分類器模型；循環(huán)查詢階段，督導(dǎo)者S從未標(biāo)注樣本集U中按照某種查詢標(biāo)準(zhǔn)Q，選取一定的未標(biāo)注樣本進(jìn)行標(biāo)注，并加到訓(xùn)練樣本集L中，分類器C被重新訓(xùn)練，直至達(dá)到某種訓(xùn)練停止標(biāo)準(zhǔn)為止[1,10]。

主動(dòng)學(xué)習(xí)方法采樣策略有很多種，其中基于不確定性的樣例選擇方法是適用性最廣的一類樣例采集方法。該樣例選擇方法是對(duì)后驗(yàn)概率p(y′|x)的預(yù)測(cè)值最接近0.5的樣例進(jìn)行采集，其中y′是x的預(yù)測(cè)值，之后加入到訓(xùn)練集中。

基于不確定性采樣策略的主動(dòng)學(xué)習(xí)算法在采樣過(guò)程中，因?yàn)橹桓鶕?jù)后驗(yàn)概率接近0.5進(jìn)行采樣，就會(huì)出現(xiàn)采集到重復(fù)樣例的情況，所以本文在不確定性采集策略的基礎(chǔ)上進(jìn)行了改進(jìn)。除了后驗(yàn)概率因素，還考慮了無(wú)標(biāo)記樣本與有標(biāo)記樣本間的相似性，將二者結(jié)合進(jìn)行樣例的采集。

2基于動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)的主動(dòng)學(xué)習(xí)算法

本文將一種基于改進(jìn)型不確定性采樣策略的主動(dòng)學(xué)習(xí)算法與動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)相結(jié)合，提出一種新型的動(dòng)態(tài)網(wǎng)絡(luò)主動(dòng)學(xué)習(xí)(MUSAL)算法。該算法首先選取一些已標(biāo)記樣本對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到一個(gè)初始動(dòng)態(tài)網(wǎng)絡(luò)。之后根據(jù)采樣策略從大量無(wú)標(biāo)記樣本中選取符合條件的樣本進(jìn)行標(biāo)記，用于訓(xùn)練網(wǎng)絡(luò)。若訓(xùn)練步數(shù)達(dá)到設(shè)定的最大步數(shù)或者網(wǎng)絡(luò)輸出符合要求時(shí)，訓(xùn)練過(guò)程便會(huì)終止；否則系統(tǒng)繼續(xù)循環(huán)訓(xùn)練。

2.1動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)主動(dòng)學(xué)習(xí)算法的樣本采集

主動(dòng)學(xué)習(xí)算法是一個(gè)迭代過(guò)程，首先使用已標(biāo)記樣本L對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到一個(gè)初始網(wǎng)絡(luò)權(quán)值。之后用網(wǎng)絡(luò)從對(duì)無(wú)標(biāo)記樣本集U中進(jìn)行輸出，選取后驗(yàn)概率接近0.5的n個(gè)樣本，對(duì)n個(gè)樣本進(jìn)行評(píng)定采集符合條件的樣本，將采集到的樣本加入到訓(xùn)練集中對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。樣本采集具體方法如下：

(1)

(2)

綜合上述兩方面，對(duì)無(wú)標(biāo)記樣例xi進(jìn)行評(píng)價(jià)：

Goal(xi)=Pi·Sim(xi)

(3)

其次根據(jù)式(3)選取最小得分值Goal(xi)的樣本由專家進(jìn)行標(biāo)記，加入已標(biāo)記樣本集L得到一個(gè)新的標(biāo)記樣本集L′，再由L′重新訓(xùn)練網(wǎng)絡(luò)，繼續(xù)在剩下的無(wú)標(biāo)記樣本集U′中采集樣本。直到達(dá)到最大迭代次數(shù)，或者U變?yōu)榭占?/p>

2.2神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的調(diào)整

增長(zhǎng)—修剪型動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)主要思想是：基于敏感度分析，刪除敏感度值太小的神經(jīng)元，并在神經(jīng)網(wǎng)絡(luò)信息處理能力不夠時(shí)插入敏感度值較大的新神經(jīng)元。每次調(diào)整完結(jié)構(gòu)，都要進(jìn)行參數(shù)的修改[8,11,12]。將該網(wǎng)絡(luò)與主動(dòng)學(xué)習(xí)結(jié)合，在減少網(wǎng)絡(luò)訓(xùn)練時(shí)間的同時(shí)也提高了網(wǎng)絡(luò)輸出的準(zhǔn)確性。

動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1　動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

第一層：輸入層

該層有n個(gè)節(jié)點(diǎn)，輸入層神經(jīng)元的輸出為：

ui=xii=1,2,…,n

(4)

其中，ui表示輸入層第i個(gè)神經(jīng)元的輸出，x=(x1,x2,…,xn)表示神經(jīng)網(wǎng)絡(luò)的輸入。

第二層：隱含層

該層含有m個(gè)神經(jīng)元，其輸出為：

(5)

第三層：輸出層

設(shè)該層有K個(gè)神經(jīng)元，其輸出為：

(6)

其中，yk表示第k個(gè)神經(jīng)元的輸出，wjk是隱含層第j個(gè)神經(jīng)元與輸出層第k個(gè)神經(jīng)元之間的連接權(quán)值。

網(wǎng)絡(luò)訓(xùn)練過(guò)程中均方差為：

(7)

其中，ydk表示神經(jīng)網(wǎng)絡(luò)第k個(gè)神經(jīng)元的期望輸出，yk表示神經(jīng)網(wǎng)絡(luò)第k個(gè)神經(jīng)元的實(shí)際輸出，b是神經(jīng)網(wǎng)絡(luò)訓(xùn)練步數(shù)。

假設(shè)采集到m個(gè)樣本對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，這些樣本通過(guò)網(wǎng)絡(luò)輸出得到對(duì)應(yīng)的均方差，并按大小排序，結(jié)果如下：

E1,E2,…,Et,Et+1,…,Em-1,Em

若Et是神經(jīng)網(wǎng)絡(luò)對(duì)上述樣例輸出方差最接近目標(biāo)誤差Eg的，則將Et作為系統(tǒng)反饋誤差調(diào)節(jié)網(wǎng)絡(luò)權(quán)值，以此訓(xùn)練網(wǎng)絡(luò)。如果網(wǎng)絡(luò)輸出的誤差E≥αEg，其中α是判斷因子，α>1，說(shuō)明此時(shí)神經(jīng)網(wǎng)絡(luò)的處理能力較弱，隱含層神經(jīng)元個(gè)數(shù)需要增加；如果網(wǎng)絡(luò)訓(xùn)練時(shí)間變得很長(zhǎng)，此時(shí)的網(wǎng)絡(luò)可能需要對(duì)神經(jīng)元進(jìn)行修減簡(jiǎn)化自身結(jié)構(gòu)。

動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)分為兩部分：輸入層與隱含層之間的連接；隱含層與輸出層之間的連接[8]，如圖2所示。本文主要通過(guò)分析隱含層神經(jīng)元輸出權(quán)值對(duì)神經(jīng)網(wǎng)絡(luò)輸出的影響調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)。

圖2　動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)分解圖

神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)調(diào)整的基本思想是：利用基于方差的全局敏感度分析法——Sobol’法。對(duì)神經(jīng)網(wǎng)絡(luò)隱含層神經(jīng)元與輸出層神經(jīng)元之間的連接權(quán)值進(jìn)行分析，得出敏感度值大小不同的神經(jīng)元。當(dāng)網(wǎng)絡(luò)結(jié)構(gòu)過(guò)大時(shí)，刪除敏感度值較小的神經(jīng)元；當(dāng)神經(jīng)網(wǎng)絡(luò)處理信息能力較弱時(shí)，插入上述神經(jīng)元敏感度分析過(guò)程中得出的敏感值較大的神經(jīng)元，以達(dá)到對(duì)結(jié)構(gòu)的調(diào)整。同時(shí)利用最速下降算法對(duì)新結(jié)構(gòu)的所有神經(jīng)元連接權(quán)值進(jìn)行修改。

Sobol’方法是典型的基于方差的全局敏感度分析法，其核心思想是對(duì)模型函數(shù)進(jìn)行分解，分別得到參數(shù)1次、2次以及更高次的敏感度。其中，1次敏感度代表參數(shù)主要影響，其他代表的是參數(shù)間相互作用的敏感度[13-16]。假設(shè)模型輸出函數(shù)Y=f(x),輸入xi∈X(i=1,2,…,n)并且0≤xi≤1。則輸出函數(shù)分解如下：

f1,2,…,n(x1,x2,…,xn)

(8)

式中，若每一個(gè)分項(xiàng)都滿足對(duì)其所包含的任意變量的積分為零，即：

∫fi1,i2,…,ikdxis=0

(9)

其中，1≤i1

fi(xi)=∫…∫f(x)dx1…dxi-1dxi+1…dxn-f0

(10)

(11)

以此類推可得出式(8)中各個(gè)分解項(xiàng)函數(shù)。

模型輸出f(x)的總方差為：

(12)

偏方差Ei為:

(13)

偏方差Ei,j為:

(14)

同樣以此類推便可得出各階方差。

在Sobol’方法中，總方差E表示所有輸入?yún)?shù)x對(duì)模型輸出的影響；偏方差Ei表示單個(gè)輸入數(shù)xi對(duì)模型輸出的影響；偏方差Ei,j表示輸入?yún)?shù)xi與xj之間相互作用對(duì)模型輸出的影響。則定義方差之比作為衡量輸入?yún)?shù)作用的全局敏感度值，表示為：

(15)

將網(wǎng)絡(luò)隱含層神經(jīng)元與輸出層神經(jīng)元間的連接權(quán)值[w11,w12,…,w1K,w21,w22,…,w2K,…,wm1,wm2,…,wmK]作為網(wǎng)絡(luò)神經(jīng)元敏感度分析的輸入量，神經(jīng)網(wǎng)絡(luò)為多輸出量，其輸出根據(jù)式(8)可分解為：

(16)

由于動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)中隱含層各神經(jīng)元對(duì)網(wǎng)絡(luò)輸出的作用是相互獨(dú)立的，故只需計(jì)算輸入?yún)?shù)的一階靈敏度值即可。利用上述Sobol’算法計(jì)算出隱含層神經(jīng)元一階敏感度值：

(17)

神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)具體調(diào)節(jié)過(guò)程如下：

(1) 給定一個(gè)隱含層神經(jīng)元個(gè)數(shù)不為0的三層感知器神經(jīng)網(wǎng)絡(luò)，進(jìn)行訓(xùn)練；分析是否符合結(jié)構(gòu)的修改條件，符合條件轉(zhuǎn)向步驟(2)，否則轉(zhuǎn)向步驟(4)。

(2) 判斷是否滿足結(jié)構(gòu)增長(zhǎng)條件，若不滿足轉(zhuǎn)步驟(3)。若滿足，利用式(17)計(jì)算出每一個(gè)隱層神經(jīng)元敏感度值，添加一個(gè)神經(jīng)元，并設(shè)定該神經(jīng)元的初始權(quán)值與敏感度最大的神經(jīng)元的權(quán)值相等，即：

wnew=wmax

(18)

(3) 根據(jù)修剪條件si<σ(σ為敏感度設(shè)定閾值，通常小于目標(biāo)誤差)對(duì)神經(jīng)元敏感度進(jìn)行分析，刪除敏感度值小于σ的神經(jīng)元。

(4) 利用快速下降算法對(duì)網(wǎng)絡(luò)連接權(quán)值進(jìn)行修改，如式(19)所示：

(19)

(5) 輸出達(dá)到允許范圍或者訓(xùn)練步數(shù)達(dá)到最大值時(shí)，停止計(jì)算；否則，若結(jié)構(gòu)不需調(diào)整則轉(zhuǎn)向步驟(4)，若結(jié)構(gòu)需要調(diào)整則轉(zhuǎn)向步驟(2)。

3液壓厚度自動(dòng)控制系統(tǒng)

液壓厚度自動(dòng)控制AGC(Automatic Gauge Control)系統(tǒng)精確度較高，響應(yīng)速度較快并且過(guò)載保護(hù)簡(jiǎn)單可靠。因此現(xiàn)在軋機(jī)中普遍應(yīng)用液壓壓下控制系統(tǒng)[17-19]，液壓AGC系統(tǒng)輥縫控制框圖如圖3所示。

圖3　液壓AGC輥縫控制框圖

根據(jù)圖3，通過(guò)對(duì)系統(tǒng)中各動(dòng)態(tài)元件的特性分析，AGC系統(tǒng)的整體模型如圖4所示。根據(jù)圖4代入各參數(shù)，經(jīng)過(guò)簡(jiǎn)化可得出被控對(duì)象傳遞函數(shù)為：

(20)

圖4　液壓AGC系統(tǒng)輥縫控制整體結(jié)構(gòu)圖

4仿真實(shí)驗(yàn)

在實(shí)驗(yàn)中選取5000個(gè)樣本進(jìn)行分類，設(shè)定初始隨機(jī)選擇的訓(xùn)練樣本數(shù)為200個(gè)，類別數(shù)量為4，網(wǎng)絡(luò)分類器神經(jīng)元敏感度閾值為σ=0.1，動(dòng)態(tài)網(wǎng)絡(luò)分類器訓(xùn)練步數(shù)最大值為T=10 000，輸出最大誤差E=0.04。

圖5　動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)輸出誤差

圖5描述的是分別通過(guò)基于改進(jìn)型不確定性采樣策略的主動(dòng)學(xué)習(xí)(MUSAL)算法、基于不確定性采樣策略的主動(dòng)學(xué)習(xí)(USAL)算法和被動(dòng)學(xué)習(xí)PL(Passive Learning)算法等三種方法訓(xùn)練的動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)的輸出誤差變化曲線。x軸表示動(dòng)態(tài)網(wǎng)絡(luò)分類器訓(xùn)練的步數(shù)，y軸表示動(dòng)態(tài)網(wǎng)絡(luò)分類器輸出誤差大小。從圖5可以看出通過(guò)三種方法，最終都能得到輸出誤差滿足要求的動(dòng)態(tài)網(wǎng)絡(luò)分類器。圖5中，三條曲線起始位置表示的是動(dòng)態(tài)網(wǎng)絡(luò)分類器初始化后的輸出誤差。通過(guò)對(duì)三條曲線的分析，三條曲線的起始位置是相近的，說(shuō)明隨機(jī)選取樣本訓(xùn)練得到的初始分類器輸出誤差相差不大。但隨著迭代過(guò)程的進(jìn)行，三條曲線漸漸有了差距，其中PL法的效率最低，在分類器誤差相同時(shí)，PL法需要訓(xùn)練的步數(shù)最多，其次是USAL法，而MUSAL法則需要最少的訓(xùn)練步數(shù)，這就說(shuō)明在得到相同輸出誤差的分類器時(shí)，使用MUSAL法能大大縮短訓(xùn)練網(wǎng)絡(luò)分類器的時(shí)間。如圖5所示，使用PL算法的分類器最終的輸出誤差也是不如其他兩種方法低，達(dá)到穩(wěn)定時(shí)，該方法輸出誤差在0.04與0.05之間，而USAL法雖與MUSAL法的最終誤差很相近，但還是比MUSAL法最終誤差稍微高些，大約在0.04左右，使用MUSAL算法分類器最終的輸出誤差為0.03左右。這就證明了MUSAL算法在縮短動(dòng)態(tài)網(wǎng)絡(luò)分類器訓(xùn)練時(shí)間上的有效性，并且也降低了網(wǎng)絡(luò)的輸出誤差。

主動(dòng)學(xué)習(xí)動(dòng)態(tài)網(wǎng)絡(luò)控制如圖6所示。

圖6　主動(dòng)學(xué)習(xí)動(dòng)態(tài)網(wǎng)絡(luò)控制器

采用主動(dòng)學(xué)習(xí)動(dòng)態(tài)網(wǎng)絡(luò)控制與被動(dòng)學(xué)習(xí)動(dòng)態(tài)網(wǎng)絡(luò)控制器兩種方法通過(guò)MATLAB對(duì)液壓AGC系統(tǒng)進(jìn)行實(shí)驗(yàn)仿真。選取剛厚度期望值hr=5 mm，要求允許最大偏差值emax=0.05 mm。實(shí)際板厚輸出與板厚誤差隨軋制時(shí)間變化的仿真曲線如圖7和圖8所示。 圖中，x軸表示的是板帶材軋制時(shí)間，y軸分別表示AGC系統(tǒng)實(shí)際輸出的板帶材厚度和厚度誤差。主動(dòng)學(xué)習(xí)動(dòng)態(tài)網(wǎng)絡(luò)控制器能使系統(tǒng)實(shí)際的輸出厚度達(dá)到期望值5 mm，輸出在0.2 s左右時(shí)開始穩(wěn)定，并且最終可以保持穩(wěn)定；輸出誤差滿足要求，在0.05 mm范圍內(nèi)，超調(diào)量很??；而與主動(dòng)學(xué)習(xí)動(dòng)態(tài)網(wǎng)絡(luò)控制器相比，被動(dòng)學(xué)習(xí)動(dòng)態(tài)網(wǎng)絡(luò)控制器的輸出雖然最終也達(dá)到了平衡但與期望值之間稍微存在一些誤差，并且達(dá)到穩(wěn)定時(shí)用時(shí)也較長(zhǎng)，超調(diào)量較大。以此驗(yàn)證了本文算法的高效性及適用性。

圖7　主動(dòng)學(xué)習(xí)動(dòng)態(tài)網(wǎng)絡(luò)控制厚度輸出曲線　　　圖8　主動(dòng)學(xué)習(xí)動(dòng)態(tài)網(wǎng)絡(luò)控制厚度誤差輸出曲線

5結(jié)語(yǔ)

針對(duì)動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)過(guò)程中訓(xùn)練時(shí)間長(zhǎng)、計(jì)算量較大等問(wèn)題，提出一種動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)分類器的主動(dòng)學(xué)習(xí)算法。該算法在不確定性采樣策略的基礎(chǔ)上，進(jìn)行了改進(jìn)，通過(guò)對(duì)無(wú)標(biāo)記樣本與標(biāo)記樣本集相似性的考慮，提高了采集樣本的有效性。并通過(guò)動(dòng)態(tài)網(wǎng)絡(luò)輸出誤差的MATLAB仿真實(shí)驗(yàn)對(duì)該算法進(jìn)行了驗(yàn)證。仿真實(shí)驗(yàn)結(jié)果表明，動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)輸出誤差達(dá)到平衡時(shí)間較短，并且誤差值較小，以此驗(yàn)證了該主動(dòng)學(xué)習(xí)算法的有效性。最后將該方法應(yīng)用于液壓AGC系統(tǒng)中，通過(guò)在線調(diào)節(jié)液壓AGC系統(tǒng)中PID控制器參數(shù)，提高厚度控制精度。最后利用MATLAB對(duì)實(shí)驗(yàn)進(jìn)行仿真，結(jié)果表明，系統(tǒng)輸出具有較快的調(diào)節(jié)速度和很小的超調(diào)量，以此證明了該算法的適用性。

參考文獻(xiàn)

[1] 劉康,錢旭,王自強(qiáng).主動(dòng)學(xué)習(xí)算法綜述[J].計(jì)算機(jī)工程與應(yīng)用,2012,48(34):1-4.

[2] 胡靜,高雋,楊靜.模糊神經(jīng)網(wǎng)絡(luò)分類器的主動(dòng)學(xué)習(xí)方法[J].中國(guó)科學(xué)技術(shù)大學(xué)學(xué)報(bào),2008,38(3):241-246.

[3] 吳偉寧,劉揚(yáng),郭茂祖,等.基于采樣策略的主動(dòng)學(xué)習(xí)算法研究進(jìn)展[J].計(jì)算機(jī)研究與發(fā)展,2012,49(6):1162-1173.

[4] 徐冉冉.基于主動(dòng)學(xué)習(xí)的智能算法及其在模式分類中的應(yīng)用[D].江蘇:江南大學(xué),2013.

[5] 韓光,趙春霞,胡雪蕾.一種新的SVM主動(dòng)學(xué)習(xí)算法及其在障礙物檢測(cè)中的應(yīng)用[J].計(jì)算機(jī)研究與發(fā)展,2009,46(11):1934-1941.

[6] 陳榮,曹永鋒,孫洪.基于主動(dòng)學(xué)習(xí)和半監(jiān)督學(xué)習(xí)的多類圖像分類[J].自動(dòng)化學(xué)報(bào),2011,37(8):954-962.

[7] 吳偉寧.主動(dòng)學(xué)習(xí)算法中采樣策略研究[D].黑龍江:哈爾濱工業(yè)大學(xué),2013.

[8] 韓紅桂.神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)動(dòng)態(tài)優(yōu)化設(shè)計(jì)方法及應(yīng)用[D].北京:北京工業(yè)大學(xué),2011.

[9] 白龍飛.基于支持向量機(jī)的主動(dòng)學(xué)習(xí)方法研究[D].山西:山西大學(xué),2012.

[10] 孫功星,戴貴亮.神經(jīng)網(wǎng)絡(luò)主動(dòng)學(xué)習(xí)的進(jìn)化算法[J].計(jì)算機(jī)科學(xué),2002,29(10):61-63.

[11] Peter J E V,Dwight R P.Numerical sensitivity analysis for aerodynamic optimization:a survey of approaches[J].Computers & Fluids,2010,39(3):373-391.

[12] 喬俊飛,韓紅桂.神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)動(dòng)態(tài)優(yōu)化設(shè)計(jì)的分析與展望[J].控制理論與應(yīng)用,2010,27(3):350-357.

[13] Yu W,Harris T J.Parameter uncertainty effects on variance-based sensitivity analysis[J].Reliability Engineering & System Safety,2009,94(2):596-603.

[14] 李睿.Sobol’靈敏度分析方法在結(jié)構(gòu)動(dòng)態(tài)特性分析中的應(yīng)用研究[D].湖南:湖南大學(xué),2003.

[15] Sobol’ I M.Sensitivity estimates for non-linear mathematical models[J].Mathematical Modelling and Computational Experiment,1993,4(1):407-414.

[16] Saltelli A,Taranto S,Campolongo F.Sensitivity analysis as an ingredient of modeling[J].Statistical Science,2000,15(4):377-395.

[17] 張貫宇.基于模糊神經(jīng)網(wǎng)絡(luò)參數(shù)整定的熱軋帶鋼厚度仿人智能控制[D].山西:太原理工大學(xué),2013.

[18] 丁修堃,張殿華,王貞祥.高精度板帶鋼厚度控制的理論與實(shí)踐[M].北京:冶金工業(yè)出版社,2009.

[19] 楊安,歐陽(yáng)奇.軋機(jī)液壓AGC系統(tǒng)建模及仿真[J].機(jī)床與液壓,2008,36(9):243-246.

收稿日期：2015-01-15。國(guó)家自然科學(xué)基金項(xiàng)目(61203343)；河北省自然科學(xué)基金項(xiàng)目(E2014209106)。任紅格，副教授，主研領(lǐng)域：人工智能。李冬梅，碩士生。李福進(jìn)，教授。

中圖分類號(hào)TP13TP183

文獻(xiàn)標(biāo)識(shí)碼A

DOI:10.3969/j.issn.1000-386x.2016.07.057

APPLICATION OF ACTIVE LEARNING ALGORITHM FOR DYNAMIC NEURAL NETWORK CLASSIFIER AND ITS INTELLIGENT CONTROL

Ren HonggeLi DongmeiLi Fujin

(SchoolofElectricalEngineering,HebeiUnitedUniversity,Tangshan063009,Hebei,China)

AbstractIn view of the long sampling time and large computation amount in training process of dynamic neural network classifier, we put forward an active learning algorithm for dynamic neural network classifier. According to an improved uncertainty sampling strategy in active learning algorithm, and considering both the posterior probability of the sample and the similarity of the marked samples, we annotated the samples with smaller comprehensive evaluation score and applied them in network classifier training. By sobol’ sensitivity analysis method, the neural network timely increased or pruned the hidden layer neurons with larger sensitivity value or smaller larger sensitivity value in order to improve the learning rate and reduce the output error. Results of simulation experiment of classifier training showed that compared with the passive learning algorithm, the proposed algorithm could greatly shorten the network classifier training time and reduce the output error. Applying the algorithm to hydraulic AGC system, the experimental results showed that it could realise the online adjustment of PID controller parameters in system, and improve the precision of the thickness control, these validated the applicability of the proposed algorithm.

KeywordsActive learningDynamic neural network classifierSobol’ sensitivity analysisImproved uncertainty sampling strategyHydraulic AGC