基于神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)控制的圖像挖掘算法*

潘明波

(云南工商學(xué)院 信息工程學(xué)院， 昆明 651701)

隨著大數(shù)據(jù)時(shí)代的來臨，各種圖像數(shù)據(jù)呈爆炸式增長，要在海量數(shù)據(jù)中通過人工方式分類識別出所需的目標(biāo)是一個(gè)巨大甚至不可能完成的挑戰(zhàn)，因此，基于計(jì)算機(jī)的圖像自動(dòng)分類識別成為當(dāng)前的研究熱點(diǎn).常用的圖像識別方法包括基于幾何特征的識別方法、基于統(tǒng)計(jì)學(xué)的識別方法、基于模型的識別方法、基于神經(jīng)網(wǎng)絡(luò)的識別方法以及各種識別方法的綜合應(yīng)用等[1-4].其中，基于神經(jīng)網(wǎng)絡(luò)的識別方法采用當(dāng)前流行的神經(jīng)網(wǎng)絡(luò)作為圖像識別的基本核心模型[5-6].神經(jīng)網(wǎng)絡(luò)通過模擬人類的神經(jīng)活動(dòng)，具有自學(xué)習(xí)和自適應(yīng)等優(yōu)點(diǎn)，能夠在人工干預(yù)較少的情況下智能地識別出所需目標(biāo).而小波變換[7-8]是現(xiàn)代應(yīng)用數(shù)學(xué)和工程學(xué)科中發(fā)展起來的新學(xué)科，通過將小波變換和神經(jīng)網(wǎng)絡(luò)聯(lián)合運(yùn)用，可以發(fā)揮兩者的優(yōu)勢.小波神經(jīng)網(wǎng)絡(luò)[9-10]具有收斂速度快及逼近能力強(qiáng)等優(yōu)點(diǎn)，其誤差函數(shù)關(guān)于網(wǎng)絡(luò)權(quán)值是凸函數(shù)，可以消除網(wǎng)絡(luò)收斂于局部最小值的問題.通過小波基個(gè)數(shù)等于神經(jīng)元節(jié)點(diǎn)數(shù)等規(guī)律確定小波元和神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的數(shù)目，減少設(shè)計(jì)負(fù)擔(dān).各個(gè)小波神經(jīng)元之間的相關(guān)性較低，可以保證算法較快地收斂.小波變換與神經(jīng)網(wǎng)絡(luò)的組合包括兩種形式：小波變換與神經(jīng)網(wǎng)絡(luò)結(jié)合，小波變換與神經(jīng)網(wǎng)絡(luò)融合.小波變換與神經(jīng)網(wǎng)絡(luò)結(jié)合是一種松散的組合應(yīng)用，將小波變換處理結(jié)果作為神經(jīng)網(wǎng)絡(luò)的輸入，兩者可以分開運(yùn)行；小波變換與神經(jīng)網(wǎng)絡(luò)融合是交融的組合應(yīng)用.以小波基函數(shù)替換神經(jīng)網(wǎng)絡(luò)中隱節(jié)點(diǎn)函數(shù)，以小波函數(shù)的尺度和平移變換參數(shù)替代神經(jīng)網(wǎng)絡(luò)中輸入層到隱含層的權(quán)值和閾值.本文采用小波變換與神經(jīng)網(wǎng)絡(luò)融合的方法，利用高斯小波基函數(shù)作為神經(jīng)網(wǎng)絡(luò)的隱節(jié)點(diǎn)函數(shù)，結(jié)合自適應(yīng)神經(jīng)網(wǎng)絡(luò)各參數(shù)初始值設(shè)置方法和改進(jìn)的模擬退火算法自適應(yīng)控制學(xué)習(xí)效率，通過對圖像特征的學(xué)習(xí)實(shí)現(xiàn)對圖像對象的分類識別操作.

1 算法模型

基于小波神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)控制的圖像挖掘算法能夠?qū)崿F(xiàn)對輸入圖像的自動(dòng)分類，其輸入是各種類型的圖像，輸出是圖像所屬的類標(biāo)簽.為了使各種圖片都能順利分類，需要將圖片進(jìn)行標(biāo)準(zhǔn)化處理，本文算法是將圖片進(jìn)行下采樣形成100×100的像素大小.整個(gè)處理過程包括學(xué)習(xí)和分類兩個(gè)過程.在學(xué)習(xí)過程中輸入帶有明確類標(biāo)簽的訓(xùn)練樣本對小波神經(jīng)網(wǎng)絡(luò)的各種參數(shù)進(jìn)行訓(xùn)練，使其滿足算法分類需要.分類過程輸入需要分類的測試樣本，根據(jù)輸出的類標(biāo)簽實(shí)現(xiàn)圖像的分類操作.

與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)圖像分類算法相比，該算法的創(chuàng)新性表現(xiàn)為：

1) 利用小波基函數(shù)代替?zhèn)鹘y(tǒng)神經(jīng)網(wǎng)絡(luò)的線性函數(shù)，具有更快的收斂速度和逼近能力；

2) 提出了一種與學(xué)習(xí)樣本和神經(jīng)元傳遞函數(shù)相結(jié)合的網(wǎng)絡(luò)初始參數(shù)自適應(yīng)設(shè)置算法，保證了算法的收斂能力；

3) 利用改進(jìn)的模擬退火算法對小波神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)效率進(jìn)行局部自適應(yīng)控制調(diào)整，加快了學(xué)習(xí)收斂速度.

1.1 小波神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法

小波神經(jīng)網(wǎng)絡(luò)以小波基函數(shù)作為神經(jīng)網(wǎng)絡(luò)中神經(jīng)元的激勵(lì)函數(shù).從圖像挖掘的實(shí)際需求出發(fā)，算法采用sigmoid函數(shù)代替線性函數(shù)作為輸出層的激勵(lì)函數(shù)，利用熵函數(shù)定義網(wǎng)絡(luò)誤差，采用三層神經(jīng)網(wǎng)絡(luò)的形式，即輸入層、輸出層和一個(gè)隱含層.下標(biāo)k、i、j分別表示輸入層、輸出層和隱含層的神經(jīng)元標(biāo)記，相應(yīng)的各層結(jié)點(diǎn)數(shù)分別為m、N、n.輸入層的第k個(gè)輸入樣本用xk表示，輸出層的第i個(gè)輸出值用yi表示，隱含層第j個(gè)節(jié)點(diǎn)和輸入層第k個(gè)節(jié)點(diǎn)之間的連接權(quán)值用wjk表示，輸出層第i個(gè)節(jié)點(diǎn)與隱含層第j個(gè)節(jié)點(diǎn)之間的連接權(quán)值用wij表示，輸出層第i個(gè)節(jié)點(diǎn)的閾值用wio表示，隱含層第j個(gè)節(jié)點(diǎn)的閾值用wjo表示，隱含層第j個(gè)節(jié)點(diǎn)的伸縮和平移系數(shù)分別用aj和bj表示，小波神經(jīng)網(wǎng)絡(luò)可表示為

(1)

(2)

(3)

此時(shí)小波神經(jīng)網(wǎng)絡(luò)模型可以表示為

(4)

要計(jì)算小波神經(jīng)網(wǎng)絡(luò)中的最佳系數(shù)，對誤差熵求導(dǎo)數(shù)可得

(5)

(6)

(7)

(8)

引入學(xué)習(xí)效率η和動(dòng)量系數(shù)u之后的網(wǎng)絡(luò)參數(shù)調(diào)整公式為

(9)

(10)

(11)

(12)

其中，小波基函數(shù)為高斯小波基函數(shù)，其表達(dá)式為

(13)

其一階導(dǎo)數(shù)表示為

(14)

1.2 小波神經(jīng)網(wǎng)絡(luò)參數(shù)初始化

小波神經(jīng)網(wǎng)絡(luò)中各個(gè)連接權(quán)值和閾值初始值的選擇對其收斂能力和收斂速度有直接影響.好的初始值可以保證神經(jīng)網(wǎng)絡(luò)較快地收斂到所需結(jié)果，壞的初始值不但影響算法效率，甚至?xí)?dǎo)致算法發(fā)散或者收斂到錯(cuò)誤值.傳統(tǒng)的憑經(jīng)驗(yàn)設(shè)置初始值的方法隨機(jī)性較大，并且所設(shè)置的參數(shù)不滿足所有情況.解決這個(gè)問題的可行方法是將初始值的設(shè)定與學(xué)習(xí)樣本和神經(jīng)元傳遞函數(shù)相結(jié)合，得到一種自適應(yīng)控制的初始參數(shù)設(shè)置方法.隱含層第j個(gè)節(jié)點(diǎn)和輸入層第k個(gè)節(jié)點(diǎn)之間的連接權(quán)值wjk初始值的設(shè)置方法為：

1) 分別產(chǎn)生[-1，1]之間的均勻分布隨機(jī)數(shù)作為輸入層和隱含層間連接閾值wjk暫時(shí)值.

2) 基于每個(gè)隱含層節(jié)點(diǎn)對wjk進(jìn)行初始化，初始化公式為

(15)

3) 將歸一化結(jié)果乘以與輸入層節(jié)點(diǎn)數(shù)和隱含層節(jié)點(diǎn)數(shù)有關(guān)的因子，即

wjk=Cn1/mwjk

(16)

式中，C為與傳遞函數(shù)相關(guān)的常數(shù)，在高斯小波基函數(shù)情況下取值范圍為[1.8，2].

4) 結(jié)合學(xué)習(xí)樣本對初始值進(jìn)行修正.如果輸入層第k個(gè)神經(jīng)元輸入樣本的最大值和最小值分別為xkmax和xkmin，則最終的連接權(quán)值為

(17)

隱含層第j個(gè)節(jié)點(diǎn)的閾值wjo初始值設(shè)置方法為：

1) 分別產(chǎn)生[-1，1]之間的均勻分布隨機(jī)數(shù)作為每個(gè)隱含層節(jié)點(diǎn)閾值wjo的暫時(shí)值.

2) 將wjo乘以與輸入層節(jié)點(diǎn)數(shù)和隱含層節(jié)點(diǎn)數(shù)有關(guān)的因子，即

wjo=Cn1/mwjo

(18)

3) 將wjo與學(xué)習(xí)樣本的最大值、最小值及連接權(quán)值wjk相結(jié)合，即

(19)

隱含層與輸出層之間的連接權(quán)值及輸出層的閾值初始值的設(shè)置方式與上述相應(yīng)參數(shù)初始值設(shè)置方法類似.小波基函數(shù)的平移參數(shù)bj和伸縮參數(shù)aj的初始值設(shè)置方法分兩種情況進(jìn)行討論.

1) 輸入層節(jié)點(diǎn)數(shù)為1時(shí)，所有小波神經(jīng)元的伸縮參數(shù)aj相同，平移參數(shù)bj為

(20)

式中，M為訓(xùn)練樣本的總數(shù).

2) 輸入層節(jié)點(diǎn)數(shù)大于1時(shí)，為使小波伸縮參數(shù)覆蓋輸入向量，伸縮參數(shù)和平移參數(shù)初始值的設(shè)定需要滿足

(21)

式中：t*為母小波函數(shù)的時(shí)域中心；ΔΨ為半徑.在高斯小波函數(shù)中，t*為0，ΔΨ為1.224 74.由式(21)可解得伸縮參數(shù)和平移參數(shù)的初始值為

(22)

1.3 調(diào)整學(xué)習(xí)速率

調(diào)整學(xué)習(xí)速率可以使小波神經(jīng)網(wǎng)絡(luò)算法較快地收斂，進(jìn)而提高算法的運(yùn)算速率.調(diào)整方法包括局部學(xué)習(xí)速率自適應(yīng)控制調(diào)整和全局學(xué)習(xí)速率自適應(yīng)控制調(diào)整.本文利用改進(jìn)的模擬退火算法對小波神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)效率進(jìn)行局部自適應(yīng)控制調(diào)整，減小了學(xué)習(xí)過程中的震蕩現(xiàn)象并加快了學(xué)習(xí)收斂速度.在傳統(tǒng)的模擬退火算法基礎(chǔ)上，將學(xué)習(xí)過程分為加速階段和平穩(wěn)收斂階段兩步.加速階段使學(xué)習(xí)速率快速增加到最佳學(xué)習(xí)效率值，平穩(wěn)收斂階段調(diào)整學(xué)習(xí)效率.為了抑制仍然存在的震蕩現(xiàn)象，在改進(jìn)的模擬退火算法中引入了加動(dòng)量項(xiàng)法，即

(23)

式中：α為權(quán)值系數(shù)；z為更新次數(shù).當(dāng)前次dE(t)/dwij(t)與上一次符號相同時(shí)，Δwij(z)較大，反之較小，說明在增加調(diào)節(jié)速率的同時(shí)穩(wěn)定了震蕩效果.將動(dòng)量系數(shù)引入局部調(diào)整過程中，兩個(gè)時(shí)刻的目標(biāo)函數(shù)連接權(quán)值梯度符號相同時(shí)，根據(jù)兩者的梯度比值調(diào)整權(quán)值和步長，從而實(shí)現(xiàn)對學(xué)習(xí)效率的自適應(yīng)控制調(diào)整，算法過程如下：

1) 隨機(jī)產(chǎn)生較小的起始學(xué)習(xí)效率ηij(0).

2) 自適應(yīng)更新局部學(xué)習(xí)效率和連接權(quán)值.在加速階段，當(dāng)

如果

則

如果

則

當(dāng)

則

在平穩(wěn)收斂階段，當(dāng)

如果

則

如果

則

當(dāng)

則

式中：u1取值在1.5～3.0之間；d1在0.3～0.7之間；u2在1.1～1.3之間；d2在0.5～0.9之間；d3和d4在0.7～0.9之間；threshold在2.5～4.0之間.

2 實(shí)驗(yàn)及結(jié)果分析

實(shí)驗(yàn)采用Cifar數(shù)據(jù)集進(jìn)行圖像對象識別.Cifar數(shù)據(jù)集包括60 000個(gè)訓(xùn)練樣本和10 000個(gè)測試樣本，涵蓋了汽車、飛機(jī)、輪船等人造目標(biāo)和鳥、貓、狗、馬、鹿等動(dòng)物圖像.由于各種人造目標(biāo)與動(dòng)物之間差異較大，對其進(jìn)行識別難度較小.算法選擇鳥、貓、狗、馬和鹿五種動(dòng)物進(jìn)行識別.

從數(shù)據(jù)集中隨機(jī)選擇1 000個(gè)訓(xùn)練樣本和500個(gè)測試樣本進(jìn)行10次實(shí)驗(yàn)，每次實(shí)驗(yàn)對每種動(dòng)物的識別率如圖1所示，某次實(shí)驗(yàn)的結(jié)果數(shù)據(jù)如表1所示.

圖1 各種動(dòng)物識別率Fig.1 Recognition rate for various animals表1 單次實(shí)驗(yàn)各種動(dòng)物識別率Tab.1 Recognition rate for various animalsin single experiment

種類樣本數(shù)識別個(gè)數(shù)識別率/%鳥1139785.8貓1028684.3狗998383.8馬1058480.0鹿816377.8

由實(shí)驗(yàn)結(jié)果可知，對各種動(dòng)物的平均識別率為鳥85.7%、貓83.9%、狗83.3%、馬79.8%、鹿78.6%，總的正確識別率為82.3%.算法對鳥的識別率最高，這是由于從形態(tài)學(xué)還是顏色和紋理等特征上，鳥與其他四種動(dòng)物的區(qū)別都最大，因此能夠正確區(qū)分的程度最高.而馬和鹿兩種動(dòng)物無論是在體型、顏色、尾巴和腳等特征上都有較高的相似度，因此，算法在識別時(shí)容易將兩者誤分，識別率較低.選取四次實(shí)驗(yàn)中各個(gè)類別的具體數(shù)據(jù)，結(jié)果如圖2所示.

圖2 四次實(shí)驗(yàn)識別具體結(jié)果Fig.2 Specific recognition results of four experiments

每個(gè)子圖中的每一豎列對應(yīng)每類樣本的樣本數(shù)，每一橫列對應(yīng)識別為該類別的樣本數(shù).對角線上元素表示正確分類的數(shù)目，灰色元素表示錯(cuò)分?jǐn)?shù)目較大的類別.由圖2可知，對于鳥樣本，錯(cuò)誤分類主要表現(xiàn)為錯(cuò)分為貓和狗兩個(gè)類別.對于貓和狗樣本，錯(cuò)誤分類主要表現(xiàn)在將貓分類為狗，將狗分類為貓.對于馬和鹿樣本，錯(cuò)誤分類也主要表現(xiàn)為將馬分類為鹿，將鹿分類為馬.實(shí)驗(yàn)結(jié)果與直觀印象相符.

將本文算法與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法和稀疏表示算法對比，三種算法的訓(xùn)練樣本、測試樣本和所選特征均相同，進(jìn)行10次實(shí)驗(yàn)，每次實(shí)驗(yàn)對各種動(dòng)物的平均識別率如表2所示.

表2 三種算法識別率對比Tab.2 Comparison in recognition rate for three algorithms %

由表2可知，本文算法的平均正確識別率為84.0%，傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法的平均正確識別率為79.8%，稀疏表示算法的平均正確識別率為77.9%，本文算法的平均正確識別率優(yōu)于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法和稀疏表示算法的正確識別率，正確識別率提高了4.2%和6.1%，其原因是小波神經(jīng)網(wǎng)絡(luò)算法較普通神經(jīng)網(wǎng)絡(luò)算法有更強(qiáng)的非線性逼近能力，其誤差函數(shù)的凸性可以有效避免收斂于局部最小值.通過采用自適應(yīng)初始值選擇和自適應(yīng)學(xué)習(xí)效率調(diào)整方法，也提高了算法的執(zhí)行效率并避免了震蕩情況的出現(xiàn).

3 結(jié) 論

本文提出了一種基于小波變換融合神經(jīng)網(wǎng)絡(luò)的圖像識別挖掘算法.利用高斯小波基函數(shù)替代神經(jīng)網(wǎng)絡(luò)隱含層中隱節(jié)點(diǎn)函數(shù)，通過自適應(yīng)控制的方法設(shè)置小波神經(jīng)網(wǎng)絡(luò)初始化參數(shù)，結(jié)合改進(jìn)的模擬退火算法自適應(yīng)調(diào)整小波神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)效率并有效避免學(xué)習(xí)過程中的震蕩情況.實(shí)驗(yàn)結(jié)果表明，對于Cifar數(shù)據(jù)集中的五類動(dòng)物圖片，算法的平均正確識別率達(dá)到了84.0%，分類結(jié)果符合人類認(rèn)知的普遍規(guī)律.采用相同數(shù)據(jù)與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法和稀疏表示算法進(jìn)行對比實(shí)驗(yàn)，該算法較傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法和稀疏表示算法正確識別率提高了4.2%和6.1%.

參考文獻(xiàn)(References)：

[1] Lin Y Q，Lv F J，Zhu S H，et al.Large-scale image classification：fast feature extraction and SVM training [C]//2011 IEEE Conference on Computer Vision and Pattern Recognition.Colorado Springs，USA，2011：1689-1696.

[2] Guo J M，Prasetyo H，Su H S.Image indexing using the color and bit pattern feature fusion [J].Journal of Visual Communication and Image Representation，2013，24(8)：1360-1379.

[3] Yang J，Zhu S.An online image retrieval method based on self color correlogram model [J].Journal of Computational Information Systems，2012，8(8)：3369-3376.

[4] Iqbal K，Odetayo M O，James A.Content-based image retrieval approach for biometric security using colour，texture and shape features controlled by fuzzy heuristics [J].Journal of Computer and System Sciences，2012，78(4)：1258-1277.

[5] Sultana M，Gavrilova M.A content based feature combination method for face recognition [J].Advances in Intelligent Systems and Computing，2013，22(6)：197-206.

[6] Sui L，Zhang J，Zhuo L，et al.Research on pornographic images recognition method based on visual words in a compressed domain [J].IET Image Processing，2012，6(1)：87-93.

[7] 尚趙偉，國慶，馬尚君，等.基于二進(jìn)小波變換的多車牌定位算法 [J].計(jì)算機(jī)工程，2011，37(3)：16-18.

(SHANG Zhao-wei，GUO Qing，MA Shang-jun，et al.Multi-license plate localization algorithm based on dyadic wavelet transform [J].Computer Engineering，2011，37(3)：16-18.)

[8] 劉曉明，王麗君，侯春光，等.基于小波包能量熵的低壓串聯(lián)故障電弧診斷 [J].沈陽工業(yè)大學(xué)學(xué)報(bào)，2013，35(6)：606-612.

(LIU Xiao-ming，WANG Li-jun，HOU Chun-guang，et al.Diagnosis of low voltage series arc fault based on wavelet packet-energy entropy [J].Journal of Shenyang University of Technology，2013，35(6)：606-612.)

[9] 沈顯慶，王成元.小波變換和改進(jìn)諧波法的感應(yīng)電動(dòng)機(jī)轉(zhuǎn)速辨識 [J].沈陽工業(yè)大學(xué)學(xué)報(bào)，2011，33(1)：25-30.

(SHEN Xian-qing，WANG Cheng-yuan.Speed identification of induction motor based on wavelet transform and improved harmonic method [J].Journal of Shenyang University of Technology，2011，33(1)：25-30.)

[10]周濤，蔣蕓，王勇，等.基于小波神經(jīng)網(wǎng)絡(luò)的醫(yī)學(xué)圖像分類方法 [J].計(jì)算機(jī)應(yīng)用，2010，30(10)：2857-2860.

(ZHOU Tao，JIANG Yun，WANG Yong，et al.Medical image classification based on wavelet neural network [J].Journal of Computer Applications，2010，30(10)：2857-2860.)