基于BP神經(jīng)網(wǎng)絡(luò)的紙病分類器設(shè)計(jì)

倪 潔 徐 杰 胡慕伊

(南京林業(yè)大學(xué)江蘇省制漿造紙科學(xué)與技術(shù)重點(diǎn)實(shí)驗(yàn)室,江蘇南京,210037)

基于BP神經(jīng)網(wǎng)絡(luò)的紙病分類器設(shè)計(jì)

倪 潔 徐 杰 胡慕伊＊

(南京林業(yè)大學(xué)江蘇省制漿造紙科學(xué)與技術(shù)重點(diǎn)實(shí)驗(yàn)室,江蘇南京,210037)

不同造紙生產(chǎn)線產(chǎn)生的紙病往往會(huì)有不同的特點(diǎn),即使同一生產(chǎn)線在不同工藝參數(shù),或在工藝參數(shù)相同而生產(chǎn)條件不同情況下產(chǎn)生的紙病也有區(qū)別,因此紙病往往具有多樣性、復(fù)雜性的特點(diǎn)。為此,利用BP神經(jīng)網(wǎng)絡(luò)建立了紙病分類器,取得了較好的識(shí)別效果,識(shí)別率達(dá)91%。

特征提取;BP算法;神經(jīng)網(wǎng)絡(luò)

從20世紀(jì)80年代開始,國外掀起了一股研究人工神經(jīng)網(wǎng)絡(luò)的熱潮,至今方興未艾,已成為當(dāng)代人工智能領(lǐng)域最富挑戰(zhàn)性和最引人入勝的研究熱點(diǎn)。由于神經(jīng)網(wǎng)絡(luò)具有大規(guī)模并行處理和分布式的信息存儲(chǔ),良好的自適應(yīng)性、自組織性,很強(qiáng)的學(xué)習(xí)功能、聯(lián)想功能和容錯(cuò)功能等優(yōu)點(diǎn),因此,在圖像處理、模式識(shí)別、語音綜合及智能機(jī)器人控制等領(lǐng)域已有較廣泛的應(yīng)用。

人工神經(jīng)網(wǎng)絡(luò)的研究已提出許多新的神經(jīng)網(wǎng)絡(luò)模型和學(xué)習(xí)算法,如分層網(wǎng)絡(luò)模型和反向傳播(backpropagation)學(xué)習(xí)算法(BP算法)、Hopfield模型、波耳茲曼機(jī)、模擬退火算法、聯(lián)想記憶、競爭學(xué)習(xí)以及運(yùn)動(dòng)控制的學(xué)習(xí)模型等,并且在硬件實(shí)現(xiàn)上已通過VLSI技術(shù)研制出幾十至幾百個(gè)神經(jīng)元,并已在探索研究神經(jīng)計(jì)算機(jī)。但是,也應(yīng)該看到,直到現(xiàn)在,人類對(duì)自身大腦的研究,尤其是其中智能信息處理機(jī)制的了解還十分膚淺,對(duì)神經(jīng)網(wǎng)絡(luò)理論和它所能實(shí)現(xiàn)的目標(biāo)還眾說紛紜,還有不同的爭論,新一代智能計(jì)算機(jī)還處于起步階段[1]。

1 BP算法

1986年,Rumelhart提出了BP算法。該算法適用于多層網(wǎng)絡(luò),是目前廣泛應(yīng)用的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法之一。

BP神經(jīng)網(wǎng)絡(luò)如圖1所示。網(wǎng)絡(luò)有輸入層節(jié)點(diǎn)、輸出層節(jié)點(diǎn)和隱層節(jié)點(diǎn)。隱層節(jié)點(diǎn)與外界沒有直接聯(lián)系,但其狀態(tài)的改變,能影響輸入與輸出的關(guān)系。

圖1 BP神經(jīng)網(wǎng)絡(luò)

2 BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)

2.1 輸入層和輸出層的設(shè)計(jì)

BP網(wǎng)絡(luò)的輸入/輸出層尾數(shù)完全根據(jù)使用者的要求來設(shè)計(jì)。本課題研究對(duì)象為紙病圖像,輸入為表征紙病圖像特征的特征向量,在特征提取過程中,提取了紙病圖像的10個(gè)特征量,如果把它們作為網(wǎng)絡(luò)的輸入,則網(wǎng)絡(luò)輸入層的神經(jīng)元個(gè)數(shù)一般等于每個(gè)樣本的特征量個(gè)數(shù),因此輸入層神經(jīng)元個(gè)數(shù)為10個(gè)[2]。

根據(jù)所達(dá)到的識(shí)別要求,以及要對(duì)4種紙病進(jìn)行有效識(shí)別,因此可以采用如下形式來表示輸出:

塵埃:(0,1);孔洞:(1,0);褶子:(1,1);裂口:(0,0)。

m類的輸出只要用log2m個(gè)輸出單元即可。本研究有4種紙病輸出,因此選擇輸出層神經(jīng)元個(gè)數(shù)為log24,即2個(gè),每2個(gè)單元的輸出代表一種紙病類型[3]。

2.2 隱層的設(shè)計(jì)

1989年,Robert Hecht-Nielson證明了對(duì)于任意在閉區(qū)間的一個(gè)連續(xù)函數(shù)都可以用一個(gè)隱層的BP神經(jīng)網(wǎng)絡(luò)來逼近,因而一個(gè)單隱層的BP神經(jīng)網(wǎng)絡(luò)可以完成任意的n維空間到m維空間的映射,本研究中即采用一個(gè)隱層結(jié)構(gòu)。隱層的神經(jīng)元數(shù)目選擇是一個(gè)十分復(fù)雜的問題,往往需要根據(jù)經(jīng)驗(yàn)和多次實(shí)驗(yàn)來確定,因而不存在一個(gè)理想的解析式來表示。

確定最佳隱層節(jié)點(diǎn)數(shù)的一個(gè)常用方法稱為試湊法,可先設(shè)置較少的隱層節(jié)點(diǎn)訓(xùn)練網(wǎng)絡(luò),然后逐漸增加隱層節(jié)點(diǎn)數(shù),用同一樣本集進(jìn)行訓(xùn)練,從中確定網(wǎng)絡(luò)誤差最小時(shí)對(duì)應(yīng)的隱層節(jié)點(diǎn)數(shù)。在用試湊法時(shí),可用一些確定隱層節(jié)點(diǎn)數(shù)的經(jīng)驗(yàn)公式。這些公式計(jì)算出來的隱層節(jié)點(diǎn)數(shù)只是一種粗略的估計(jì)值,可作為試湊法的初始值。

目前隱層神經(jīng)元數(shù)的選擇一般參考以下4個(gè)經(jīng)驗(yàn)公式:

式中,m為隱層單元數(shù);n為輸入單元數(shù)。

式中,m為隱層單元數(shù);n為輸入單元數(shù)。

式中,m為隱層單元數(shù);n為輸入單元數(shù);l為輸出單元數(shù);δ為[1,10]之間的常數(shù)。

式中,m為隱層單元數(shù);n為輸入單元數(shù);l為輸出單元數(shù);δ為[1,10]之間的常數(shù)[4]。

2.3 訓(xùn)練樣本的選擇

為了使紙病分類器有效地進(jìn)行分類判決,必須對(duì)分類器進(jìn)行訓(xùn)練。而分類器的分類規(guī)則是依據(jù)訓(xùn)練樣本提供的信息確定。同時(shí),諸多文獻(xiàn)證明“基于樣本的學(xué)習(xí)”方法是設(shè)計(jì)分類器最有效的方法。因此紙病訓(xùn)練樣本的選擇對(duì)分類器設(shè)計(jì)顯得尤為重要。

本研究特選取如下4種常見的紙病:

(1)塵埃 一般是指紙張表面肉眼可見且與紙面顏色有顯著區(qū)別的小雜質(zhì)。

(2)孔洞 一般指紙張上產(chǎn)生的完全穿透的沒有纖維的部分,極易在反射光照射下憑肉眼看出,一般小的稱孔眼,大的叫破洞。

(3)褶子 通常指紙張重疊或折疊形成的可以分開或不能分開的折痕,分暗色細(xì)條紋狀的小斜褶和粗條痕狀的大斜褶兩種形狀。

(4)裂口 通常指在紙張的中部或者邊沿出現(xiàn)了裂縫或破口。這些裂縫或破口容易在印刷過程中擴(kuò)大或者被拉斷,導(dǎo)致斷紙停機(jī),增加紙張損耗。

最終本研究選擇了200個(gè)紙病樣本,其中100個(gè)作為訓(xùn)練集來進(jìn)行分類器的訓(xùn)練,其余100個(gè)作為測(cè)試集來檢驗(yàn)分類器分類效果。

將上述100組4種紙病訓(xùn)練樣本數(shù)據(jù)(每種紙病各25組)作為分類器輸入,對(duì)其進(jìn)行訓(xùn)練。在對(duì)隱層節(jié)點(diǎn)的測(cè)試時(shí),根據(jù)隱層設(shè)計(jì)經(jīng)驗(yàn)公式,隱層神經(jīng)元個(gè)數(shù)應(yīng)該在13～22之間。因此,不同的隱層神經(jīng)元個(gè)數(shù),能得到相應(yīng)的網(wǎng)絡(luò)訓(xùn)練誤差和訓(xùn)練次數(shù),如表1所示。

表1 不同隱層神經(jīng)元個(gè)數(shù)的網(wǎng)絡(luò)訓(xùn)練誤差和訓(xùn)練次數(shù)

表1表明,隱層神經(jīng)元為20的BP網(wǎng)絡(luò)對(duì)函數(shù)的逼近效果最好,因?yàn)樗木W(wǎng)絡(luò)誤差最小,隱層為16和19的網(wǎng)絡(luò)誤差也比較小,但是它們所需要的訓(xùn)練次數(shù)比較多,所以考慮到網(wǎng)絡(luò)訓(xùn)練的時(shí)間,將隱層的神經(jīng)元數(shù)定為20。

本研究通過利用MATLAB神經(jīng)網(wǎng)絡(luò)工具箱,合理調(diào)整了BP網(wǎng)絡(luò)訓(xùn)練參數(shù)來完成分類器的訓(xùn)練。其BP網(wǎng)絡(luò)訓(xùn)練參數(shù)和訓(xùn)練結(jié)果圖分別如表2和圖2所示。

表2 BP網(wǎng)絡(luò)訓(xùn)練參數(shù)

圖2 訓(xùn)練結(jié)果

2.4 紙病分類器識(shí)別效果驗(yàn)證

訓(xùn)練后的分類器是否滿足要求,必須經(jīng)過檢驗(yàn)才能確定。驗(yàn)證分類器的正確性一般采用與實(shí)際樣本數(shù)據(jù)相比較的方法,即先把測(cè)試樣本的數(shù)據(jù)經(jīng)初始化后作為神經(jīng)網(wǎng)絡(luò)的輸入,經(jīng)BP網(wǎng)絡(luò)模型計(jì)算,輸出相應(yīng)的數(shù)據(jù),然后將對(duì)照樣本的實(shí)際值與網(wǎng)絡(luò)的輸出值相比較,若誤差在允許范圍內(nèi),此分類器是可用的,否則要重新進(jìn)行訓(xùn)練。

本研究使用100組獨(dú)立于訓(xùn)練集的紙病測(cè)試樣本數(shù)據(jù)進(jìn)行分類器驗(yàn)證,每種紙病類型各25組。并根據(jù)網(wǎng)絡(luò)實(shí)際輸出和目標(biāo)樣本對(duì)照,以兩者的誤差絕對(duì)值平方和小于0.01為正確識(shí)別標(biāo)準(zhǔn),對(duì)測(cè)試樣本進(jìn)行檢測(cè),得到了紙病檢測(cè)識(shí)別結(jié)果如表3所示。

表3 紙病檢測(cè)識(shí)別結(jié)果

由表3觀察可得,所選用的特征量和所設(shè)置的BP網(wǎng)絡(luò)訓(xùn)練參數(shù)是適當(dāng)?shù)摹ＷR(shí)別結(jié)果表明,紙病分類器對(duì)本研究的4種紙病類型的平均識(shí)別率較高,但還有待于進(jìn)一步提高[5]。

3 結(jié) 論

3.1 通過紙病分類器的設(shè)計(jì)、訓(xùn)練和驗(yàn)證,雖然取得了較好的識(shí)別效果,但是紙病誤判情況依然存在。分析其原因主要有:由于孔洞和塵埃的外在表現(xiàn)形式上有些相似,尤其是灰度和形狀特征比較接近,這是造成這兩種紙病誤判的主要原因。而褶子和裂口在形態(tài)特征上也較為相似,特別是長寬比這一特征量比較接近,因此這兩種紙病互相誤判的可能性也較大。

3.2 在實(shí)驗(yàn)過程中還存在著問題需要討論和分析首先,本分類器只能適用于一個(gè)樣本一種紙病,因此組織樣本時(shí)應(yīng)該考慮到多種紙病出現(xiàn)在同個(gè)樣本的情況。其次,BP網(wǎng)絡(luò)訓(xùn)練參數(shù)的設(shè)置問題,如訓(xùn)練函數(shù)的選擇,學(xué)習(xí)速率和動(dòng)量因子的設(shè)置等。其中學(xué)習(xí)速率是分類器訓(xùn)練中的重要參數(shù),它和負(fù)梯度的乘積決定了權(quán)值和閾值的調(diào)整量,學(xué)習(xí)速率過大,算法會(huì)變得不穩(wěn)定;但是如果學(xué)習(xí)速率太小,算法收斂的時(shí)間就會(huì)增大。由此可見,學(xué)習(xí)速率的大小對(duì)于分類器的性能有較大影響,需要通過多次實(shí)驗(yàn)來確定最佳值。

3.3 BP算法還存在收斂速度慢、網(wǎng)絡(luò)的學(xué)習(xí)記憶不穩(wěn)定等缺點(diǎn),影響了系統(tǒng)的識(shí)別效率。因此可考慮對(duì)該算法進(jìn)行改進(jìn)或者采用其他的神經(jīng)網(wǎng)絡(luò)算法,從而能夠識(shí)別更多種紙病。

[1] 胡伍生.神經(jīng)網(wǎng)絡(luò)理論及其工程應(yīng)用[M].北京:測(cè)繪出版社,2006.

[2] 韓力群.人工神經(jīng)網(wǎng)絡(luò)教程[M].北京:北京郵電大學(xué)出版社,2006.

[3] 劉 華,王金樂.常見紙病及檢測(cè)技術(shù)[J].印刷質(zhì)量與標(biāo)準(zhǔn)化, 2007(5):22.

[4] Gallant Stephen I.Neural network learning and expert systems[M]. London:TheM IT Press,1993.

[5] 徐 杰.基于機(jī)器視覺的紙病檢測(cè)方法研究與應(yīng)用[D].南京:南京林業(yè)大學(xué),2008.

Abstract:The paper defects occurred in different production lines are often different,even in the same production line when the proces parameters are different,orwith the same process parameters when the production conditions are different,the papers produced will hav different defects,so paper defects tend to have the multiplicity and complex characteristics.The classifiers are designed based on BP neura network,which has achieved good results of 91%identification rate.

Keywords:features extraction;BP algorithm;neural network

(責(zé)任編輯:孫秋菊)

Paper Defects Classifier Design Based on BP Neural Network

N IJie XU Jie HU Mu-yi＊

(Jiangsu Provincial Key Laboratory of Pulp and Paper Science and Technology,Nanjing Forestry University, Nanjing,Jiangsu Province,210037)
(＊E-mail:muyi_hu@njfu.com.cn)

TP183

A

1000-6842(2010)02-0076-03

2010-03-05(修改稿)

本課題為江蘇省制漿造紙科學(xué)與技術(shù)重點(diǎn)實(shí)驗(yàn)室開放基金項(xiàng)目(200909)。

倪 潔,男,1986年生;在讀碩士研究生;研究方向:過程裝備與控制,圖像處理等。

＊通信聯(lián)系人:胡慕伊,E-mail:muyi_hu@njfu.com.cn。