基于特征提取與LM-BP神經(jīng)網(wǎng)絡(luò)協(xié)同作用的異常條形碼辨識方法

王永超，段志尚，王 璐，王 健，邢玉東，劉洪亮，黃大榮

(1.國網(wǎng)新疆電力有限公司 電力科學(xué)研究院， 烏魯木齊 830011；2.北京南瑞捷鴻科技有限公司， 北京 100093；3.重慶交通大學(xué) 信息科學(xué)與工程學(xué)院， 重慶 400074)

近年來，隨著計(jì)量生產(chǎn)自動化系統(tǒng)在電能計(jì)量器具檢定和倉儲作業(yè)中的廣泛應(yīng)用，從根本上改變了傳統(tǒng)的人工作業(yè)方式，大幅降低了人工成本，提升了工作效率。其中，條形碼作為生產(chǎn)自動化系統(tǒng)的組成部分，在電能表生產(chǎn)線的中轉(zhuǎn)、出入庫操作中起著基礎(chǔ)、關(guān)鍵的作用。然而，隨著周轉(zhuǎn)箱在生產(chǎn)流水線和中轉(zhuǎn)流水線中的長期使用，造成箱體條形碼逐漸出現(xiàn)褪色、破損、浸漬等現(xiàn)象，使得激光掃描設(shè)備無法有效地對條形碼進(jìn)行識別，進(jìn)而影響到生產(chǎn)流水線的正常運(yùn)轉(zhuǎn)。因此，如何對異常條形碼實(shí)現(xiàn)準(zhǔn)確的辨識，快速替換異常條形碼，成為解決實(shí)際生產(chǎn)需求的重要基礎(chǔ)性問題。

針對圖像的辨識問題，國內(nèi)外學(xué)者分別從特征提取、數(shù)理統(tǒng)計(jì)、神經(jīng)網(wǎng)絡(luò)等角度開展了相關(guān)研究，取得了一系列研究成果。圖像紋理作為圖像的重要特征，在計(jì)算機(jī)視覺、圖像處理、圖像分析等領(lǐng)域具有廣泛的研究和應(yīng)用[1-3]。因此，已有研究者從圖像紋理入手開展研究。例如，陳強(qiáng)等[4]為解決合成孔徑聲吶圖像的分類問題，針對圖像具有不同的統(tǒng)計(jì)和紋理特征，以灰度直方圖的標(biāo)準(zhǔn)差、峰值、灰度共生矩陣能量、熵值等作為SVM的訓(xùn)練特征，構(gòu)造分類器，實(shí)驗(yàn)結(jié)果表明，該方法可有效對圖像進(jìn)行區(qū)域分割。趙泉華等[5]為解決傳統(tǒng)單一特征無法實(shí)現(xiàn)文理圖像分割精度的要求，基于像素灰度的空間相關(guān)性和不同的子區(qū)域劃分，通過分別定義多個特征圖像的同質(zhì)區(qū)域之間的異質(zhì)性勢能函數(shù)和刻畫各子區(qū)域領(lǐng)域關(guān)系勢能函數(shù)定義全局勢能函數(shù)，從而建立紋理分割模型，取得了較單一特征更好的分割結(jié)果。

近年來，隨著神經(jīng)網(wǎng)絡(luò)技術(shù)的進(jìn)一步發(fā)展，神經(jīng)網(wǎng)絡(luò)以其優(yōu)異的特征學(xué)習(xí)能力，在信號處理、計(jì)算機(jī)視覺、自然語言處理等領(lǐng)域取得了廣泛的應(yīng)用[6-7]。陳燕芹等[8]基于灰度共生矩陣對圖像紋理的參數(shù)進(jìn)行了分析，提出了基于BP神經(jīng)網(wǎng)絡(luò)的圖像復(fù)雜度評價(jià)方法，為圖像的復(fù)雜度研究提供了新的研究思路。田秋紅等[9]為解決一維條形碼和二維條形碼在識別過程中存在圖像失真的問題，基于圖像的不變矩特征向量建立BP神經(jīng)網(wǎng)絡(luò)的輸入?yún)?shù)，實(shí)現(xiàn)了存在旋轉(zhuǎn)、平移和縮放等幾何失真條件下條形碼的正確識別，實(shí)驗(yàn)結(jié)果表明：該方法具有良好的訓(xùn)練速度和分類能力。Singh等[10]基于隨機(jī)森林分類器和決策樹，構(gòu)建了一個新的圖像分類和檢索模型。實(shí)驗(yàn)結(jié)果表明，該模型具有更好的搜索能力。李軍鋒等[11]針對圖像的分類問題，提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)和隨機(jī)森林的識別算法，取得了較單一算法更好的識別精度。遺憾的是，該方法在訓(xùn)練樣本量不足時識別性能不佳。黃旭等[12]為解決傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)特征缺少而導(dǎo)致圖像識別過程中性能不佳的問題，采用融合線性判別損失函數(shù)的思想，對圖像中的深度特征進(jìn)行提取，以提高圖像的識別性能。

隨著電能設(shè)備生產(chǎn)流水線的更快速、高效的發(fā)展要求，生產(chǎn)流水線中的異常條形碼給計(jì)量生產(chǎn)自動化系統(tǒng)帶來了嚴(yán)峻挑戰(zhàn)。上述研究成果，雖然從不同的圖像處理角度對圖像進(jìn)行了分類、篩選，但仍存在模型復(fù)雜、樣本要求高、單次辨識時間長等不同程度的問題，難以滿足生產(chǎn)現(xiàn)場實(shí)時響應(yīng)的需求。因此，以生產(chǎn)需求為導(dǎo)向，構(gòu)建新的辨識模型及算法變得尤為迫切。

鑒于此，為有效解決復(fù)雜工業(yè)環(huán)境下電力設(shè)備生產(chǎn)流水線條異常狀態(tài)的辨識問題，提出了基于多特征提取與LM-BP神經(jīng)網(wǎng)絡(luò)協(xié)同作用的辨識方法。根據(jù)生產(chǎn)現(xiàn)場異常(褪色、破損、浸漬等)和正常條形碼建立特征訓(xùn)練庫，基于LM-BP神經(jīng)網(wǎng)絡(luò)構(gòu)建訓(xùn)練辨識模型，以實(shí)現(xiàn)異常條形碼的智能、快速辨識。

1 條形碼圖像特征表征方法

1.1 自相關(guān)紋理粗糙度特征

條形碼在長期周轉(zhuǎn)使用的過程中，因摩擦、浸漬等造成表面粗糙度改變。已有文獻(xiàn)表明，紋理粗糙度的大小與局部結(jié)構(gòu)的空間重復(fù)周期有關(guān)，周期大的紋理粗，周期小的紋理細(xì)[13-14]。對于含有重復(fù)紋理模式的圖像，當(dāng)紋理粗糙時，自相關(guān)函數(shù)緩慢下降，而細(xì)紋理下降迅速。因此，自相關(guān)函數(shù)被用來測量紋理的周期性以及紋理基元的大小。設(shè)圖像為f(i,j)，則自相關(guān)函數(shù)定義如下：

(1)

1.2 紋理不變矩特征

圖像的大小、形心等關(guān)鍵特征與圖像的矩有關(guān)。中心矩、原點(diǎn)矩能較好地表征圖像紋理特征，但缺乏不變性。文獻(xiàn)[15]利用中心矩、原點(diǎn)矩構(gòu)造出的不變矩針對旋轉(zhuǎn)和縮放變化具有良好的不變性和抗干擾性，并能有效反映圖像的本質(zhì)特性[16]。因此，不變矩作為圖像的一種重要特征，在圖像處理中具有廣泛的應(yīng)用，本文通過對圖像的7個不變矩特征進(jìn)行提取來表征圖像紋理。

以灰度函數(shù)f(x,y)表示m×n二維離散圖像，則圖像的p+q階區(qū)域的中心矩定義如式(2)所示。

(2)

對中心距進(jìn)行歸一化后得到式(3)。

(3)

則7個不變矩公式為：

φ1=η20+η02

(4)

(5)

φ3=(η30-3η12)2+(η03+3η21)2

(6)

φ4=(η30+η12)2+(η03+η21)2

(7)

φ5=(η30-3η12)(η03+η21)·

[(η30+η12)2-3(η03+η21)2]+

(3η21-η03)(η03+η21)·

[3(η30+η12)2-(η03+η21)2]

(8)

φ6=(η20-η02)[(η30+η12)2-

(η03+η21)2]+4η11(η30+η12)·

(η03+η21)

(9)

φ7=(3η21-η03)(η30+η12)·

[(η30+η12)2-3(η03+η21)2]+

(3η12-η30)(η03+η21)·

[3(η30+η12)2-(η03+η21)2]

(10)

1.3 曲線特征

正常條形碼在對圖像進(jìn)行邊緣檢測后二值化圖像中邊緣規(guī)則、光滑、連續(xù)，數(shù)量容易辨識；異常條形碼邊緣相對散亂，存在不同程度的斷開、混亂現(xiàn)象，如圖1 所示。因此，可用圖像中邊緣直線數(shù)對圖像磨損進(jìn)行表征。

圖1 正常和異常條形碼曲線特征對比

1.4 HOG方向梯度直方圖

HOG(histogram of oriented gradient，梯度直方圖特征)[17-18]作為一種對圖像局部重疊區(qū)域密度進(jìn)行表征的方法，廣泛應(yīng)用于圖像的識別。HOG特征提取的步驟如下：

步驟1 對圖像進(jìn)行灰度化處理。

步驟2 采用Gamma校正法對輸入圖像進(jìn)行顏色空間的標(biāo)準(zhǔn)化，用于調(diào)節(jié)圖像的對比度，降低圖像局部的陰影和光照變化所造成的影響。

步驟3 計(jì)算圖像每個像素的梯度用于獲取輪廓信息，并進(jìn)一步弱化光照的干擾。

步驟4 將圖像劃分成若干cells，統(tǒng)計(jì)每個cell的梯度直方圖，即可形成每個cell的descriptor；

步驟5 將若干cell組成一個block，將一個block內(nèi)所有cell的特征串聯(lián)起來便得到該block的HOG特征。

步驟6 將圖像內(nèi)的所有block的HOG特征串聯(lián)起來就可以得到該圖像的HOG特征。

由于正常條形碼黑白區(qū)域間隔分明，紋理清晰，從豎直方向上看，每個block的HOG特征應(yīng)與同一列的其他block相似，從水平方向上看，在不同block中，具有重疊cell區(qū)域的HOG特征也理應(yīng)相似，如圖2(a)所示，污損條形碼的HOG特征則比較散亂，如圖2(b)所示，所以提取水平方向上的HOG特征方差與豎直方向上重疊區(qū)域的HOG特征方差作為正常條碼與污損條碼的辨識依據(jù)。

圖2 正常和異常條形碼曲線HOG特征對比

2 基于特征提取的LM-BP神經(jīng)網(wǎng)絡(luò)條形碼辨識模型

2.1 BP網(wǎng)絡(luò)學(xué)習(xí)算法

BP神經(jīng)網(wǎng)絡(luò)作為一種經(jīng)典的多層前饋神經(jīng)網(wǎng)絡(luò)模型，因其較好的泛化能力、容錯能力以及算法實(shí)時性，在圖像識別、故障診斷等領(lǐng)域取得了廣泛的應(yīng)用[19-23]。BP算法的基本思想是根據(jù)訓(xùn)練樣本，利用梯度下降算法對網(wǎng)絡(luò)模型中的結(jié)點(diǎn)權(quán)重進(jìn)行自適應(yīng)的動態(tài)調(diào)整，使得期望輸出盡可能接近實(shí)際輸出。傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型如圖3所示。

圖3 多隱層BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型

圖3中，BP神經(jīng)網(wǎng)絡(luò)的輸入為x1,x2,…,xn，BP神經(jīng)網(wǎng)絡(luò)的輸出為y1,y2,…,ym，網(wǎng)絡(luò)節(jié)點(diǎn)相應(yīng)的權(quán)值分別為wij和wjk。從圖中可以看出：BP神經(jīng)網(wǎng)絡(luò)相當(dāng)于一個非線性函數(shù)，通過對樣本的訓(xùn)練，可以反映輸入到輸出的映射關(guān)系。因此，BP神經(jīng)網(wǎng)絡(luò)對異常條形碼進(jìn)行分類預(yù)測，就是逐步迭代尋找一個非線性函數(shù)。BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程如下：

步驟1 初始化神經(jīng)網(wǎng)絡(luò)參數(shù)。根據(jù)輸入輸出序列(x,y)確定網(wǎng)絡(luò)輸入層節(jié)點(diǎn)數(shù)n、隱含層l，輸出層節(jié)點(diǎn)m，初始化輸入層、隱含層和輸出層神經(jīng)元之間的連接權(quán)值wij、wjk，初始化隱含層閾值a，輸出層閾值b，給定學(xué)習(xí)速率和神經(jīng)元激勵函數(shù)。

步驟2 計(jì)算隱含層輸出。網(wǎng)絡(luò)輸入向量x，通過輸入層和隱含層間連接權(quán)值wij以及隱含層閾值a，得到隱含層輸出H。

(11)

式中：l為隱含層節(jié)點(diǎn)數(shù)；f為隱含層激勵函數(shù)。該函數(shù)有多種表達(dá)形式，根據(jù)實(shí)際數(shù)據(jù)情況可進(jìn)行選擇。

步驟3 計(jì)算神經(jīng)網(wǎng)絡(luò)輸出值。根據(jù)隱含層輸出H，連接權(quán)值wjk和閾值b，得到神經(jīng)網(wǎng)絡(luò)預(yù)測輸出O。

(12)

步驟4 計(jì)算輸出值與期望值之間的誤差。根據(jù)網(wǎng)絡(luò)預(yù)測輸出O和期望輸出Y，得到網(wǎng)絡(luò)預(yù)測誤差e。

ek=Yk-Ok,k=1,2,…,m

(13)

步驟5 進(jìn)行權(quán)值更新。根據(jù)網(wǎng)絡(luò)預(yù)測誤差e對網(wǎng)絡(luò)中的連接權(quán)值wij和wjk進(jìn)行更新。

i=1,2,…,n;j=1,2,…,l

(14)

wjk=wjk+ηHjek

j=1,2,…,l;k=1,2,…,m

(15)

式中η為學(xué)習(xí)效率。

步驟6 進(jìn)行閾值更新。根據(jù)網(wǎng)絡(luò)預(yù)測誤差e對網(wǎng)絡(luò)節(jié)點(diǎn)閾值a和b進(jìn)行更新。

j=1,2,…,l

(16)

bk=bk+ek,k=1,2,…,m

(17)

步驟7 判斷迭代誤差是否小于閾值，若小于，則迭代結(jié)束；若不小于，則返回步驟2。

2.2 LM網(wǎng)絡(luò)學(xué)習(xí)算法

BP神經(jīng)網(wǎng)絡(luò)算法作為一種廣泛使用的網(wǎng)絡(luò)模型，雖然在圖像處理、故障診斷等領(lǐng)域取得了廣泛的應(yīng)用，但在實(shí)際的應(yīng)用中，由于其基于梯度下降法在學(xué)習(xí)效率和穩(wěn)定性上存在缺陷。因此，為改進(jìn)傳統(tǒng)BP訓(xùn)練算法存在的不足，研究者將LM算法引入到BP中，以提高學(xué)習(xí)的性能和穩(wěn)定性[23-26]。

在LM算法中，設(shè)誤差指標(biāo)函數(shù)為

(18)

若在第k次迭代中取值和閾值構(gòu)成的向量為wk，則滿足：

wk+1=wk+Δw

(19)

Δw=[JT(w)J(w)+μI]-1JT(w)e(w)

(20)

式中：J(w)為Jacobian矩陣；I為單位矩陣；μ為學(xué)習(xí)率。LM訓(xùn)練過程主要如下：

步驟1 初始化網(wǎng)絡(luò)參數(shù)：設(shè)定網(wǎng)絡(luò)訓(xùn)練誤差ε；常數(shù)μ0，β(0<β<1)；初始化權(quán)重和閾值向量，令k=0，μ=μ0。

步驟2 計(jì)算網(wǎng)絡(luò)輸出和誤差相應(yīng)的E(wk)。

步驟3 計(jì)算Jacobian矩陣J(w)。

步驟4 計(jì)算Δw。

步驟5 若E(wk)<ε，算法結(jié)束。

步驟6 根據(jù)wk+1=wk+Δw，計(jì)算E(wk+1)。

若E(wk+1)

利用LM-BP神經(jīng)網(wǎng)絡(luò)對異常條形碼進(jìn)行辨識時，將現(xiàn)場采集的圖像分為2組，一組作為訓(xùn)練圖像，一組作為測試圖像。將提取后的圖像HOG、曲線特性、紋理粗糙度、紋理灰度構(gòu)成特征矩陣，輸入BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到訓(xùn)練模型，然后利用測試特征進(jìn)行測試。條形碼辨識系統(tǒng)框圖如圖4所示。

圖4 條形碼辨識系統(tǒng)框圖

3 算例與分析

實(shí)際生產(chǎn)過程中，直接的物理接觸可能會導(dǎo)致條形碼殘缺、不平整、損污，影響條形碼的識別進(jìn)而降低生產(chǎn)過程中的運(yùn)行效率，所以對于生產(chǎn)過程中由于殘缺、不平整、損污等導(dǎo)致的無法識別的條形碼進(jìn)行甄別并排除顯得尤為重要。以國網(wǎng)新疆電力有限公司電力科學(xué)研究院計(jì)量生產(chǎn)自動化系統(tǒng)現(xiàn)場為例?，F(xiàn)場生產(chǎn)環(huán)境如圖5、6所示。

圖5 智能電表檢定流水線

隨著周轉(zhuǎn)箱在生產(chǎn)流水線和中轉(zhuǎn)流水線中的長期使用，造成箱體條形碼逐漸出現(xiàn)條碼褪色、破損、浸漬等現(xiàn)象，使得激光掃描設(shè)備無法有效對條形碼進(jìn)行識別，進(jìn)而影響到生產(chǎn)流水線的正常運(yùn)轉(zhuǎn)。因此，如何對異常條形碼實(shí)現(xiàn)準(zhǔn)確的辨識，快速替換異常條形碼，成為解決實(shí)際生產(chǎn)需求的重要基礎(chǔ)性問題。

根據(jù)現(xiàn)場實(shí)際情況條形碼在長期使用過程中存在磨損、缺失、浸漬等顯現(xiàn)，為驗(yàn)證基于特征提取和LM-BP神經(jīng)網(wǎng)絡(luò)的辨識效果，模擬條形碼的磨損等情況，建立特征庫，典型圖片如圖7～10所示。

圖6 智能電表中轉(zhuǎn)流水線

圖7 正常條形碼

圖8 異常條形碼(磨損)

圖9 異常條形碼(缺失)

為驗(yàn)證上述方法的合理性和有效性，將條形碼圖像分為訓(xùn)練和測試的圖像集，通過特征提取方法，對訓(xùn)練和測試圖像提取主要的特征，分別構(gòu)成訓(xùn)練特征數(shù)據(jù)集合測試特征數(shù)據(jù)集。在利用LM-BP神經(jīng)網(wǎng)絡(luò)對訓(xùn)練特征集進(jìn)行學(xué)習(xí)時，神經(jīng)網(wǎng)絡(luò)參數(shù)如表1所示。

表1 LM-BP神經(jīng)網(wǎng)絡(luò)參數(shù)設(shè)置

根據(jù)上述基于特征提取與LM-BP網(wǎng)絡(luò)辨識的算法模型，利用圖像特征提取后的數(shù)據(jù)集進(jìn)行驗(yàn)證。同時，為進(jìn)一步反映辨識效果，采用十折交叉驗(yàn)證的方式，將LM-BP的辨識結(jié)果與支持向量機(jī)(support vector machine，SVM)、概率神經(jīng)網(wǎng)絡(luò)(probabilistic neural network，PNN)辨識結(jié)果進(jìn)行比較，結(jié)果如表2所示。

表2 訓(xùn)練/測試樣本集數(shù)量

根據(jù)表2，基于特征提取與LM-BP神經(jīng)網(wǎng)絡(luò)的辨識準(zhǔn)確率均比SVM和PNN高。因此，該方法可用于異常條形碼的辨識中。

4 結(jié)束語

本文針對工業(yè)生產(chǎn)環(huán)境中條形碼的異常識別問題，以圖像的HOG特性、曲線特征、紋理粗糙度、紋理灰度特征建立特征庫。在此基礎(chǔ)上，建立以BP神經(jīng)網(wǎng)絡(luò)為核心的訓(xùn)練-辨識框架。實(shí)驗(yàn)結(jié)果表明：本文提出的算法能有效實(shí)現(xiàn)對異常條形碼的辨識，在訓(xùn)練階段和辨識階段平均識別率保持在88.29%左右，具有實(shí)際的應(yīng)用價(jià)值。但考慮到實(shí)際工程應(yīng)用的復(fù)雜性，生產(chǎn)流水線上的異常條形碼需要更快速、高效的辨識。因此，在后續(xù)的研究中，將結(jié)合工程需求，致力于提高網(wǎng)絡(luò)的識別速度并進(jìn)一步提高準(zhǔn)確率。