基于Shearlet變換的井下圖像差異性特征提取方法

黃玉，　張英俊，　潘理虎,2

(1.太原科技大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院， 山西 太原　030024；

2.中國科學(xué)院 地理科學(xué)與資源研究所， 北京　100101)

?

基于Shearlet變換的井下圖像差異性特征提取方法

黃玉1，張英俊1，潘理虎1,2

(1.太原科技大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院， 山西 太原030024；

2.中國科學(xué)院 地理科學(xué)與資源研究所， 北京100101)

摘要：針對井下收集的人臉圖像易受煤塵干擾且一般特征提取方法對噪聲較敏感的問題，提出一種基于Shearlet變換的井下圖像差異性特征提取方法。首先利用Shearlet變換將圖像進(jìn)行多尺度多方向分解，然后對同一尺度的各方向子圖利用實部特征進(jìn)行編碼融合，進(jìn)而根據(jù)各尺度子圖的Shannon熵值賦予不同權(quán)值進(jìn)行再融合，最后對低頻子圖和融合后的高頻子圖利用Shearlet逆變換重構(gòu)得到差異性圖像。實驗結(jié)果表明，該方法具有較好的客觀評價指標(biāo)與主觀效果。

關(guān)鍵詞：煤礦考勤； 人臉識別； 特征提?。?Shearlet變換； 特征編碼； Shannon熵

0引言

精確高效的煤礦考勤是安全管理中的一個緊要工作。與一般公共場所不一樣，煤礦生產(chǎn)環(huán)境存在煤塵、粉塵、噪聲等各種干擾[1-2]，監(jiān)控識別難度加大。雖然井下人臉易受到污染，但人臉輪廓、特征等相對變化不大，因此，將直接、友好的人臉識別技術(shù)應(yīng)用于煤礦井下人員考勤是目前的研究熱點(diǎn)[3]。

人臉識別可分為圖像預(yù)處理、人臉檢測、特征提取和分類識別4個過程，其中特征提取是人臉識別過程的關(guān)鍵。特征提取即從檢測出的人臉圖像中提取出可以區(qū)分不同個體的差異性特征，這就要求這些特征對于同一個體是穩(wěn)定的，而對于不同的個體又是具有鑒別性的。其目標(biāo)是從眾多特征中選擇最有效的特征，消除不利特征對后續(xù)人臉識別的影響。當(dāng)前人臉特征提取方法主要分為兩大類，即基于全局信息的特征提取方法和基于局部信息的特征提取方法?；谌中畔⒌奶卣魈崛》椒ㄖ饕ㄗ涌臻g表示、流形表示、稀疏表示和全局頻域表示等[4-6]，基于局部信息的特征提取方法主要包括局部紋理表示、局部頻域表示、局部幾何表示和局部統(tǒng)計分析等[7-8]。

近年來，基于變換域的多尺度幾何分析局部特征提取方法有了長足進(jìn)步，其中運(yùn)用Gabor變換卷積進(jìn)行人臉特征提取的方法較為成熟，Gabor 變換具有良好的時頻局部化特性及方向選擇能力，但變換后的數(shù)據(jù)維數(shù)較高[9]。Contourlet變換方法比Gabor變換具有更多的方向信息，但在其變換過程中使用了拉普拉斯金字塔濾波器，在分解過程中需要進(jìn)行下采樣計算，因此結(jié)果并沒有平移不變性[10]。2007年，Labate和Guo等通過特殊的合成膨脹仿射系統(tǒng)提出了一種新的多維函數(shù)稀疏表示工具——剪切波(Shearlet)變換[11]。Shearlet變換具有最優(yōu)非線性逼近性能和多分辨分析特性，而且在方向變換上沒有數(shù)目的限制，具有良好的時頻局部特性，數(shù)學(xué)結(jié)構(gòu)更簡單，對圖像數(shù)據(jù)具有更強(qiáng)的稀疏表示能力。

本文針對井下收集的人臉圖像易受煤塵干擾且一般局部化方法對噪聲比較敏感的問題，提出一種基于Shearlet變換的井下圖像差異性特征提取方法，首先利用Shearlet變換將測試圖像進(jìn)行多尺度多方向分解；然后為降低特征維數(shù)，利用實部特征對同一尺度不同方向的特征子圖進(jìn)行編碼融合；再利用Shannon熵理論對各尺度子圖賦予不同權(quán)值，再次進(jìn)行融合得到差異性特征圖，最后對包含圖像主要能量與少量噪聲的低頻子圖和經(jīng)融合后的高頻子圖利用Shearlet逆變換重構(gòu)得到去干擾圖像。

1Shearlet變換基本原理

1.1連續(xù)Shearlet變換

Shearlet變換是一種新的多維函數(shù)稀疏表示的多尺度幾何分析工具。在二維情況(n=2)下，具有合成膨脹的仿射系統(tǒng)定義為

(1)

式中：Ψ∈L2(R2)；A，B為可逆矩陣，且|detB|=1；j為尺度參數(shù)；k為剪切參數(shù)；l為平移參數(shù)。

若ΨAB(Ψ)滿足Parseval框架(緊框架)，即任意的f∈L2(R2)都滿足式(2)，則ΨAB(Ψ)就稱為合成小波。

(2)

(3)

1.2離散Shearlet變換

連續(xù)Shearlet變換的離散化方法包括時域法[12]和頻域法，本文采用頻域法。若給定函數(shù)f∈L2(R2)，則由式(4)計算Shearlet變換，即

(4)

式(4)中包含2個主要步驟：

(3) 利用窗口函數(shù)對矩陣P進(jìn)行方向剖分，即方向濾波，得到錐形方向頻率成分。

(4) 將錐形方向頻率成份影射到笛卡爾坐標(biāo)系后，對其進(jìn)行傅里葉逆變換，即可得到Shearlet系數(shù)。2個尺度下離散化的Shearlet變換流程如圖1所示。

圖1　離散Shearlet變換流程

2基于Shearlet變換的差異性特征提取

Shearlet變換相比于傳統(tǒng)的多尺度幾何變換方法具有更靈活的多方向選擇特性。本文選用4個尺度、8個方向的Shearlet變換[13]。經(jīng)此變換之后，一幅人臉圖像就會對應(yīng)轉(zhuǎn)換成32個不同尺度、不同方向的特征子圖，即變換后的特征維數(shù)將是原始圖像的32倍，若選擇更多尺度與方向的Shearlet變換，則變換后的特征維數(shù)更大，對后續(xù)識別等工作造成很大時間與空間的壓力。而Shearlet變換的方向濾波器組是由一維實系數(shù)或復(fù)系數(shù)的子濾波器組組成，因此，本文用一種基于實部特征的編碼方式，對同一尺度、不同方向下的特征子圖進(jìn)行融合，以降低特征維數(shù)。

首先，經(jīng)Shearlet變換得到4個尺度、8個方向的分解子圖，然后對各子圖中圖像像素點(diǎn)進(jìn)行編碼：

(5)

將圖像中各個像素點(diǎn)z=(x,y)所對應(yīng)的多尺度、多方向的Shearlet特征表示為Su,v(z)，v∈R+表示尺度，u∈R+表示方向，Re(Su,v(z))對應(yīng)像素點(diǎn)z=(x,y)的實部。用式(5)計算各尺度下多方向的二進(jìn)制編碼，這里將二進(jìn)制轉(zhuǎn)換為十進(jìn)制，表示為

(6)

Tv(z)∈[0,2u-1]，由此可計算出各尺度、多方向特征融合的十進(jìn)制編碼，不同編碼值代表不同的局部特征。此編碼方法對每個尺度與各個方向的Shearlet特征進(jìn)行了編碼融合，因此保留了各尺度與各方向下的特征信息。對某一礦工的臉部圖像進(jìn)行4個尺度、8個方向的Shearlet變換后，依據(jù)此編碼方法分別在4個高頻尺度下的圖像融合效果如圖2所示。由圖2可知，不同尺度下圖像特征的信息不同，尺度越高，信息越是集中于人臉的一些關(guān)鍵部位。提取不同子圖的關(guān)鍵信息，構(gòu)成具有差異性的特征子圖是需要解決的主要問題。為充分利用各尺度信息，根據(jù)不同尺度的系數(shù)特點(diǎn)，結(jié)合不同尺度子圖對圖像特征的貢獻(xiàn)度，運(yùn)用Shannon熵理論，采用一種加權(quán)策略。Shannon理論認(rèn)為，Shannon熵可以表示一幅圖片中所含信息量的大小，熵值越大，信息量就越大。因此，將信息論中的Shannon熵理論運(yùn)用到特征融合中來計算各子圖的貢獻(xiàn)率是可行的。

圖24個高頻尺度下的圖像融合效果

假設(shè)實驗中圖像共有m個子帶，則第k個子帶的熵為

(7)

通過計算不同尺度子帶對測試圖像的貢獻(xiàn)率，再通過熵比值來計算各子帶的權(quán)值：

(8)

最后，對包含圖像主要能量與少量噪聲的低頻子圖和經(jīng)融合后的高頻子圖進(jìn)行Shearlet逆變換重構(gòu)圖像，得到具有抗干擾能力的差別性圖像。

3實驗結(jié)果及分析

為了驗證本文方法的有效性，分別采用多名礦工入井前和出井后的人臉圖像進(jìn)行實驗。目前常用的圖像抗干擾性評價標(biāo)準(zhǔn)分為2種：一種是主觀評價，即利用人眼觀察處理后的圖像效果，這種方式受主觀因素影響較大，評價結(jié)果不夠公正客觀；另一種是客觀標(biāo)準(zhǔn)，即用對圖像進(jìn)行定量描述的峰值信噪比(PSNR)、處理后圖像與標(biāo)準(zhǔn)圖像的均方誤差(MSE)、結(jié)構(gòu)相似度(SSIM)、圖片信息熵(IE)等來評價圖像處理結(jié)果。

首先將圖像延擴(kuò)成512×512的圖像，以便進(jìn)行Shearlet變換。選取4名入井前與出井后的礦工(從左至右分別記為礦工1—礦工4)的臉部圖像進(jìn)行實驗，如圖3、圖4所示。

(a)4名礦工的原始灰度圖像(b)4名礦工帶有干擾噪聲的圖像(c)經(jīng)本文方法處理后的圖像

圖3入井前的礦工臉部圖像

3.1主觀評價

縱向?qū)Ρ韧坏V工不同階段的圖像：圖3(c)、圖4(c)與圖3(b)、圖4(b)相比，很好地去除了干擾點(diǎn)，與原始圖像相比，2圖都很好地保留了礦工臉部的紋理信息和輪廓信息；將圖4與原始圖像相比可明顯看出，處理后的圖像在保留圖像關(guān)鍵信息的同時，削弱了臉部煤塵影響。橫向?qū)Ρ炔煌V工同一階段圖像可知，當(dāng)原始圖像越清晰，面部遮擋比例越小時，處理后的圖像效果越理想。

(a)4名礦工的原始灰度圖像(b)4名礦工帶有干擾噪聲的圖像(c)經(jīng)本文方法處理后的圖像

圖4出井后的礦工臉部圖像

對比圖3與圖4中的同一礦工圖像可知，由于臉部受到煤塵的遮擋，干擾系數(shù)增高，圖4中圖像清晰度比圖3差，但整體上抗干擾效果都能符合人眼視覺標(biāo)準(zhǔn)。

3.2客觀評價

為了更客觀地評價本文方法的處理效果，選用對圖像定量描述的峰值信噪比和處理后圖像與標(biāo)準(zhǔn)圖像的均方誤差來進(jìn)行評價。入井前與出井后各礦工臉部圖像指標(biāo)統(tǒng)計結(jié)果見表1、表2。其中，處理前對應(yīng)各礦工的含噪聲圖像，處理后對應(yīng)重建圖像。

表1　入井前各礦工臉部圖像處理結(jié)果

表2　出井后各礦工臉部圖像處理結(jié)果

由表1可知，經(jīng)本文方法處理后，礦工1—礦工4臉部圖像的峰值信噪比分別提高了50.84%，51.02%，57.84%，39.68%，平均提高了49.85%。由于處理前人為添加了噪聲，所以均方誤差值較高，處理后大幅度降低。因為每位礦工臉部圖像的紋理信息與輪廓信息各不相同，處理難度各不相同，所以峰值信噪比的提升程度及均方誤差的降低程度各不相同。

由表2可知，經(jīng)本文方法處理后，礦工1—礦工4臉部圖像的峰值信噪比分別提高了40.93%，36.12%，48.87%，31.01%，平均提高了39.23%，均方誤差也大幅度降低。

對比表1、表2可知，由于礦井工作的特殊性，出井后各位礦工的臉部圖像均受到了煤塵的嚴(yán)重污染，所以，表2中指標(biāo)平均提高水平不如表1，但經(jīng)本文方法處理后，2種情形下的人臉圖像抗干擾效果都得到了提升，重建圖像效果良好。

4結(jié)語

首次將Shearlet變換應(yīng)用于井下人臉圖像提取，提出基于Shearlet變換的井下圖像差異性特征提取方法。實驗證實該方法具有良好的主觀效果與客觀評價指標(biāo)，首先，很好地提取了礦工臉部的特征信息；其次，對后期添加的噪聲與因工作臉部受煤塵污染的干擾，該方法健壯性良好。雖然基于Shearlet變換的特征提取方法已有一些研究與應(yīng)用，但現(xiàn)實條件下不可控因素很多，究竟采用何種尺度、幾種方向的Shearlet變換在人臉特征提取中會達(dá)到最佳效果，至今仍未定論，這是今后需要完善與研究的方向；其次，嚴(yán)重污染的臉部圖像提取方法也是煤礦入井人員唯一性檢測技術(shù)的難點(diǎn)及未來研究方向。

參考文獻(xiàn)：

[1]陳娟,謝圣權(quán),潘能勇.計算機(jī)智能監(jiān)控網(wǎng)絡(luò)在煤礦生產(chǎn)中的應(yīng)用[J].煤炭技術(shù),2014,33(2):73-75.

[2]李德文,郭勝均.中國煤礦粉塵防治的現(xiàn)狀及發(fā)展方向[J].金屬礦山,2009,9(增刊1):747-752．

[3]PHILLIPS P J, FLYNN P J, SCRUGGS T,etal. Overview of the face recognition grand challenge[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition,San Diego,2005：947-954.

[4]LEE K C, HO J, KRIEGMAN D J. Acquiring linear subspaces for face recognition under variable lighting[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005,27(5): 684-698.

[5]WRIGHT J,YANG A Y,GANESH A,etal. Robust face recognition via sparse representation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2009,31(2): 210-227.

[6]尹洪濤,付平,沙學(xué)軍.基于 DCT 和線性判別分析的人臉識別[J]. 電子學(xué)報,2009,37(10):2211-2214.

[7]VAN GINNEKEN B, KATSURAGAWA S, TER HAAR ROMENY B M,etal. Automatic detection of abnormalities in chest radiographs using local texture analysis[J]. IEEE Transactions on Medical Imaging,2002,21(2):139-149.

[8]楊瓊,丁曉青.鑒別局部特征分析及其在人臉識別中的應(yīng)用[J].清華大學(xué)學(xué)報:自然科學(xué)版,2004,44(4): 530-533.

[9]PEREZ C A, CAMENT L A, CASTILLO L E. Methodological improvement on local Gabor face recognition based on feature selection and enhanced Borda count[J].Pattern Recognit,2011,44(4):951-963.

[10]YANG Yongmi,YANG Xingqiang,ZHANG Caiming. An efficient method for face feature extraction and recognition based on Contourlet transform[J]. ICIC Express Letters,2014,8(1):123-129.

[11]GUO K，LABATE D. Optimallt sparse multidimensional representation using shearlet[J].Siam Journal on Mathematical Analysis ,2007,39(1):298-318.

[12]EASLEY G R，LABATE D，LIM W Q,etal. Sparse directional image representations using discrete shearlet transform[J]. Applied and Computational Harmonic Analysis, 2008,25(1):25-46.

[13]YI S, LABATE D, EASLEY G,etal. A shearlet approach to edge analysis and detection[J]. IEEE Transactions on Image Processing ,2009,18(5):929-941.

Otherness feature extraction method for underground image based on Shearlet transform

HUANG Yu1，ZHANG Yingjun1，PAN Lihu1,2

(1.School of Computer Science and Technology, Taiyuan University of Science and Technology,Taiyuan 030024, China; 2.Institute of Geographic Science and Natural Resource Research,Chinese Academy of Science, Beijing 100101, China)

Abstract:For the problem that face images collected underground are susceptible to dust interference and most feature extraction methods are sensitive to noise, an otherness feature extraction method for underground image based on Shearlet transform was proposed. First, Shearlet transform was used for multi-directional and multi-scale image decomposition; then each directional sub-graphs with the same scale were encoded and fused, and furthermore fusion was conducted by giving different weights according to Shannon entropy of the subgraphs; finally, Shearlet inverse transform was used to reconstruct otherness image of low-frequency sub-graph and fused high-frequency sub-graph. The experimental results show that the method has a good objective and subjective evaluation.

Key words:check on work attendance of coal mine; face recognition; feature extraction; Shearlet transform; feature encode; Shannon entropy

中圖分類號：TD67

文獻(xiàn)標(biāo)志碼：A網(wǎng)絡(luò)出版時間：2016-03-07 15:21

作者簡介：黃玉(1990-)，女，山西臨汾人，碩士研究生，主要研究方向為計算機(jī)視覺與模式識別，E-mail:385967759@qq.com。

基金項目：山西省自然科學(xué)基金資助項目(2012011011-5)；山西省-中科院合作項目(20141101001)；山西省科技重大專項項目(20121101001)；山西省留學(xué)人員科研資助項目(2013-097)；山西省科技攻關(guān)項目(20141039)。

收稿日期：2015-09-28；修回日期：2015-12-15；責(zé)任編輯：胡嫻。

文章編號：1671-251X(2016)03-0064-05

DOI:10.13272/j.issn.1671-251x.2016.03.015

網(wǎng)絡(luò)出版地址：http://www.cnki.net/kcms/detail/32.1627.TP.20160307.1521.015.html

黃玉，張英俊，潘理虎.基于Shearlet變換的井下圖像差異性特征提取方法[J].工礦自動化，2016,42(3)：64-68.