融合LBP與GLCM的人群密度分類算法

薛翠紅，于 洋，張 朝，楊 鵬，李 揚

(1.天津理工大學(xué) 聾人工學(xué)院，天津 300384；2.河北工業(yè)大學(xué) a.控制科學(xué)與工程學(xué)院，b.計算機科學(xué)與軟件學(xué)院，天津 300401； 3.中國聯(lián)合網(wǎng)絡(luò)通信有限公司天津市分公司，天津 300100)

融合LBP與GLCM的人群密度分類算法

薛翠紅1，2ɑ，于 洋2b，張 朝2b，楊 鵬2ɑ，李 揚3

(1.天津理工大學(xué) 聾人工學(xué)院，天津 300384；2.河北工業(yè)大學(xué) a.控制科學(xué)與工程學(xué)院，b.計算機科學(xué)與軟件學(xué)院，天津 300401； 3.中國聯(lián)合網(wǎng)絡(luò)通信有限公司天津市分公司，天津 300100)

針對中高密度人群圖像檢測分類對公共安全的重要性，提出融合局部二值模式LBP與灰度共生矩陣GLCM特征提取的人群密度分類方法。首先用旋轉(zhuǎn)不變的LBP算子進行濾波，得到LBP圖像，然后提取濾波后圖像的GLCM特征，這樣既可以避免LBP算子特征降維帶來的損失，又能充分利用LBP和GLCM紋理特征提取的有效性，最后采用有向無環(huán)圖支持向量機DAGSVM進行密度分類。在Pets2009基準數(shù)據(jù)庫中的實驗結(jié)果顯示該算法具有較高的準確率。

人群密度檢測；紋理特征；LBP；GLCM；DAGSVM

1 人群密度分類

近年來隨著經(jīng)濟和城鎮(zhèn)化的不斷發(fā)展，城市人口急速膨脹，城市中大規(guī)模、高密度的人群活動不斷增多。人數(shù)多、密度大的人群不但可能發(fā)生踩踏事故，還有可能衍生出大規(guī)模暴力沖突等危害公眾和社會安全的行為，存在很大安全隱患，因此對大規(guī)?；顒舆M行監(jiān)控，將中高密度人群進行分類，實行有效的預(yù)警對公共安全具有重要意義，已經(jīng)成為當(dāng)前研究熱點。1985年，F(xiàn)ruin[1]提出了經(jīng)典的人群密度理論：當(dāng)人群密度超過閾值(0.15m2/人)時，場景中的人群很有可能會失控，從而引起嚴重的人群安全事故。這一理論，為后續(xù)關(guān)于人群密度的研究工作提供了很好的理論基礎(chǔ)。

人群密度檢測的研究方法主要分為兩類：一類是基于前景像素的人群密度檢測[2]，具有代表性的是Davies、Chow等人[2-3]提出的算法，該算法采用像素統(tǒng)計法，利用人群前景和人群數(shù)目所占像素的線性關(guān)系進行人群密度檢測估計，它適用于低密度人群，高密度人群則易產(chǎn)生較大誤差；一類是基于紋理特征的人群密度檢測，具有代表性的是Marana[4]、Chan[5]、Wu[6]和Rahmalan[7]等人提出的方法，該方法把紋理特征應(yīng)用于人群密度，假定紋理模式較粗的人群圖像其人群密度等級較低，紋理模式較細的人群圖像其人群密度等級較高，根據(jù)這個特點，可提取人群圖像的紋理特征來進行人群密度估計。

根據(jù)紋理特征[8]進行人群密度估計的方法，在高密度檢測時精確度更高，解決了基于前景像素方法在人群密度大時的局限性，而且該方法可以解決重疊問題，但對低密度人群估計時誤差較大。針對中高密度人群圖像，本文提出一種融合LBP與GLCM的方法，實驗中先對圖像進行LBP濾波，得到LBP圖像。再對LBP圖像建立GLCM灰度共生矩陣，獲取其能量、對比度、逆差矩、熵，并將求得的每個灰度共生矩陣的特征值進行級聯(lián)，得到16個紋理特征。最后采用支持向量機的方法來進行分類。方法流程圖如圖1所示。

圖 1 基于紋理分析的人群密度分類流程圖

2 人群圖像紋理特征提取

2.1 LBP算子

LBP(Local Binary Pattern)又稱為局部二值模式[9-10]，是一種算子，用來描述圖像局部紋理特征。LBP對光照變化具有很強的魯棒性并且計算簡單。

最早的LBP算子是：對于1幅圖像的某個局部區(qū)域內(nèi)的任意像素當(dāng)做中心點，在3×3的窗口內(nèi)，將窗口中心點灰度值當(dāng)做閾值，其他8鄰域像素灰度值和該閾值做差運算，當(dāng)其差值大于0時就將該像素標記為1，當(dāng)其差值小于0時就將該像素標記為0，這樣，標記后的8鄰域像素可以產(chǎn)生一串0、1表示的無符號數(shù)，這個無符號數(shù)就是該窗口的LBP值，它能清楚地反映該區(qū)域的紋理信息[9-10]。隨后又出現(xiàn)了諸如圓形LBP算子、LBP均勻模式、LBP旋轉(zhuǎn)不變模式和LBP等價模式等各種改進和優(yōu)化方法。

傳統(tǒng)LBP算子只能覆蓋一個固定大小的區(qū)域，描述能力有限。為了能夠適應(yīng)不同頻率與尺度的紋理，Ojala對傳統(tǒng)LBP算子做了改進，首先使用圓形區(qū)域代替了矩形區(qū)域，并將3×3窗口擴充到任意大小，即中心點gc在半徑為R的圓形區(qū)域內(nèi)包含了任意多個像素點。以gc為中心像素位置，gi為其鄰域像素位置，R是gi到gc之間的距離，P是采樣點數(shù)，則LBP值為

(1)

(2)

式中：s(x)是一個二值函數(shù)。原圖像經(jīng)過LBP算子處理后，得到同原圖像相同大小的LBP圖像，然后對該圖像統(tǒng)計其直方圖，一般不讓LBP圖像直接用于紋理特征描述，然而這樣會使得紋理特征描述子的參數(shù)隨著半徑R以及P點的增多，快速增加，這種現(xiàn)象會極大的提升計算量，給算法的實時性帶來很大的困難。

2.2 GLCM

灰度共生矩陣GLCM，用于提取圖像的紋理特征[11]。它能夠反映圖像的灰度在相鄰的方向、相鄰的間隔、變化的幅度等方面的綜合信息，能夠反映具有相同灰度級的像素之間的位置分布特征，是計算紋理特征的基礎(chǔ)。

GLCM矩陣元素相對于主對角線的分布情況，可以反映出圖像紋理的粗細程度。對于含有豐富粗紋理的區(qū)域，其GLCM中非零元素比較多，并且在主對角線附近分布密集。因為在富含豐富粗紋理的區(qū)域，像素灰度分布相對平滑，方差較小。而對于含有較多細紋理的區(qū)域，其GLCM中的非零元素值或值較大的元素值則分散分布。

GLCM本身并不是紋理特征[11]，而是在其基礎(chǔ)上進行紋理特征的提取，因此被稱作二次統(tǒng)計量。在GLCM中，選用4種最常用的概念來描述紋理特征，簡化計算，提高分類精度，它們是：

1)能量(Energy)：GLCM元素值的平方和，它主要反映了圖像紋理的粗細程度和灰度的分布均勻程度。

2)對比度(Contrast)：GLCM值的分布情況，主要反映圖像清晰度和紋理情況[11]。

3)熵(Entropy)：描述圖像信息量，它反映了圖像紋理復(fù)雜度。

4)逆差距(Homogeneity)：表示圖像紋理的規(guī)則程度，能夠反映圖像局部紋理變化的大小。逆差距越大則說明不同區(qū)域間的圖像紋理變化反而越小，局部紋理相對均勻，反之也是一樣的。

2.3 LBP與GLCM融合的方法進行紋理提取

LBP算子的特征維度高，給計算帶來很大的困難?；诖?，本文在進行紋理特征提取時，提出了一種融合LBP和GLCM紋理特征提取方法，該算法首先使用LBP算子對原圖像濾波，獲取原圖局部二值模式圖像，然后計算其GLCM，提取GLCM紋理特征來描述圖像的紋理特征。這樣既避免了LBP算子特征降維帶來的損失，又能充分利用LBP和GLCM紋理特征提取的有效性。LBP與GLCM融合的具體步驟如下：

1)選取旋轉(zhuǎn)不變的LBP算子，然后對每幅圖像濾波，得到LBP圖像。如圖2所示。

2)計算LBP圖像特征譜的灰度共生矩陣，選取一定的距離d，分別令θ=0°，45°，90°，135°，得到4個GLCM。

a 原始紋理圖像

b LBP圖像

圖2 紋理圖像與其LBP圖像

3)計算每個GLCM的能量、對比度、逆差矩、熵并級聯(lián)，得到16維紋理特征。

3 基于DAGSVM的密度分類

支持向量機(Support Vector Machine， SVM)的基本原理是：將原始輸入的特征向量映射變換到一個高維的特征空間中，并在高維特征空間中求解出最優(yōu)的分類超平面[12]，這種映射是一種非線性變換，可以通過定義的內(nèi)積函數(shù)來實現(xiàn)。它可以解決局部極小點、非線性、小樣本、高維數(shù)等各種應(yīng)用問題[13]。SVM的判別函數(shù)如式(3)

(3)

SVM算法原本是用來解決兩類問題，本文研究的對象為中高人群密度的分類，分類對象有中密度、高密度和很高密度三類。對此，可以采用有向無環(huán)圖支持向量機(DAGSVM)，構(gòu)造3個SVM分類器，并按一定的順序使用它們。如圖3所示，DAGSVM由C13，C12和C23組成，由上到下進行兩次分類，通過級聯(lián)3個SVM的方法得到一個三分類的DAGSVM。

圖3 DAGSVM結(jié)構(gòu)示意圖

4 實驗結(jié)果與分析

實驗中采用中密度、高密度和超高密度的人群圖像，采用Pets2009基準數(shù)據(jù)庫進行實驗，圖4是Pets2009數(shù)據(jù)庫中的S1_L2_time14-06_view001，S1_L2_time14-31_view001，S1_L1_time13-57_view002三組圖像序列，分別是中密度、高密度、超高密度人群。

a 中密度

b 高密度

c 超高密度

使用該樣本庫中樣本，首先訓(xùn)練SVM參數(shù)，然后選取3組測試樣本，得到最終的分類結(jié)果。每組圖像被隨機平均分為訓(xùn)練集和測試集兩組?；诒疚姆椒ǖ娜巳好芏确诸惤Y(jié)果如表1所示，基于GLCM的人群密度分類結(jié)果如表2所示。

表1 基于本文方法進行人群密度估計的結(jié)果

圖像序列訓(xùn)練樣本測試樣本準確率/%平均準確率/%S1_L2_time14-06_view001646496.88S1_L2_time14-31_view001565796.49S1_L1_time13-57_view002899097.7897.05

表2 基于GLCM進行人群密度估計的結(jié)果

圖像序列訓(xùn)練樣本測試樣本準確率/%平均準確率/%S1_L2_time14-06_view001646492.18S1_L2_time14-31_view001565791.22S1_L1_time13-57_view002899095.5592.98

每組圖像序列分類結(jié)果對應(yīng)的混淆矩陣如圖5所示。圖中medium、high、very-high三個標簽分別表示中密度、高密度、超高密度三個級別。可以看出，本文方法具有良好的分類效果，在中高密度人群檢測中具有較高的準確率。

表3為其他國際、國內(nèi)流行算法與本文方法的對比實驗結(jié)果，由表3中數(shù)據(jù)可以得出，本文所提方法的準確率高于其他方法的準確率。

a S1_L2_time14-06_view001

b S1_L2_time14-31_view001

c S1_L1_time13-57_view002

作者特征分類器準確率/%文獻[4]GLCM神經(jīng)網(wǎng)絡(luò)93.00文獻[15]像素和紋理卷積神經(jīng)網(wǎng)絡(luò)95.40文獻[6]GLCMSVM91.30文獻[5]像素和紋理統(tǒng)計回歸90.00文獻[14]GLCM和TamuraSVM95.50本文方法GLCM和LBPSVM97.25

5 結(jié)論

本文針對中高密度人群圖像提出了一種融合LBP和GLCM的紋理分析方法，以支持向量機構(gòu)成分類器，對420幅圖像進行試驗，實驗結(jié)果證明，該方法可達到97.5%的正確識別率，基本能夠滿足智能化人群視頻監(jiān)控的需求。但是，本文方法還存在一定的不足，它還不能夠很好滿足低密度人群的分類問題，同時判別速度也有待于進一步的提升，以適應(yīng)各種環(huán)境的需求。

[1] FRUIN J J. Crowd dynamics and the design and management of public places[C]//Proc. International Conference on Building Use and Safety Technology. Washington： National Institute of Building Sciences，1985： 110-113.

[2] DAVIES A C，JIA HONGYIN， VELASTIN S A. Crowd monitoring using image processing[J]. Electronics and Communication Engineering Journal，1995，7(1)：37-47.

[3] CHO S Y， CHOW T W S，LEUNG C T. A neural based crowd estimation by hybrid global learning algorithm[J].IEEE Trans. Systems，Man，and Cybernetics，1999，29(4)：535-541.

[4] MARANA A N，COSTA L F A. On the efficacy of texture analysis for crowd monitoring[C]//Proc. International Symposium on Computer Graphics，Image Processing，and Vision. Rio de Janeiro：IEEE Press，1998：354-361.

[5] CHAN A B， LIANG Z J， VASCONCELOS N. Privacy preserving crowd monitoring： counting people without people models or tracking[C]//Proc. IEEE Conference on Computer Vision and Pattern Recognition. Anchorage，AK：IEEE Press，2008：1-7.

[6] WU X Y， LIANG G Y，LEE K K. Crowd density estimation using texture analysis and learning[C]//Proc. IEEE International Conference on Robotics and Biomimetics. Kunming：IEEE Press，2006：214-219.

[7] RAHMALAN H，NIXON S，CARTER N. On crowd density estimation for surveillance[C]//Proc. IEEE International Symposium on Imaging for Crime Detection and Prevention. London：IET，2006：540-545.

[8] 胡波，李曉華，沈蘭蓀.場景監(jiān)控中的人群密度估計[J].電路與系統(tǒng)學(xué)報，2007(6)：19-22.

[9] 劉豪，楊永全，郭仙草.用于紋理特征提取的改進的LBP算法[J].計算機工程與應(yīng)用，2014，50(6)：182-185.

[10] 曹藝華，楊華，李傳志.基于時空LBP加權(quán)社會力模型的人群異常檢測[J].電視技術(shù)，2012，36(21)：145-148.

[11] 馮建輝，楊玉靜.基于灰度共生矩陣提取紋理特征圖像的研究[J].北京測繪，2007(3)：19-22.

[12] 奉國和. SVM分類核函數(shù)及參數(shù)選擇比較[J].計算機工程與應(yīng)用，2011，47(3)：123-124.

[13] PENG Xinjun．A v-twin support vector machine(v-TSVM)classifier and its geometric algorithms[J]．Information Sciences，2010，180(20)：3863-3875．

[14] WANG Bobo，BAO Hong，YANG Shan，et al. Crowd density estimation based on texture feature extraction[J]. Journal of Multimedia，2013，8(4)：331-337.

[15] FU M，XU P，LI X， et al. Fast crowd density estimation with convolutional neural networks[J]. Engineering Applications of Artificial Intelligence，2015(43)：81-88.

薛翠紅(1980— )，女，博士，主研圖像處理、模式識別、超分辨率重建等；

于 洋(1981— )，博士，主研圖像處理等；

張 朝(1988— )，碩士，主研圖像處理等；

楊 鵬(1960— )，博士，博士研究生生導(dǎo)師，主研計算機智能控制方向；

李 楊(1982— )，女，碩士，主研圖像處理等。

責(zé)任編輯：時 雯

【本文獻信息】丁森華，李曉鳴，張乃光，等.應(yīng)急廣播調(diào)度控制平臺框架模型研究[J].電視技術(shù),2015，39(24).

Fusing LBP and GLCM for Crowd Density Classification Algorithm

XUE Cuihong1，2ɑ，YU Yang2b，ZHANG Zhao2b，YANG Peng2ɑ，LI Yang3

(1.TechnicalCollegefortheDeaf，TianjinUniversityofTechnology，Tianjin300384，China；2ɑ.SchoolofControlScienceandEngineering，2b.SchoolofComputerScienceandEngineering，HebeiUniversityofTechnology，Tianjin300401，China；3.ChinaUnitedNetworkCommunicationsCorporationLimited，Tianjin300100，China)

According to the importance of high crowd density image detection and classification for public security， a crowd density classification method is proposed which fuses LBP and GLCM model. Firstly， the rotation-invariant LBP operator is used to filter images to get LBP maps. Then，the GLCM features are extracted in LBP images which can avoid the loss of dimensionality reduction and take advantage of LBP and GLCM in feature extraction. Finally，the Directed Acyclic Graph Support Vector Machines (DAGSVM) is used to make classification. The experimental results in Pets2009 image database show that the proposed algorithm has a good accuracy in crowd density classification.

crowd density detection；texture features；LBP；GLCM；DAGSVM

天津市科技計劃項目(14RCGFGX00846)；河北省自然科學(xué)基金面上項目(F2015202239)

TN911.73

A

10.16280/j.videoe.2015.24.002

2015-05-12

【本文獻信息】薛翠紅，于洋，張朝，等.融合LBP與GLCM的人群密度分類算法[J].電視技術(shù),2015，39(24).