多尺度光照估計(jì)和層次化分類的衣著顏色識(shí)別

張 京，王文中，李成龍，湯 進(jìn),2*，羅 斌,2

(1.安徽大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，安徽 合肥 230601;2.安徽省工業(yè)圖像處理與分析重點(diǎn)實(shí)驗(yàn)室,安徽 合肥 230601)

?

多尺度光照估計(jì)和層次化分類的衣著顏色識(shí)別

張 京1，王文中1，李成龍1，湯 進(jìn)1,2*，羅 斌1,2

(1.安徽大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，安徽 合肥 230601;2.安徽省工業(yè)圖像處理與分析重點(diǎn)實(shí)驗(yàn)室,安徽 合肥 230601)

衣著顏色是行人最顯著的表觀特征，在視頻監(jiān)控場景中極易受到光照變化的影響.為此，筆者提出了一種基于多尺度光照估計(jì)和層次化分類的衣著顏色識(shí)別方法.首先，提出一種多尺度局部反射統(tǒng)計(jì)的光照估計(jì)模型，通過該模型實(shí)現(xiàn)對偏色圖像的光照矯正；其次，為了精確地識(shí)別衣著顏色，設(shè)計(jì)基于融合多顏色空間特征的層次化分類器；最后，在校園監(jiān)控場景采集4 998張行人衣著圖像(晚上2 052張，白天2 946張)進(jìn)行對比實(shí)驗(yàn).實(shí)驗(yàn)結(jié)果表明，該方法能有效提高監(jiān)控視頻中衣著顏色識(shí)別準(zhǔn)確率且至少提高12.5%.

衣著顏色；光照估計(jì)；層次化分類；視頻監(jiān)控；偏色圖像

近年來，隨著智慧城市和平安城市的提出，視頻監(jiān)控技術(shù)廣泛應(yīng)用于公共安全領(lǐng)域.但目前，這種技術(shù)還存在一些問題，在復(fù)雜場景條件下如光照劇烈變化時(shí)、不同視角下、不同攝像機(jī)間，目標(biāo)外觀特征會(huì)產(chǎn)生很大的變化.圖1展示了目標(biāo)行人在不同光照和視角下的外觀特征的變化，這些變化都會(huì)給視頻監(jiān)控相關(guān)研究帶來困難，因此如何有效克服復(fù)雜條件的影響準(zhǔn)確識(shí)別目標(biāo)屬性具有相當(dāng)大的挑戰(zhàn).

圖1 光照變化和多視角變化Fig.1 Illuminance variation and mutiple viewpoint change

為了解決這些問題，一系列的研究方法被提出.文獻(xiàn)[1-4]主要是通過不同顏色空間對光照變化魯棒性實(shí)現(xiàn)監(jiān)控場景中車輛顏色的識(shí)別，但不適應(yīng)低照度光照條件下的衣著識(shí)別;文獻(xiàn)[5-7]是通過時(shí)空關(guān)系建立目標(biāo)特征間匹配和轉(zhuǎn)移函數(shù)來克服光照和攝像機(jī)間的影響,主要用于消除多攝像機(jī)間相同目標(biāo)表觀顏色之間的不同;文獻(xiàn)[8-10]是采用顏色恒常方法實(shí)現(xiàn)光照參數(shù)估計(jì)，但有比較大的單色塊存在時(shí)，估計(jì)值會(huì)出現(xiàn)較大偏差.

監(jiān)控場景中對行人衣著顏色的識(shí)別國內(nèi)外研究相對較少.Yang等[11]提出了圖優(yōu)化算法分割圖像中行人衣著區(qū)域，然后構(gòu)建一個(gè)多圖模型，利用多圖之間的統(tǒng)計(jì)信息優(yōu)化衣著標(biāo)注，但是構(gòu)建圖模型的過程相對來說比較復(fù)雜，速度較慢.Yamaguchi等[12]提出一種對時(shí)尚照片人物衣著識(shí)別方法，但是圖片質(zhì)量要求較高，低分辨率下識(shí)別效果不理想.室外場景復(fù)雜多變，光照強(qiáng)度變化強(qiáng)烈，沒有一種系統(tǒng)去除光照的方法準(zhǔn)確識(shí)別衣著顏色.Gao等[13]通過調(diào)節(jié)感受視野大小并歸一化局部反射率對光照進(jìn)行估計(jì)，但是對不同分辨率下光照估計(jì)有所不同.基于此筆者提出了一種多尺度局部反射統(tǒng)計(jì)光照估計(jì)方案，首先對行人圖像實(shí)現(xiàn)多尺度化構(gòu)造圖像金字塔，將每個(gè)尺度下的圖像做局部歸一化，通過多尺度間相對反射率和反射率的統(tǒng)計(jì)關(guān)系實(shí)現(xiàn)光照的估計(jì)；此外，根據(jù)估計(jì)光照值對偏色圖像進(jìn)行光照的矯正后，設(shè)計(jì)出一種層次化分類方法，將顏色類型分為彩色類型和非彩色類型，融合多個(gè)顏色空間特征對衣著顏色精細(xì)化識(shí)別.總體流程如圖2所示.

圖2 衣著顏色識(shí)別流程圖Fig.2 Flowchart of clothing color recognition

1 基于多尺度局部反射統(tǒng)計(jì)的光照估計(jì)

1.1 光照模型

室外場景中一般是多光源，這里假設(shè)場景光源是單一的，大多數(shù)顏色恒常模型以朗伯體反射成像模型為基礎(chǔ)，有

(1)

(2)

1.2 光照估計(jì)與矯正

對于光照異常的場景，能夠感知到場景真實(shí)的顏色主要由于反射光進(jìn)入人眼經(jīng)過視網(wǎng)膜處理，視網(wǎng)膜細(xì)胞處理信息主要依賴水平細(xì)胞側(cè)向調(diào)節(jié)作用以及雙極細(xì)胞和神經(jīng)節(jié)細(xì)胞中心外周感受野機(jī)制.因此，圖像中每一個(gè)空間位置，水平細(xì)胞通過反饋調(diào)節(jié)錐體細(xì)胞的輸出實(shí)現(xiàn)光源的估計(jì)[17].

(3)

(4)

(5)

(6)

(7)

(8)

(9)

2 基于層次化分類的衣著顏色識(shí)別

由于背景的干擾會(huì)影響到最終的識(shí)別精度，為此，筆者采用了基于深度全局神經(jīng)網(wǎng)絡(luò)行人解析的方法[18]消去背景的干擾，確定行人上下身位置，然后對分割出的衣著運(yùn)用滑動(dòng)窗投票的方式識(shí)別顏色類型.另外前景目標(biāo)分割出來后，由于光照強(qiáng)度亮度的不同，許多顏色會(huì)被誤分類，傳統(tǒng)的方法很難處理這種問題，經(jīng)常把相同顏色在不同光照條件下被錯(cuò)分不同的顏色,為此筆者提出了一種層次化分類方法.首先用Gray-Classifier分類器區(qū)分有彩色和無彩色類型，然后運(yùn)用層DG-Classifier分類器對無彩色圖像類型做細(xì)分，運(yùn)用子層DC-Classifier分類器對有彩色圖像做細(xì)分.

2.1 Gray-Classifier分類器

(10)

(11)

(12)

像素p屬于無彩色類型的概率定義為

(13)

2.2 DG-Classifier和DC-Classifier分類器

(14)

其中

3 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證提出方法的有效性，筆者采取了11種顏色類型分類，包括不同條件下早上6點(diǎn)到晚上7點(diǎn)采集的共31 800個(gè)小塊作為訓(xùn)練樣本(黑色3 000，灰色3 000，白色4 600，藍(lán)色4 300，棕色1 000，綠色1 100，橙色800，紫色2 000，粉紅色2 000，紅色5 700，黃色4 300)，采用線性SVM[19]作為基本分類器.采用Dollár等[20]提出的基于聚合通道特征行人檢測方法搜集行人數(shù)據(jù)集.測試階段，采用同樣的方法搜集樣本4 998張，其中晚上2 052張，白天2 946張.

為了驗(yàn)證方法的有效性，分別在正常光照條件和傍晚有路燈或者圖像受偏色影響條件下進(jìn)行實(shí)驗(yàn)，表1為部分實(shí)驗(yàn)結(jié)果，“未”補(bǔ)償表示沒有經(jīng)過光照的處理，“有”補(bǔ)償表示經(jīng)過光照處理后進(jìn)行識(shí)別.未去除光照影響前，平均識(shí)別精度65.4%.筆者的方法對光照補(bǔ)償后再分類，平均精度91.8%.實(shí)驗(yàn)表明筆者提出的多尺度局部反射統(tǒng)計(jì)光照估計(jì)方案可以有效地對燈光和偏色圖像進(jìn)行矯正，提高識(shí)別準(zhǔn)確率.

表1 傍晚和白天“有”去光照與“未”去光照結(jié)果對比

文獻(xiàn)[21-22]使用RGB顏色直方圖特征和不同分類器進(jìn)行顏色類型分類；胡江華等[21]首先結(jié)合形狀約束對GraphCut改進(jìn)，使其能夠完整地分割出行人輪廓，根據(jù)正常人的1∶3∶4身高比例區(qū)分上下身衣著，然后使用顏色直方圖和SVM進(jìn)行顏色分類；馬元元等[22]采用KNN(k-nearest neighbor)分類器和RGB顏色直方圖投票方式對行人衣著顏色進(jìn)行分類.文獻(xiàn)[21-22]使用的都是顏色直方圖作為分類特征，由于RGB顏色空間受光照影響，因此光照和視角變化比較大的情況下這兩種方法的魯棒性會(huì)降低;另外，文獻(xiàn)[21-22]通過在不同光照條件下的數(shù)據(jù)作為訓(xùn)練樣本來克服光照影響相比，筆者提出的方法在克服光照變化更有效.Brown等[1]采用的是規(guī)則分類器，融合HSV和RGB空間特征實(shí)驗(yàn)對比結(jié)果，但有些顏色對于光照的亮度不同，有彩色類型被誤識(shí)別無彩色類型，導(dǎo)致準(zhǔn)確率不高平均達(dá)到79.3%.表2為筆者提出的采用層次化分類器分類的結(jié)果與其他方法識(shí)別精度對比，實(shí)驗(yàn)表明，筆者提出的方法對光照影響具有一定的魯棒性且精度至少提高12.5%.圖3展示了部分識(shí)別結(jié)果.

表2 不同方法識(shí)別精度對比

a：原圖；b：矯正后；c：行人分割；d：識(shí)別結(jié)果.圖3 不同光照條件部分實(shí)驗(yàn)結(jié)果Fig.3 Part of experimental results under various lighting conditions

視頻監(jiān)控中,影響識(shí)別結(jié)果不準(zhǔn)確的原因:首先，目標(biāo)在運(yùn)動(dòng)過程中，會(huì)存在相互間的遮擋、其他目標(biāo)(樹木，建筑物等)遮擋情況或者目標(biāo)行人背包的影響，都會(huì)影響識(shí)別結(jié)果的準(zhǔn)確性；其次，實(shí)驗(yàn)過程中沒有有效地從視頻序列中選取圖像集，或者沒有根據(jù)運(yùn)動(dòng)軌跡選擇不同的目標(biāo)序列進(jìn)行全局化的描述，盡量不選擇那些遮擋嚴(yán)重的代表幀，也是識(shí)別錯(cuò)誤的原因之一；最后，消除前景的過程中有部分背景的干擾，前景分割不完整也會(huì)使得識(shí)別結(jié)果錯(cuò)誤.

4 結(jié)束語

由于復(fù)雜場景中光照多變，衣著顏色容易受光照強(qiáng)度以及光照顏色的影響，筆者提出一種多尺度局部反射統(tǒng)計(jì)方案和層次化分類方法能有效克服光照的影響.實(shí)驗(yàn)結(jié)果表明，筆者提出的方法相對其他方法更加魯棒有效.實(shí)驗(yàn)中部分行人分割不完整、行人攜帶背包、行人被遮擋等都會(huì)影響最終識(shí)別的精度.所以，在未來的工作中將著重考慮如何從目標(biāo)行人連續(xù)序列中選取有效的目標(biāo)進(jìn)行識(shí)別，同時(shí)進(jìn)一步考慮如何對衣著類型進(jìn)行準(zhǔn)確識(shí)別.

[1] BROWN L M.Example-based color vehicle retrieval for surveillance[C]//Advanced Video and Signal Based Surveillance (AVSS),Seventh IEEE International Conference on IEEE,2010:91-96.

[2] FANG J,YUE H,LI X,et al.Color identifying of vehicles based on color container and BP network[C]//Business Management and Electronic Information (BMEI),International Conference on IEEE,2011,3:226-229.

[3] WANG Y C,HSIEH C T,HAN C C,et al.The color identification of automobiles for video surveillance [C]//Security Technology (ICCST),IEEE International Carnahan Conference on IEEE,2011:1-5.

[4] YANG M,HAN G,LI X,et al.Vehicle color recognition using monocular camera[C]//Wireless Communications and Signal Processing (WCSP),International Conference on IEEE,2011:1-5.

[5] CHEN K W,LAI C C,LEE P J,et al.Adaptive learning for target tracking and true linking discovering across multiple non-overlapping cameras[J].Multimedia,IEEE Transactions on,2011,13 (4):625-638.

[6] PICUS C,PFLUGFELDER R,MICUSIK B.Branch and bound global optima search for tracking a single object in a network of non-overlapping cameras[C]//Computer Vision Workshops (ICCV Workshops),IEEE International Conference on IEEE,2011:1825-1830.

[7] LIAN G,LAI J,ZHENG W S.Spatial-temporal consistent labeling of tracked pedestrians across non-overlapping camera views[J].Pattern Recognition,2011,44 (5):1121-1136.

[8] BUCHSBAUM G.A spatial processor model for object color perception[J].Journal of the Franklin institute,1980,310 (1):1-26.

[9] VANDW J,GEVERS T.Color constancy based on the grey-edge hypothesis[C]//Image Processing,ICIP 2005,IEEE International Conference on IEEE,2005,2:722-725.

[10] GEHLER P V,ROTHER C,BLAKE A,et al.Bayesian color constancy revisited[C]//Computer Vision and Pattern Recognition,CVPR 2008,IEEE Conference on IEEE,2008:1-8.

[11] YANG W,LUO P,LIN L.Clothing co-parsing by joint image segmentation and labeling[C]//Computer Vision and Pattern Recognition (CVPR),IEEE Conference on IEEE,2014:3182-3189.

[12] YAMAGUCHI K,KIAPOUR M H,ORTIZ L E,et al.Parsing clothing in fashion photographs[C]//Computer Vision and Pattern Recognition (CVPR),IEEE Conference on IEEE,2012:3570-3577.

[13] GAO S,HAN W,YANG K,et al.Efficient color constancy with local surface reflectance statistics[C]//Computer Vision-ECCV,Springer International Publishing,2014:158-173.

[14] EBNER M.Color constancy based on local space average color[J].Machine Vision and Applications,2009,20(5):283-301.

[15] CHAKRABARTI A,HIRAKAWA K,ZICKLER T.Color constancy with spatio-spectral statistics[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2012,34 (8):1509-1519.

[16] GIJSENIJ A,LU R,GEVERS T.Color constancy for multiple light sources[J].Image Processing,IEEE Transactions on,2012,21 (2):697-707.

[17] SCHILLER P H.Parallel information processing channels created in the retina[J].Proceedings of the National Academy of Sciences,2010,107 (40):17087-17094.

[18] LUO P,WANG X,TANG X.Pedestrian parsing via deep decompositional network[C]//Computer Vision (ICCV),IEEE International Conference on IEEE,2013:2648-2655.

[19] CHANG C C,LIN C J.LIBSVM:A library for support vector machines[J].ACM Transactions on Intelligent Systems and Technology (TIST),2011,2 (3):27.

[20] DOLLR P,APPEL R,BELONGIE S,et al.Fast feature pyramids for object detection[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2014,36 (8):1532-1545.

[21] 胡江華.靜態(tài)圖像的行人分割及其應(yīng)用[D].合肥：安徽大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,2014.

[22] 馬元元,李成龍,湯進(jìn),等.視頻監(jiān)控場景下行人衣著顏色識(shí)別[J].安徽大學(xué)學(xué)報(bào)(自然科學(xué)版),2015,39 (5):25-30.

(責(zé)任編輯 朱夜明)

Clothing color recognition based on multi-scale illumination estimation and hierarchical categorization

ZHANG Jing1,WANG Wenzhong1,LI Chenglong1,TANG Jin1,2*,LUO Bin1,2

(1.School of Computer Science and Technology,Anhui University,Hefei 230601,China;2.Key Lab of Industrial Image Processing and Analysis of Anhui Province,Hefei 230601,China)

Clothing color of pedestrian,as the most salient appearance features,was easily contaminated by illuminance variation in video surveillance.To this end,this paper proposed a clothing color recognition method based on multi-scale illumination estimation and hierarchical categorization.Firstly,this paper presented a multi-scale illumination estimation model,which employed local reflection statistics,to correct colors of the color-biased image.Secondly,a hierarchical classifier based on multiple color space features was designed to accurately recognize clothing colors.Finally,extensive experiments on the newly created dataset,including 4 998 image samples (2 052 for evening,2 946 for daytime) recorded in campus,suggested that the proposed method outperforms other methods at least 12.5% on accuracy.

clothing color;multi-scale illuminance estimation;hierarchical categorization；video surveillance；color-biased image

10.3969/j.issn.1000-2162.2016.06.006

2015-04-12

國家863計(jì)劃資助項(xiàng)目(2014AA015104);國家自然科學(xué)基金資助項(xiàng)目(61502006,61502003)

張 京(1990-),男，安徽宿州人，安徽大學(xué)碩士研究生；*湯 進(jìn)(通信作者)，安徽大學(xué)教授，博士生導(dǎo)師，博士，E-mail:tj@ahu.edu.cn.

TP391

A

1000-2162(2016)06-0024-07