基于顏色通道融合特征的現(xiàn)勘圖像分類算法

劉穎 張倩楠 王富平 雷研博 公衍超 楊凡超

摘? 要： 針對(duì)單一特征難以精確地表達(dá)復(fù)雜圖像內(nèi)容的問題，提出基于顏色通道融合特征的現(xiàn)勘圖像分類算法。首先，分別在H，S和V三個(gè)顏色通道上提取圖像的 LBP 特征和GIST特征，并利用顏色空間信息進(jìn)行加權(quán)融合;然后，將融合的LBP和GIST特征串聯(lián)形成新的特征描述向量，并用于訓(xùn)練分類器以實(shí)現(xiàn)精確地現(xiàn)勘圖像分類。在現(xiàn)勘圖像數(shù)據(jù)庫上，大量實(shí)驗(yàn)結(jié)果顯示提出的現(xiàn)勘圖像分類算法優(yōu)于基于單一特征的圖像分類正確率。

關(guān)鍵詞： 現(xiàn)勘圖像分類; 顏色通道; 特征提取; 特征融合; 訓(xùn)練分類器; 實(shí)驗(yàn)分析

中圖分類號(hào)： TN911.73?34; TP391.41? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼： A? ? ? ? ? ? ? ? ? ? 文章編號(hào)： 1004?373X（2020）04?0067?06

Crime scene investigation image classification algorithm based on color

channel fusion features

LIU Ying1，2， ZHANG Qiannan1， WANG Fuping1， LEI Yanbo1， GONG Yanchao1， YANG Fanchao3

（1.Institute of Image and Information Processing， Xian University of Posts and Telecommunications， Xian 710121， China;

2. Key Laboratory of Electronic Information Application Technology for Scene Investigation， Ministry of Public Security， Xian 710121， China;

3. Key Laboratory of Spectral Imaging Technology， Xian Institute of Optics and Precision Mechanics， Chinese Academy of Sciences， Xian 710119， China）

Abstract： A crime scene investigation （CSI） classification algorithm based on color channel fusion feature is proposed to solve the problem that it is difficult for a single feature to accurately express the complex image content. The LBP features and GIST features of the image are extracted from the three color channels of H， S and V respectively， and the weight fusion of them is performed with the color space information. The fused LBP and GIST features are connected in series to form a new feature description vector， which is used to train the classifier to realize accurate classification of the CSI image. On the CSI image database， a large number of experimental results show that the classification accuracy of the proposed CSI image classification algorithm is better than that of image classification based on a single feature.

Keywords： crime scene investigation image classification; color channel; feature extraction; feature fusion; training classifier; experimental analysis

0? 引? 言

隨著公安刑偵現(xiàn)勘技術(shù)的發(fā)展及現(xiàn)勘采集設(shè)備質(zhì)量的提升，采集到的現(xiàn)勘圖像數(shù)據(jù)規(guī)模迅速增長。而現(xiàn)勘圖像數(shù)據(jù)內(nèi)容豐富多樣，對(duì)現(xiàn)勘圖像數(shù)據(jù)的精確分類可以提高辦案人員的工作效率[1?2]。特征提取是實(shí)現(xiàn)圖像分類處理的關(guān)鍵環(huán)節(jié)，而常用的低層圖像特征包含顏色特征、紋理特征、形狀特征和空間特征。

顏色空間是顏色信息的表達(dá)方式，不同的顏色空間反映不同的顏色特征。常見的顏色空間有RGB，HSV，HIS和YCrCb等[3]。很多文獻(xiàn)將紋理特征、形狀特征等應(yīng)用在不同顏色空間，用極值融合模式、求和融合模式和編碼模式[4]等方法提高圖像分類和檢索的性能。文獻(xiàn)[5]提出了一種使用聯(lián)合降維算法的顏色通道融合方法，通過HSV三通道中選擇更加可靠的特征進(jìn)行人臉識(shí)別。文獻(xiàn)[6]提出了一種對(duì)光照強(qiáng)度具有不變性的紋理描述子，通過融合局部二值模式（Local Binary Pattern，LBP）和顏色對(duì)比度特征以構(gòu)建新描述子，并采用夾角余弦相似性度量方法進(jìn)行紋理圖像的分類。文獻(xiàn)[7]引入RGB顏色空間，分別對(duì)RGB三個(gè)通道計(jì)算局部GIST特征，串聯(lián)得到顏色局部GIST特征。文獻(xiàn)[8]使用聯(lián)合顏色通道和分層二進(jìn)制模式進(jìn)行快速和魯棒的旋轉(zhuǎn)不變對(duì)象檢測(cè)的方法，用作眾所周知的級(jí)聯(lián)AdaBoost中的分類器實(shí)現(xiàn)分類。文獻(xiàn)[9]使用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN），對(duì)比RGB，HSV和CIE Lab三種顏色空間中公共車輛的識(shí)別模型，選擇效果最好的RGB顏色空間提升智能交通系統(tǒng)的性能。

以上研究表明，在不同顏色空間提取低層特征并進(jìn)行合適的融合，可以有效提高圖像的檢索與分類準(zhǔn)確率。但是，特征層融合會(huì)面臨特征空間不匹配或“維度災(zāi)難”等不足。本文提出一種新的顏色通道特征融合算法，在不增加特征維度的條件下，有效地融合了HSV顏色空間的三個(gè)通道上的LBP局部紋理特征和GIST全局特征。首先，在HSV三個(gè)通道上分別提取圖像的LBP特征和GIST特征，并在顏色空間上進(jìn)行加權(quán)并聯(lián)融合;然后，將融合的LBP和GIST特征進(jìn)行串聯(lián)形成最終的特征向量，并用于訓(xùn)練分類器實(shí)現(xiàn)圖像分類。提出的算法既能將圖像的顏色特征、局部特征和全局特征進(jìn)行有效融合，又避免了多特征融合造成的“維度災(zāi)難”。實(shí)驗(yàn)結(jié)果證明了該算法能提高現(xiàn)勘圖像的分類正確率。

1? 基于顏色通道融合特征的現(xiàn)勘圖像分類算法

現(xiàn)勘圖像數(shù)據(jù)庫包含局部信息突出和場(chǎng)景復(fù)雜的類別，為了更有效地描述多種類別現(xiàn)勘圖像內(nèi)容，本文使用描述局部紋理的LBP特征和適用于場(chǎng)景分類的GIST特征來描述現(xiàn)勘圖像。LBP特征對(duì)于有豐富紋理細(xì)節(jié)的圖片十分有效，比如鞋印、指紋、皮膚和輪胎花紋;而GIST特征描述符適用于描述全局場(chǎng)景，所以對(duì)現(xiàn)勘圖像中場(chǎng)景比較復(fù)雜的圖片描述有效。

本文提出的基于HSV顏色通道融合特征的現(xiàn)勘圖像分類算法，包括三個(gè)環(huán)節(jié)：

1） 在HSV三個(gè)通道上分別提取圖像的LBP特征和GIST特征;

2） 對(duì)LBP特征和GIST特征分別進(jìn)行加權(quán)并聯(lián)，并對(duì)融合LBP和GIST特征進(jìn)行串聯(lián)融合。

3） 對(duì)融合特征進(jìn)行分類器訓(xùn)練，并基于SVM對(duì)圖像分類。

1.1? 基于顏色通道的LBP特征

Ojala等人針對(duì)紋理圖像提出LBP方法[10]，該方法具有抗光照性、旋轉(zhuǎn)不變性等優(yōu)點(diǎn)，被廣泛應(yīng)用在紋理特征提取和人臉識(shí)別為代表的諸多圖像處理和計(jì)算機(jī)視覺領(lǐng)域。隨后也有學(xué)者們提出改進(jìn)的LBP算法?；贖SV顏色空間的LBP特征考慮到不同顏色空間的紋理特征，且H，S和V三個(gè)顏色通道獨(dú)立性強(qiáng)，進(jìn)而提升了分類的正確率，同時(shí)HSV顏色空間的三通道融合也增強(qiáng)了通道間的魯棒性。

首先，對(duì)彩色圖像進(jìn)行H，S和V三通道分離。然后，為了考慮特征的位置信息，將每個(gè)通道圖像均勻劃分為[2×2]個(gè)子塊，通過式（1）和式（2） 計(jì)算每個(gè)子塊中各像素的LBP值。最后，對(duì)各子塊進(jìn)行直方圖統(tǒng)計(jì)，得到[2×2]個(gè)子塊的LBP直方圖，將各子塊直方圖級(jí)聯(lián)起來描述各通道圖像的紋理特征[LBPtG]，其中，[t=H，S，V]，有：

[LBPtix，y=n=1Nlbptnx，y*2n-1]? ?（1）

式中：

[lbptnx，y=1，? ? ?ftn（x，y）≥ft（x，y）0，? ?其他]（2）? ? ? [ftn（x，y）]表示圖像第t個(gè)顏色通道鄰域中第n個(gè)像素點(diǎn)的灰度值;[ ft（x，y）]表示圖像第t個(gè)顏色通道上中心像素點(diǎn)[（x，y）]的灰度值。

1.2? 基于顏色通道的GIST特征

現(xiàn)勘圖像很多類別是對(duì)案發(fā)場(chǎng)景的描述，GIST描述符作為全局特征很適合用于場(chǎng)景圖像。GIST特征最初是由Oliva提出的[11]，其使用一系列統(tǒng)計(jì)屬性來描述圖像場(chǎng)景信息，包括自然度、開放度、粗糙度等屬性[12]。構(gòu)建GIST描述子步驟如下：

1） 在H，S和V三通道上分別對(duì)大小為[m·n]的圖像[ftx，y]劃分為均勻的[na·na]個(gè)網(wǎng)格，則每個(gè)網(wǎng)格的大小為[mna·nna]，其中，[t=H，S，V]。

2） 用[nc]個(gè)Gabor濾波器分別對(duì)三個(gè)通道的圖像進(jìn)行卷積濾波，每個(gè)網(wǎng)格濾波后的結(jié)果是塊特征。

[nc=m·n]? （3）

式中：[m]為濾波器的尺度數(shù);[n]為濾波器的方向數(shù)。

[Gtix，y=catncftx，y*gmnx，y] （4）

式中，[i=1，2，…，na·na];[ftx，y]中[x，y]為第[i]小塊中的坐標(biāo)值;[Gti]的維數(shù)為[mna·nna·nc]。

3） 將上述每一小塊計(jì)算出的特征值取平均值，得到該小塊的GIST描述子特征：

[Gtnc=1mna·nna（x，y）Gtnc（x，y）? ]? （5）

式中：[Gtnc]表示在第[nc]個(gè)濾波后所產(chǎn)生的平均特征值;[Gtnc（x，y）]表示第[nc]個(gè)濾波后所產(chǎn)生的特征值。

4） 將每個(gè)網(wǎng)格產(chǎn)生的平均特征值級(jí)聯(lián)起來，得到各個(gè)通道圖像的全局GIST特征[GtG]，再將三通道的GIST特征進(jìn)行加權(quán)并聯(lián)，最終得到三通道融合GIST特征。

1.3? 融合特征

根據(jù)現(xiàn)勘圖像的類別和特點(diǎn)，單一特征只能表達(dá)圖像的部分特征，為了更全面地描述現(xiàn)勘圖像各類別的內(nèi)容信息，本文從顏色空間上對(duì)特征進(jìn)行并聯(lián)融合，然后串聯(lián)LBP局部特征和GIST全局特征。

1） 特征并聯(lián)融合

設(shè)樣本空間[θ]的三個(gè)通道提取特征是A，B和C，特征向量表示為 [α∈A，β∈B，γ∈C]。并聯(lián)特征融合方法是將[α，β，γ]三個(gè)特征量融合成一個(gè)特征量[μ]，公式如下：

[μ=ω1*α+ω2*β+ω3*γ] （6）

式中，[ω1，ω2，ω3]為權(quán)重系數(shù)，其中權(quán)重系數(shù)同時(shí)滿足以下約束條件：

[0≤ω1，ω2，ω3≤1ω1+ω2+ω3=1]? （7）

因?yàn)樵谌ǖ捞崛∠嗤奶卣鳎訹α，β，γ]三個(gè)特征量維度相同，且融合特征量[μ]的維度也相同。例如，[α=α1，α2，α3T]，[β=β1，β2，β3T]和[γ=γ1，γ2，γ3T]，然后加權(quán)成為融合特征[μ]，即：

[μ=ω1*α1+ω2*β1+ω3*γ1ω1*α2+ω2*β2+ω3*γ2ω1*α3+ω2*β3+ω3*γ3]? ?（8）

通過實(shí)驗(yàn)得出：當(dāng)三個(gè)通道的LBP特征[LBPTG]權(quán)重系數(shù)為1∶2∶7時(shí)分類正確率最高，三個(gè)通道的GIST特征[GGG]權(quán)重系數(shù)為0∶1∶9時(shí)分類正確率最高。

2） 特征串聯(lián)融合

將提取的LBP特征與三個(gè)通道的GIST特征進(jìn)行串聯(lián)融合，圖像最終融合特征[F]為：

[F=cat（2，LBPTG，GGG ）] （9）

1.4? SVM多分類

目前，構(gòu)造SVM多類分類器的方法有直接法和間接法。直接法是將多個(gè)分類平面的求解看作一個(gè)最優(yōu)化問題，通過求解該最優(yōu)化問題實(shí)現(xiàn)多分類。間接法的常見方法有一對(duì)一分類（One?Versus?One，OVO）和一對(duì)多分類（One?Versus?Rest，OVR）兩種。本文按照一對(duì)多方法構(gòu)造核函數(shù)是RBF（Radial Basis Function，RBF）[13]核的SVM分類器，隨機(jī)選擇每個(gè)類別樣本數(shù)的60%作為訓(xùn)練樣本，將剩余40%數(shù)據(jù)作為測(cè)試樣本。

2? 實(shí)驗(yàn)結(jié)果

2.1? 實(shí)驗(yàn)數(shù)據(jù)庫

1）CIIP?CSID數(shù)據(jù)庫[14]（CIIP Crime Scene Investigation Image database，CIIP?CSID）：由西安郵電大學(xué)圖像與信息處理研究所（Center for Image and Information Processing，CIIP）結(jié)合刑偵特殊行業(yè)的真實(shí)數(shù)據(jù)，自建的現(xiàn)勘圖像數(shù)據(jù)庫。該數(shù)據(jù)庫包含19 363幅圖片，共計(jì)52類，包括各類典型案件，如盜竊案、兇殺案、傷害案、破壞案等。實(shí)驗(yàn)選取CIIP?CSID數(shù)據(jù)庫中血跡、車輛、指紋、現(xiàn)場(chǎng)平面圖、鞋印、皮膚、紋身、犯罪工具、輪胎花紋、窗戶10個(gè)類別，每個(gè)類別500幅圖像，數(shù)據(jù)庫共5 000幅圖像，圖2為CIIP?CSID示例圖。

2） Corel?1K數(shù)據(jù)庫：Corel?1K數(shù)據(jù)庫包含非洲、海灘、建筑、公共汽車、恐龍、大象、鮮花、馬、山和食物10個(gè)類別，每個(gè)類別100幅圖像，共1 000幅圖。

2.2? 分類性能評(píng)價(jià)指標(biāo)

分類性能的評(píng)價(jià)參數(shù)選用正確率（Accuracy）為：

[Accuracy=TN×100%] （10）

式中：T為正確分類樣本個(gè)數(shù);N為總樣本個(gè)數(shù)。當(dāng)Accuracy值越高，說明分類的效果越好。

2.3? 實(shí)驗(yàn)結(jié)果與分析

1） 實(shí)驗(yàn)1：不同通道的特征分類結(jié)果對(duì)比

在CIIP?CSID數(shù)據(jù)庫上分別比較H，S，V三個(gè)通道、三個(gè)通道的融合以及原始的LBP特征和GIST特征對(duì)于圖像分類結(jié)果的影響。其中，LBP特征為[2×2×256=1 024]維特征;GIST特征把刑偵現(xiàn)勘圖像劃分成[4×4]的網(wǎng)格，用4尺度8方向的32個(gè)Gabor濾波器處理，最終得到圖像[4×4×32=512]維的GIST特征。不同通道的LBP特征分類結(jié)果如表1、表2所示。

可以看出，三通道融合的LBP特征整體的平均正確率與H，S和V三個(gè)通道以及原始LBP特征相比分別提高3.08%，7.74%，2.19%，3.85%。三通道融合的GIST特征整體平均正確率與其他特征相比分別提高9.19%，6.97%，1.41%，1.77%。

2） 實(shí)驗(yàn)2：不同特征提取算法的分類結(jié)果對(duì)比

在CIIP?CSID數(shù)據(jù)庫上將本文算法與HSV直方圖特征、HOG特征、顏色矩特征、四層小波特征、詞袋（Bag?of?words，BOW）特征、CNN特征進(jìn)行比較。其中CNN特征是以VGG?19網(wǎng)絡(luò)為基礎(chǔ)，在ImageNet數(shù)據(jù)集上進(jìn)行模型預(yù)訓(xùn)練，再利用遷移學(xué)習(xí)訓(xùn)練現(xiàn)勘圖像CNN模型執(zhí)行分類任務(wù)。從表3中看出，本文算法的平均分類正確率高于低層特征，但與CNN特征相比較，分類正確率相差3.49%。CNN特征通過對(duì)樣本進(jìn)行不斷學(xué)習(xí)與訓(xùn)練，在多目標(biāo)圖像類別中表現(xiàn)突出，如“血跡”“車輛”“現(xiàn)場(chǎng)平面圖”“紋身”“犯罪工具”“作案工具”“窗戶”這些類別中CNN特征的正確率高于本文算法。而在單目標(biāo)圖像類別中，“指紋”“鞋印”“皮膚”“輪胎花紋”類別中本文算法的正確率略高與CNN特征。卷積神經(jīng)網(wǎng)絡(luò)在圖像分類中有很好的分類效果，但在訓(xùn)練時(shí)間上與本文算法平均每張圖像多出0.047 s的時(shí)間，見表4。當(dāng)訓(xùn)練樣本過大時(shí)，卷積神經(jīng)網(wǎng)絡(luò)的時(shí)間復(fù)雜度很高。

此外，筆者已經(jīng)利用遷移學(xué)習(xí)方法進(jìn)行現(xiàn)勘圖像分類實(shí)驗(yàn)并取得較好結(jié)果。但由于CIIP?CSID數(shù)據(jù)庫數(shù)量規(guī)模不夠大，神經(jīng)網(wǎng)絡(luò)無法得到充分訓(xùn)練，難以發(fā)揮CNN的強(qiáng)大性能。因此，下一步工作中將研究如何將所提出的低層圖像特征與CNN特征結(jié)合來進(jìn)一步提高分類效率。為了驗(yàn)證本文算法的適用性， 在Corel?1K數(shù)據(jù)庫上比較本文算法、HSV直方圖特征、HOG特征、顏色矩特征、四層小波特征BOW詞袋特征、CNN特征。如表5所示，在Corel?1K數(shù)據(jù)庫上本文的分類正確率高于其他低層特征提取算法，但平均正確率低于CNN特征的正確率。然而“建筑”“大象”“鮮花”“山”這些單目標(biāo)的圖像類別，本文算法的正確率接近于CNN特征的正確率?？梢钥闯霰舅惴o論是現(xiàn)勘數(shù)據(jù)集還是Corel?1K數(shù)據(jù)庫，對(duì)于圖像場(chǎng)景復(fù)雜、目標(biāo)不明確的圖像的分類性能還需要提高。

3） 實(shí)驗(yàn)3：CIIP?CSID上不同融合特征以及不同融合系數(shù)的分類結(jié)果

三通道融合LBP及GIST特征不同權(quán)重的分類結(jié)果如圖3、圖4所示。

可以看出，當(dāng)融合LBP特征中的三個(gè)通道特征的權(quán)重系數(shù)為1∶2∶7時(shí)比其他權(quán)重的正確率要高，在現(xiàn)勘圖像數(shù)據(jù)庫上平均分類正確率為84.72%。當(dāng)GIST的三個(gè)通道特征的權(quán)重系數(shù)為0∶1∶9時(shí)可以獲得最高的分類正確率，在現(xiàn)勘圖像數(shù)據(jù)庫上平均分類正確率為91.22%。可以看出，當(dāng) GIST場(chǎng)景描述符分離在三個(gè)通道上時(shí)，H通道相比其他通道提供的信息少，因此H通道不參與融合后的正確率最高。

圖5是用LBP特征與GIST特征進(jìn)行串聯(lián)的結(jié)果和本文融合方法進(jìn)行對(duì)比。可以看出，在LBP特征與GIST特征串聯(lián)之前，對(duì)特征進(jìn)行顏色空間上的加權(quán)并聯(lián)融合能提高現(xiàn)勘圖像每個(gè)類別的分類正確率。

3? 結(jié)? 語

為了提升現(xiàn)勘圖像分類的正確率，本文提出一種基于顏色通道特征融合的圖像特征提取算法。該算法有兩點(diǎn)創(chuàng)新：

1） 將LBP特征和GIST特征應(yīng)用在HSV顏色通道上，使最終融合特征包含局部LBP特征和全局GIST特征的同時(shí)加入圖像顏色信息。

2） 在顏色通道中分別對(duì)LBP特征和GIST特征進(jìn)行基于空間信息的加權(quán)融合及串聯(lián)融合，在保證融合特征維度不變的同時(shí)，提高了其分類正確率。在現(xiàn)勘圖像數(shù)據(jù)庫上，實(shí)驗(yàn)結(jié)果表明本文提出的現(xiàn)勘圖像分類算法的有效性。

注：本文通訊作者為張倩楠。

參考文獻(xiàn)

[1] 劉穎，胡丹，范九倫.現(xiàn)勘圖像檢索綜述[J].電子學(xué)報(bào)，2018，46（3）：761?768.

[2] LIU Ying， PENG Yanan， LIM Kengpang， et al. A novel image retrieval algorithm based on transfer learning and fusion features [J]. World wide web?internet & web information systems， 2018（1）： 1?12.

[3] SARAVANAN G， YAMUNA G， NANDHINI S. Real time implementation of RGB to HSV/HSI/HSL and its reverse color space models [C]// International Conference on Communication and Signal Processing. New Jersey： IEEE， 2016： 462?466.

[4] 劉濤，周先春，嚴(yán)錫君.多通道多模式融合LBP特征的紋理相似度計(jì)算[J].計(jì)算機(jī)應(yīng)用研究，2018，35（12）：289?292.

[5] LU Z， JIANG X， KOT A C. A color channel fusion approach for face recognition [J]. IEEE signal processing letters， 2015， 22（11）： 1839?1843.

[6] CUSANO C， NAPOLANTANO P， SCHETTINI R. Illuminant invariant descriptors for color texture classification [C]// International Conference on Computational Color Imaging. Berlin： Springer， 2013： 239?249.

[7] 楊昭，高雋，謝昭，等.局部Gist特征匹配核的場(chǎng)景分類[J].中國圖象圖形學(xué)報(bào)，2013，18（3）：264?270.

[8] KIM I， SUNG J， LEE D， et al. Fast and robust rotation invariant object detection with joint color channel and hierarchical binary pattern [C]// 2015 12th International Conference on Ubiquitous Robots and Ambient Intelligence. Goyang： IEEE， 2015： 1221?1225.

[9] RACHMADI R F， PURNAMA I K E. Vehicle color recognition using convolutional neural network [J]. Computer vision and pattern recognition， 2015（14）： 41?46.

[10] OJALA T， PIETIKAINEN M， MAENPAA T. Multiresolution gray?scale and rotation invariant texture classification with local binary patterns [C]// European Conference on Computer Vision. Dublin： IEEE， 2000： 404?420.

[11] AUDE Oliva， ANTONIO Torralba. Modeling the shape of the scene： a holistic representation of the spatial envelope [J]. International journal of computer vision， 2001， 42（3）： 145?175.

[12] DESAI R， SONAWANE B. Gist， HOG， and DWT?based content?cased image retrieval for facial images [M]. Singapore： Springer， 2017.

[13] GOWDA S N. Fiducial points detection of a face using RBF?SVM and adaboost classification [C]// Asian Conference on Computer Vision. [S.l.]： Springer， 2016： 590?598.

[14] Center for Image and Information Processing in Xian University of Posts and Telecommunications. “CIIP?CSID” Crime scene investigation image database [EB/OL]. [2017?04?19]. http：//www.xuptciip.com.cn/show.html？database?xksjk04.