基于空間金字塔模型的DCA特征融合地形分類

摘 要：針對空間金字塔視覺詞袋模型對地形圖像分類時(shí)忽略顏色信息、紋理表達(dá)不明顯及特征維度高等問題，提出一種基于空間金字塔模型的DCA特征融合地形分類方法。該方法優(yōu)化傳統(tǒng)空間金字塔模型子區(qū)域劃分方式，提取地形圖像優(yōu)化后的SPM-BOVW特征、HSV特征、LBP特征；通過DCA算法構(gòu)建3組變換特征；采用串聯(lián)將變換特征進(jìn)行融合。實(shí)驗(yàn)結(jié)果表明，以融合特征作為支持向量機(jī)（SVM）分類器的輸入，利用網(wǎng)格參數(shù)尋優(yōu)，最終獲得了較高的地形分類精度，說明所提方法在太陽能電站的地形圖像分類上具有較好的魯棒性。

關(guān)鍵詞：太陽能；特征提??；支持向量機(jī)；特征融合；地形分類

中圖分類號：TP242.6 文獻(xiàn)標(biāo)志碼：A

0 引 言

光伏組件表面的積塵，嚴(yán)重影響其服役壽命，利用自主移動(dòng)清潔機(jī)器人及時(shí)對組件表面積塵清潔至關(guān)重要［1］。光伏電站路面具有多樣性，存在松軟沙地、土地、草地、碎石地、崎嶇不平等不同種類的非幾何特征危險(xiǎn)［2］地形路面，若對地形特征具備識別與分類能力，機(jī)器人可采取與不同地形相匹配的運(yùn)動(dòng)模式，保證清潔機(jī)器人安全地穿越地形。

近年來，空間金字塔視覺詞袋（spatial pyramid matching-bag of visual words，SPM-BOVW）模型在基于機(jī)器人視覺圖像識別與分類上得到廣泛應(yīng)用。Lazebnik等［3］針對傳統(tǒng)詞袋模型缺失圖像局部特征之間的空間位置信息，提出空間金字塔的詞袋模型對不同場景進(jìn)行識別，取得較高的識別精度；章海兵等［4］改進(jìn)了空間金字塔的劃分方式，并將集成化視覺詞包的詞袋模型結(jié)合空間金字塔匹配對自然場景進(jìn)行識別。文獻(xiàn)［5］提出多特征詞袋模型結(jié)合空間金字塔匹配對艦船進(jìn)行判別，采用SIFT和GLCM對圖像局部特征進(jìn)行描述。上述方法在圖像分類識別方面取得了不錯(cuò)的效果，但基于SPM-BOVW對地形圖像進(jìn)行中層語義表達(dá)，對圖像紋理表達(dá)不充分，忽略了圖像的顏色特征信息；當(dāng)聚類數(shù)目較大時(shí)，其特征維數(shù)過高，使得運(yùn)算速度降低。而底層顏色和紋理特征擁有更多位置、細(xì)節(jié)信息。

為此本文提出基于空間金字塔模型的DCA特征融合地形分類方法。優(yōu)化空間金字塔模型第3層劃分方式，對地形圖像分別提取改進(jìn)后SPM-BOVW模型特征、HSV顏色特征、LBP特征，鑒于3種特征各自的魯棒性以及為了提高對圖像的鑒別能力，采用DCA算法將3種特征融合。融合后的特征維數(shù)較低，能在顏色、紋理等方面更加全面的對圖像進(jìn)行描述，性能更優(yōu)。

1 特征提取

1.1 空間金字塔模型優(yōu)化

SPM由Lazebnik等［3］提出，是對傳統(tǒng)BOVW模型的改進(jìn)，其工作原理是在不同尺度下對圖像進(jìn)行子區(qū)域劃分，統(tǒng)計(jì)不同尺度下每個(gè)子區(qū)域的特征，將所有不同子區(qū)域的特征拼接，形成完整特征，從而考慮圖像的空間位置信息。如圖1所示，將圖像劃分為3個(gè)不同尺度即層數(shù)分別為[l]=0、[l]=1、[l]=2，[l]表示金字塔模型的尺度，用圓圈、菱形和三角形表示圖像的特征類型。圖1a所示為傳統(tǒng)3層空間金字塔子區(qū)域劃分方式，在二維圖像中[l]層下，劃分的子塊數(shù)量為[22l]，即圖像分別被劃分為1、4、16個(gè)子塊。傳統(tǒng)SPM模型第3層均勻劃分，所提取的特征冗余。

考慮到地形圖像最明顯的特征位于圖像中間位置，本文將圖1a所示傳統(tǒng)第3層空間金字塔子區(qū)域劃分方式進(jìn)行優(yōu)化，對中間區(qū)域進(jìn)行細(xì)分，使得所提取的特征具有代表性。本文所采用的劃分方式共得到13個(gè)子區(qū)域，如圖1b所示。與傳統(tǒng)劃分方法相比，優(yōu)化后的劃分模型少了8個(gè)子區(qū)域，通過實(shí)驗(yàn)，當(dāng)確定聚類數(shù)目[K=100]時(shí)，所得到的每幅圖像SPM-BOVW直方圖特征比傳統(tǒng)的方法少了700維，從而提高了運(yùn)算效率。

加速魯棒性特征算法（speeded up robust features，SURF）在繼承SIFT算法對尺度變換、旋轉(zhuǎn)、亮度保持不變性等優(yōu)點(diǎn)的概念下［6］，提高了算法的運(yùn)算速度和實(shí)時(shí)性能?？臻g金字塔視覺詞袋模型主要步驟如圖2所示，采用加速魯棒性特征算法（SURF）提取地形圖像局部特征信息，利用K-means++聚類算法對提取地形圖像的特征集進(jìn)行聚類，得到包含有[K]個(gè)視覺單詞的視覺詞典，同時(shí)對每張地形圖像進(jìn)行金字塔模型劃分，對劃分后的圖像采用SURF算法進(jìn)行子區(qū)域特征提取，將提取的特征映射到[K]個(gè)視覺單詞中，統(tǒng)計(jì)視覺詞典中每個(gè)視覺單詞出現(xiàn)的頻率形成子區(qū)域特征直方圖，進(jìn)一步將不同尺度下子區(qū)域的特征直方圖進(jìn)行對應(yīng)加權(quán)后合并來表示圖像。

選定聚類數(shù)目[K=100]，確定空間金字塔的劃分層數(shù)[L=2]，[l]層下的特征權(quán)重為[12L-l]，通過SPM-BOVW模型得到每幅圖像1400維特征向量[Fspm-bovw]。

1.2 顏色特征

光伏電站非幾何特征危險(xiǎn)地形路面在顏色上有很大差異。本文利用HSV顏色特征對地形圖像顏色信息進(jìn)行描述，HSV與人眼的視覺感知特性非常相似，能表達(dá)圖像色調(diào)、鮮艷程度以及明暗［7］，且具光照不變性。使用HSV顏色分量直方圖對光伏電站5類地形進(jìn)行分析，如圖3所示。對比每種地形的H（色調(diào)）、S（飽和度）、V（亮度）各分量數(shù)值可看出草地、礫石地和雪地之間各分量值有較大的差異，土地和沙地區(qū)別于其他3種地形，但是兩者之間各分量值比較相近。

從圖3可看出，在HSV顏色空間對地形圖像進(jìn)行特征提取，其特征維數(shù)過高，增加運(yùn)算量，因此需對[H]、[S]、[V]各分量進(jìn)行量化，并將其變換為一維地形圖像特征矢量[Fhsv]：

式中：[Qs]和[Qv]——地形圖像的量化級數(shù)；[Fhsv]——取值為［0，255］。

從5種地形圖像的HSV顏色分量直方圖可看出，決定地形圖像顏色分布主要是[H]色調(diào)直方圖，[S]飽和度直方圖次之，[V]亮度直方圖最低。本文通過多次實(shí)驗(yàn)，分別取[Qs]=4，[QV]=4，減小[S]和[V]分量對分類結(jié)果的影響，式（1）進(jìn)一步表示為：

計(jì)算可得HSV顏色空間下地形圖像256維特征向量，如圖4所示，5種地形的HSV顏色特征直方圖。

1.3 紋理特征

地形圖像的顏色在有陰影遮擋、光照、天氣及季節(jié)變化情況下會(huì)產(chǎn)生一定的變化，而局部二元模式［8］（local binary patter，LBP）對地形圖像具有旋轉(zhuǎn)和灰度不變性，且原理簡單、運(yùn)算效率高，可克服陰影遮擋和光照等帶來的影響。

文獻(xiàn)［8］改進(jìn)了經(jīng)典的LBP算法，將[3×3]的正方形鄰域改為可任意調(diào)節(jié)大小的圓形鄰域，如式（3）和式（4）所示，將改進(jìn)后的圓形鄰域進(jìn)行旋轉(zhuǎn)，得到一系列初始定義的LBP值，選取其中最小值作為該圓形鄰域的LBP值，如式（5）所示，得到旋轉(zhuǎn)不變LBP特征提取算法。本文采用旋轉(zhuǎn)不變的LBP特征對圖像進(jìn)行表示。

聚類數(shù)目[K]對空間金字塔視覺詞袋模型分類性能有巨大影響，圖10為改進(jìn)后SPM-BOVW模型中聚類數(shù)目[K]對其分類精度影響曲線?？梢钥闯觯?dāng)[Klt;100]時(shí)，隨著聚類數(shù)目[K]取值增大，改進(jìn)后的SPM-BOVW模型對地形分類的平均精度在逐漸提高；當(dāng)[Kgt;100]時(shí)，平均分類精度不再提升。[K]值越大，特征向量維度越高，本文選取聚類數(shù)目[K=100]。

3.2 實(shí)驗(yàn)結(jié)果

利用DCA算法將改進(jìn)的SPM-BOVW模型特征、HSV顏色特征、LBP特征融合作為SVM的輸入，在聚類數(shù)目[K=100]及網(wǎng)格尋優(yōu)最佳參數(shù)下得到各類別地形分類精度矩陣，如圖11所示。

從圖11可看出，地形分類的平均預(yù)測精度達(dá)到99.6%，土地、草地、礫石地和雪地的預(yù)測精度為100%，沙地預(yù)測精度為98%，整體上算法對5類地形均具有較好的識別。沙地與土地特征最為接近，它們之間包含的相似特征較多，其中沙地的2%誤識別為土地。

表1給出5種方法在地形圖像分類平均準(zhǔn)確率（A）及單張地形圖像分類時(shí)間（T）比較，其中SPM-BOVW和改進(jìn)的SPM-BOVW特征維度大于樣本數(shù)量，采用線性核作為SVM分類器的核函數(shù)。在[K=100]及選擇最佳參數(shù)下，可看出改進(jìn)后的SPM-BOVW地形分類平均準(zhǔn)確率比傳統(tǒng)的SPM-BOVW提高了1.38%，且單張地形圖像分類用時(shí)少。本文所提的方法在地形圖像分類精度上均優(yōu)于其他方法，單張地形的預(yù)測分類時(shí)間與其他算法所用時(shí)間非常接近。在光伏電站復(fù)雜的地形環(huán)境下，本文方法沒有以增加運(yùn)算時(shí)間為代價(jià)而提高地形分類精度。

4 結(jié) 論

本文提出一種基于空間金字塔模型的DCA特征融合地形分類方法。使用HSV顏色特征、LBP特征對地形圖像進(jìn)行準(zhǔn)確與穩(wěn)定性的描述，克服了空間金字塔的視覺詞袋模型對地形圖像局部紋理表達(dá)不充分、忽略了地形圖像顏色特征的缺點(diǎn)。對傳統(tǒng)空間金字塔模型第3層劃分方法進(jìn)行優(yōu)化，采用DCA算法將改進(jìn)的SPM-BOVW模型特征、HSV顏色特征、LBP特征融合，使得融合后的特征具有每種特征中代表性更強(qiáng)的特征，且特征維度低，提高了類間特征之間的鑒別力，最后在SVM分類器上實(shí)現(xiàn)了光伏電站地形分類。實(shí)驗(yàn)結(jié)果表明，該方法在小樣本復(fù)雜的地形圖像數(shù)據(jù)集上優(yōu)于本文所提其他分類算法，取得了較高的分類精度。

［參考文獻(xiàn)］

［1］ 李翠明， 王寧， 張晨. 基于改進(jìn)遺傳算法的光伏板清潔分級任務(wù)規(guī)劃［J］. 上海交通大學(xué)學(xué)報(bào)， 2021， 55（9）： 1169-1174.

LI C M， WANG N， ZHANG C. Hierarchical mission planning for cleaning photovoltaic panels based on improved" "genetic" "algorithm［J］." "Journal" "of" "Shanghai Jiaotong University， 2021， 55（9）： 1169-1174.

［2］ COMIN F， SAAJ C. Planetary soil classification based on the analysis of the interaction with deformable terrain of a wheel-legged" robot［C］//2015" IEEE/RSJ" International Conference on Intelligent Robots amp; Systems， IEEE. Hamburg， Germany， 2015： 5460-5465.

［3］ LAZEBNIK S， SCHMID C， PONCE J. Beyond bags of features： spatial pyramid matching for recognizing natural scene categories［C］//IEEE Society Conference on Computer Vision and Pattern Recognition. New York， USA， 2006： 2169-2178.

［4］ 章海兵， 劉士榮， 張波濤， 等. 基于SPM-IBOVW模型的自然場景識別［J］. 上海交通大學(xué)學(xué)報(bào)， 2016， 50（6）： 902-909.

ZHANG H B， LIU S R， ZHANG B T， et al. Natural scene recognition based on spatial pyramid integrated bag-of-visual" "words" "model［J］." "Journal" of" Shanghai Jiaotong University， 2016， 50（6）： 902-909.

［5］ CHEN S， LI X， CHI S， et al. Ship target discrimination in SAR images based on BOW model with multiple features and spatial pyramid matching［J］. IEEE access， 2020， 8： 166071-166082.

［6］ 毛峽， 李亞豪. 光伏陣列故障檢測中的無人機(jī)紅外圖像拼接［J］. 太陽能學(xué)報(bào)， 2020， 41（3）： 262-269.

MAO X， LI Y H. Infrared image stitching of UAV in fault detection of photovoltaic array［J］. Acta energiac solaris sinica， 2020， 41（3）： 262-269.

［7］ 苗榮慧， 楊華， 武錦龍， 等. 基于圖像分塊及重構(gòu)的菠菜重疊葉片與雜草識別［J］. 農(nóng)業(yè)工程學(xué)報(bào)， 2020， 36（4）： 178-184.

MIAO R H， YANG H， WU J L， et al. Weed identification of overlapping spinach leaves based on image sub-block and reconstruction［J］. Transactions of the CSAE， 2020， 36（4）： 178-184.

［8］ PAN Z， LI Z， FAN H， et al. Feature based local binary pattern for rotation invariant texture classification［J］. Expert systems with applications， 2017， 88： 238-248.

［9］ HAGHIGHAT M， ABDEL MOTTALEB M， ALHALABI W. Discriminant correlation analysis： real-time feature level fusion for multimodal biometric recognition［J］. IEEE transactions on information forensics amp; security， 2016， 11（9）： 1984-1996.

［10］ 葛蕓， 馬琳， 儲(chǔ)珺. 結(jié)合判別相關(guān)分析與特征融合的遙感圖像檢索［J］. 中國圖象圖形學(xué)報(bào)， 2020， 25（12）： 2665-2676.

GE Y， MA L， CHU J. Remote sensing image retrieval combining discriminant correlation analysis and feature fusion［J］. Journal of image and graphics， 2020， 25（12）： 2665-2676.

DCA FEATURE FUSION TERRAIN CLASSIFICATION BASED ON

SPATIAL PYRAMID MODEL

Li Cuiming，Xu Longer，Wang Long，Wang Hua，Shen Tao

（College of Mechanic and Electrical Engineering， Lanzhou University of Technology， Lanzhou 730050， China）

Abstract：Aiming at the problem that the spatial pyramid bag of visual words model does not express clearly the terrain texture of terrain， the color information of the terrain is ignored and high feature dimension， a DCA feature fusion terrain classification algorithm based on the spatial pyramid bag of visual words model is proposed. This method optimizes the sub-region division method of the traditional spatial pyramid model， extracts the optimized SPM-BOVW features， HSV features， and LBP features of the terrain image； constructs three sets of transformation features through the DCA algorithm； and fuses the transformation features in series. The experimental results show that taking the fused features as the input of support vector machines（SVM ）classifier and optimizing through grid parameters， a high accuracy of terrain classification is finally obtained， which shows that the proposed algorithm has good robustness in the terrain classification of solar power station.

Keywords：solar power； feature extraction； support vector machines（SVM）； feature fusion； terrain classification

收稿日期：2022-05-20

基金項(xiàng)目：甘肅省自然科學(xué)基金（18JR3RA139）；國家自然科學(xué)基金（51765031）

通信作者：李翠明（1976—），女，博士、副教授，主要從事移動(dòng)機(jī)器人場景理解和導(dǎo)航方面的研究。li_goddess@163.com