融合SIFT和級聯(lián)分類器的特種車輛自動檢測識別

唐海濤,吳果林,范廣義,陳迪三

(1.桂林航天工業(yè)學院 理學院,廣西 桂林 541004;2.桂航大數(shù)據(jù)技術(shù)應(yīng)用研究中心,廣西 桂林 541004;3.南京高精齒輪集團有限公司,江蘇 南京 210000)

0 引 言

據(jù)公安部統(tǒng)計,截至2022年3月底,全國機動車保有量已突破4億輛[1],全國各地車輛的快速增長和普及使得當?shù)亟煌ūO(jiān)管部門面臨更加嚴峻的管控和安全維護等問題;同時,全國各地區(qū)的車輛終端監(jiān)測設(shè)備實時不間斷的數(shù)據(jù)監(jiān)測采集使得后端積累了海量、不確定、多樣化的交通數(shù)據(jù)。傳統(tǒng)人工或簡單交通信息化系統(tǒng)在現(xiàn)有的數(shù)據(jù)規(guī)模面前已面臨巨大壓力。因此,智能交通系統(tǒng)應(yīng)時而生且至關(guān)重要,其依托人工智能技術(shù)的發(fā)展,使得車輛自動化檢測及識別成為智能交通系統(tǒng)中的重要一環(huán),因而在公共突發(fā)事件預警、災害救援以及軍事等領(lǐng)域具有較好的應(yīng)用前景;而其中特別是針對特種車輛[2](即裝置有特殊設(shè)備、具備特殊功能,用于承擔特殊運輸任務(wù)或執(zhí)行特種作業(yè)任務(wù)的車輛)的自動化檢測識別與管理,相較于其他類型車輛檢測識別的研究更具有迫切性和現(xiàn)實性。

當前,國內(nèi)外許多研究機構(gòu)和學者對如何提高車輛自動化檢測識別的準確性、實時性等方面已進行了大量的探索與研究。傳統(tǒng)的車輛識別檢測方法主要聚焦于圖像淺層特征描述子,比如:方向梯度直方圖(Histogram of Oriented Gradients,HOG)、尺度不變特征變換(SIFT)、梅爾倒譜系數(shù)(Mel-Frequency Cepstral Coefficient,MFCC)、Gabor小波變換以及顏色邊緣特征等[3-5];在此基礎(chǔ)上,進一步結(jié)合各分類器實現(xiàn)車輛的自動化識別,其常見的分類器包括貝葉斯(Baye-Sian)分類器、支持向量機(Support Vector Machine,SVM)、隨機森林(Random Forest,RF)、高斯混合模型(Gaussian Mixture Model,GMM)以及自適應(yīng)增強算法(Adaptive Boosting,AdaBoost)分類器等[6-8]。上述多種研究方法的實驗結(jié)果也都驗證了其模型可降低車輛自動化檢測識別的算力依賴,同時也能進一步提高檢測識別的準確性以及實時性;但對于多領(lǐng)域特定場景(如高速出入口檢查站、防疫檢查點等)下部分數(shù)據(jù)不均衡、高維稀疏特征空間等現(xiàn)實問題,傳統(tǒng)模型方法普遍存在泛化能力、抗噪能力以及目標識別準確率普遍弱化的趨勢。如Iqbal U等人[9]結(jié)合SIFT和Sobel特征實現(xiàn)65%的rank-1車輛類型識別準確率,但方法的特征維度高,運算量大;李成娟等[10]提出一種加權(quán)的基頻自適應(yīng)梅爾倒譜系數(shù)特征提取算法,較傳統(tǒng)MFCC算法提升了識別準確率,但該算法受噪聲(包括旋轉(zhuǎn)、光照亮度、拍攝視角、復雜背景等)影響較大,算法穩(wěn)定性降低;黃應(yīng)清等[11]在裝甲車輛識別場景中結(jié)合使用小波矩和支持向量機獲得了較高的實驗識別率。綜合上述方法,主要是通過提取一般普通車輛(即非特種車輛)圖像的低層次特征進行訓練并學習,但這對于特種車輛圖像的抽象表示其可適應(yīng)性和拓展性都不強;同時,近幾年得益于分布式計算和存儲技術(shù)的快速發(fā)展,計算機算力和協(xié)同性得以大幅提升,使得深度學習模型在計算機視覺領(lǐng)域的應(yīng)用得到極大推動,尤其是面向深層圖像特征的有效提取;其中,Chen Y等[12]提出一種基于深度遷移學習方法并將其應(yīng)用于特種車輛的識別場景中,該方法借助遷移學習使得深度學習訓練樣本需求減少且獲得較好的識別率,但該方法實際訓練過程中存在一定程度的過擬合,弱化了算法魯棒性和泛化能力;張陳晨等[13]結(jié)合一種改進的YOLOv3-Tiny目標檢測算法實現(xiàn)對車輛檢測,通過將部分卷積層替換池化層思路提高了車輛識別率;但算法針對一般普通車輛數(shù)據(jù)集且同時需要較高的人工圖像標注成本;王斌等[14]在航空圖像車輛檢測中提出一種基于特征金字塔網(wǎng)絡(luò)(Feature Pyram id Network,FPN)的改進Faster RCNN(Faster Regions With CNN Features)算法,在VEDAI數(shù)據(jù)集測試中的平均檢測精度(Mean Average Precision,mAP)為77.2%,該方法具有較好的圖像檢測精度,但同樣針對特種車輛的檢測識別場景下的性能表現(xiàn)有待進一步實驗數(shù)據(jù)的支撐和驗證。

上述多種研究方法為車輛有效的檢測識別打下了基礎(chǔ),但總體上都集中于對一般普通車輛的識別檢測研究,對于特種車輛的檢測識別研究較少;同時,當下較熱門的深度學習模型在各類圖像復雜檢測任務(wù)中均獲得了較好的檢測識別效果,但由于深度學習模型往往包含一定規(guī)模量的參數(shù),通常需要大量有監(jiān)督的數(shù)據(jù)進行模型訓練才能獲得較好的效果,而真實應(yīng)用場景下特種類型車輛出現(xiàn)的頻率較低,市場保有量也遠低于其他類型車輛且存在分布不均衡等現(xiàn)實特點,從而使得深度學習模型在極少量受監(jiān)督的樣本下其泛化性能難以獲得較高的提升,這也進一步說明了特種車輛的檢測識別難度也普遍高于一般普通車輛。但同時特種車輛的用途、價值以及所代表的形象等受損往往又會帶來更大的社會生命財產(chǎn)安全警示和隱患,而歷史的公共自然災害警示人們,特種車輛在特定時間點以及多樣化場景下的識別、管理以及深層次應(yīng)用研究非常重要,它能為軍事、特種專業(yè)作業(yè)等領(lǐng)域提供強大的工具力支撐。基于此,針對救護車、消防車、警車、校車四大類特種車輛在小樣本數(shù)據(jù)集下的自動檢測識別,該文提出一種融合SIFT和級聯(lián)分類器的特種車輛自動檢測及識別方法。該方法主要結(jié)合傳統(tǒng)的SIFT圖像特征,同時通過引入基于密度調(diào)整的優(yōu)化算法實現(xiàn)目標車輛較優(yōu)檢測,最后通過引入KMeans聚類算法獲得目標檢測框中SIFT特征描述子的中心聚類點,并輸入級聯(lián)RF-RBF分類器實現(xiàn)特種車輛有效的自動化識別預測。

具體工作如下:

(1)結(jié)合SIFT圖像特征,提出一種基于特征點密度優(yōu)化的目標檢測方法,有效提高了無監(jiān)督下的圖像檢測精度。

(2)針對復雜背景下的特種車輛數(shù)據(jù)集,引入KMeans聚類算法,實現(xiàn)特征描述符中心點聚類及數(shù)據(jù)降維,增強圖像檢測區(qū)域有效信息的表達及無用特征信息的擯棄。

(3)提出一種針對特種車輛識別預測的RF-RBF級聯(lián)分類器模型,提高了模型識別準確率。

1 相關(guān)工作

1.1 SIFT特征點檢測及描述

高質(zhì)量的特征點是特種車輛圖像檢測識別的重要基礎(chǔ)依賴,完成局部圖像特征的提取與描述可以更好地輔助后續(xù)物體檢測、識別以及比對等復合型應(yīng)用。尺度不變特征變換(Scale-Invariant Feature Transform,SIFT)通過引入尺度參數(shù)模擬人在由近到遠時目標在人眼視網(wǎng)膜上的成像過程,最終在不同的尺度空間序列中查找并獲得極值點(即特征點)以及相關(guān)信息,并依此融合成特征向量描述符。因尺度空間需滿足一定的不變性(包括灰度不變性、對比度不變性等),使得SIFT特征具備旋轉(zhuǎn)、尺度縮放、亮度變化等不變性特點,與此同時,特征相對于視角變換、仿射變化、噪聲也保持著良好的魯棒性,是一種優(yōu)秀的局部特征描述算法。融合SIFT圖像處理算法首先通過引入尺度參數(shù),構(gòu)建連續(xù)變化的尺度參數(shù)以獲取不同尺度下的空間序列表示,圖像的尺度空間L(x,y,σ)可定義為輸入圖像I(x,y)與變化的高斯函數(shù)G(x,y,σ)進行卷積,即:

L(x,y,σ)=G(x,y,σ)*I(x,y)

(1)

其中,

(2)

式中,I(x,y)表示圖像灰度值,G(x,y,σ)為高斯核函數(shù),(x,y)為像素坐標,*表示卷積運算,σ為尺度變化因子,亦可稱為模糊參數(shù),其值的大小決定圖像的平滑程度,值越小圖像模糊程度越輕,反之模糊程度越重。接下來,為了更高效地在尺度空間檢測穩(wěn)定的關(guān)鍵點,需要將每組內(nèi)相鄰尺度兩組圖像進行兩兩“相減”操作(即下一層減去上一層),從而生成高斯差分(Difference Of Gaussian,DOG)金字塔,具體用D(x,y,σ)表示,其公式為:

D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)

=L(x,y,kσ)-L(x,y,σ)

(3)

式中,k為兩個相鄰尺度空間的比例因子,關(guān)鍵點的提取則轉(zhuǎn)化為在DOG尺度空間中進一步尋找局部極值點,具體需要將每一個檢測點與其同尺度的8個鄰域像素點以及相鄰上下兩層鄰域9×2個像素點共計26個點一一進行比較,若像素點在26鄰域中取得最大或最小值,則生成了圖像在該尺度下的一個極值點(即特征點)。

在 DOG 尺度空間提取到的極值點是離散的,并非真正的極值點,需要進一步通過擬合三維二次函數(shù)來精確計算關(guān)鍵點的位置和尺度,提高關(guān)鍵點的健壯性,具體需要對DOG函數(shù)在尺度空間D(x,y,σ)上進行Taylor式展開,其矢量形式為:

(4)

上式對Δx求導數(shù),并令其等于0,則可以計算極值點的偏移量:

(5)

當Δx偏移量大于閾值(設(shè)定為0.5)時,需要重新定位,并在新的位置上進行差值計算,反復操作直至收斂從而實現(xiàn)關(guān)鍵點的準確計算,若迭代次數(shù)超過上限迭代值仍未收斂,則刪除該極值點。

其次,為了使特征描述子具有旋轉(zhuǎn)不變性,還需要確定關(guān)鍵點的指定方向參數(shù),具體通過計算極值點鄰近高斯金字塔圖像的3σ鄰域窗口內(nèi)的梯度值,并使用直方圖統(tǒng)計鄰域內(nèi)像素的梯度和方向,其中直方圖的峰值所在的方向即表示為該關(guān)鍵點的主方向。

最后,經(jīng)上述計算,獲得各關(guān)鍵點的三個核心信息:即尺度、位置以及方向。考慮到將上述三維度信息融合為表征關(guān)鍵點的統(tǒng)一描述符,故用一組向量將關(guān)鍵點特征描述出來,具體向量生成方法是通過對關(guān)鍵點周圍圖像進行區(qū)域4×4窗口分塊,并計算塊內(nèi)8個方向的梯度直方圖,最終生成一個4×4×8=128維的表示向量,上述向量即為關(guān)鍵點特征描述符。

1.2 基于特征點密度優(yōu)化的目標檢測

經(jīng)SIFT檢測獲得圖像所有特征點后,主體目標區(qū)域的檢測可以通過統(tǒng)計全部特征點坐標值進行標定。設(shè)二維隨機遍歷(X,Y)表示所有特征點坐標,則目標檢測框左上角坐標Plu(X=xmin,Y=ymax),右下角坐標Prd(X=xmax,Y=ymin)計算方式如下:

?xi∈X,?xmin∈X&xi≠xmin,st.xmin

?xi∈X,?xmax∈X&xi≠xmax,st.xmax>xi

那么xmin、xmax分別是X隨機變量嚴格的全局最小點、最大點;同理,ymin、ymax分別是Y隨機變量嚴格的全局最小點、最大點。

?yi∈Y,?ymin∈Y&yi≠ymin,st.ymin

?yi∈Y,?ymax∈Y&yi≠ymax,st.ymax>yi

但考慮到實際目標圖片中背景特征的復雜性,導致一小部分特征點的坐標值偏離車輛主體覆蓋區(qū)域,從而為后續(xù)實現(xiàn)準確、有效的特種車輛目標檢測及識別帶來極大干擾:即存在多個非主體特征點?；诖?采用基于特征點密度優(yōu)化的目標檢測算法,具體算法流程如下:

Step1:以xspilt=xmin+2為分割線起點,步長為2 Pixel向右進行移動切割;

Step2:每次切割,分別統(tǒng)計分割線左邊區(qū)域LArea以及右邊區(qū)域RArea的所有特征點個數(shù)nums(LArea)和nums(RArea);其中Larea和Rarea具體表示如下:

LArea={(xi,yi)|xmin≤xi≤xspilt,ymin≤yi≤ymax}

RArea={(xi,yi)|xspilt≤xi≤xmax,ymin≤yi≤ymax}

Step3:當nums(LArea)計算出來時,則nums(RArea)=Total- nums(LArea),Total表示SIFT檢測的所有特征點總數(shù);并將其nums(LArea)值追加寫入NH數(shù)值列表中;

Step4:向右不斷移動分割線,直到xspilt≥xmax則停止橫向移動,并生成最終的NH;

Step5:在等間距情況下計算NH數(shù)值列表的一階向前差分,獲得特征點數(shù)量的增量值ΔNHi,其中i∈(0,size(NH)),步長為1;

Step7:根據(jù)索引值j,反推計算新的xmin=xmin+(j+1)*2;

Step9:綜上,完成了新的xmin、xmax計算,同理,以yspilt=ymin+2為分割線起點,步長為2 Pixel向上進行移動切割;反推計算完成了新的ymin、ymax計算;

Step10:至此,完成了基于特征點密度優(yōu)化的目標檢測全部算法流程。

1.3 基于RF-RBF級聯(lián)分類器

考慮到特種車輛數(shù)據(jù)集占總體數(shù)據(jù)規(guī)模僅約11%(特種車輛430張圖像,非特種車輛3 420張),為了弱化正負樣本數(shù)據(jù)集不平衡帶來的后續(xù)識別影響,采用基于RF-RBF級聯(lián)分類器的設(shè)計結(jié)構(gòu),可使得降低算力依賴的同時可極大程度地避免過擬合以及提高分類識別的準確率和效率。因此,在獲得圖像SIFT特征描述符后,繼續(xù)將其輸入兩層級聯(lián)分類器RF-RBF模型。其中第一層RF分類器是一個二分類器,主要將圖像Label識別為特種車輛和非特種車輛;第二層RBF分類器是一個多分類器,在第一層獲得特種車輛的標簽后繼續(xù)輸入第二層RBF分類器[15],實現(xiàn)消防車(XiaoFangChe,XFC)、警車(JingChe,JC)、郵政車(YouZhengChe,YZC)以及校車(XiaoChe,XC)四大特種車輛類型識別。同時第二層RBF分類器識別到的非特種車輛類型可逆向校正第一層RF分類器的識別準確率,進而相互之間形成反饋機制以提高整體模型的綜合預測準確率。

2 融合SIFT和級聯(lián)分類器的特種車輛檢測識別建模

該文融合SIFT和級聯(lián)分類器的特種車輛自動識別檢測模型主要包括SIFT特征點提取、基于特征點密度優(yōu)化的目標檢測、SIFT特征描述向量生成、RF-RBF級聯(lián)分類模型,其中SIFT特征點提取實現(xiàn)圖像主體區(qū)域分布大致標定;接著,結(jié)合特征點密度優(yōu)化算法實現(xiàn)主體區(qū)域(即車輛區(qū)域)的準確檢測;其次,生成主體區(qū)域特征描述向量,完成主體區(qū)域數(shù)字化特征表示;最后,輸入級聯(lián)分類器RF-RBF學習訓練后實現(xiàn)特種車輛的識別,且RBF可逆向校正RF模型的識別準確率。綜合上述檢測識別預測,最終獲得不同類型的特種車輛劃分。具體融合SIFT和級聯(lián)分類器的特種車輛自動識別檢測算法流程如下:

Step1:輸入原始圖像數(shù)據(jù);

Step2:圖像預處理,具體包括去噪、尺寸統(tǒng)一;

Step3:將數(shù)據(jù)集分為訓練集和測試集,其二者占比為8∶2;

Step4:圖像的SIFT特征提取,包括極值點(即特征點)和關(guān)鍵點特征向量;

Step5:將Step4中提取的所有特征點坐標,結(jié)合基于特征點密度優(yōu)化的目標檢測算法,實現(xiàn)目標車輛檢測;

Step6:在目標檢測內(nèi),提取訓練集SIFT特征描述符,并采用KMeans聚類算法,對一張圖像中N個關(guān)鍵點的特征描述符進行中心點聚類,并最終獲得一張表征圖像的128維特征描述符向量;

Step7:經(jīng)Step6獲得圖像的數(shù)字表征向量后,并將數(shù)據(jù)集標簽劃分為特種車輛和非特種車輛,繼續(xù)將其輸入RF分類器進行二分類識別;

Step8:將RF分類器輸出結(jié)果為特種車輛數(shù)據(jù)集接著輸入RBF分類器,而RF判定為非特種車輛數(shù)據(jù)集則會直接判別為非特種車輛標簽;

Step9:完成RBF模型對特種車輛類別的判定,若判定為某一類型特種車輛,則獲得車輛類別標簽;若不屬于特種車輛類型,則逆向校正RF模型的識別準確率,進而通過反饋機制提高RF分類器識別預測準確率。

具體檢測識別流程參見圖1。

圖1 融合SIFT和級聯(lián)分類器的特種車輛預測模型流程

3 實驗及結(jié)果分析

3.1 圖像數(shù)據(jù)集及預處理

實驗數(shù)據(jù)均來源于網(wǎng)絡(luò)采集,共四類特種車輛以及非特種車輛類型數(shù)據(jù)(特種車輛圖片數(shù)據(jù)已脫敏),特種車輛分別是消防車(XiaoFangChe,XFC)、警車(JingChe,JC)、郵政車(YouZhengChe,YZC)以及校車(XiaoChe,XC),共計430張圖像;其中非特種車輛類型數(shù)據(jù)(Other,OH)則包括諸多類型車輛,如家用小轎車、皮卡、面包車等,共計3 420張,整體數(shù)據(jù)分布均與真實場景基本一致。

在圖像數(shù)據(jù)預處理階段,考慮網(wǎng)絡(luò)圖像采集多源化以及環(huán)境復雜化,導致原始圖片數(shù)據(jù)集存在尺寸大小不一、清晰度低、成像模糊等問題。因此,為提高圖像真實信息表達,增強檢測和識別的準確性和可靠性,該文首先對圖像尺寸做歸一化處理,將所有圖片尺寸大小調(diào)整為300X250 dpi(參考了一般圖像的長寬比例,即4∶3);其次考慮到檢測識別物體時,關(guān)鍵真實信息在于圖像邊緣(即梯度信息),所以進一步將RGB彩色圖像做灰度化處理,可實現(xiàn)算力成本低依賴且能最大程度降低圖像失真所帶來的負影響,同時綜合考慮到人眼對綠色信息的敏感性最高,且對藍色敏感則最低的這一特性,進一步采用RGB三分量加權(quán)平均獲得到灰度圖像;具體計算公式如下:

Gray(i,j)= 0.299*R(i,j)+0.578*G(i,j)+0.114*B(i,j)

(6)

最后,通過引入典型的低通濾波器——中值濾波[16](3×3),統(tǒng)計圖像中以某點(i,j)為中心的小窗口內(nèi)(3×3)的所有像素的灰度值,按從大到小順序排列,并將中間值作為該點的新灰度值。從而實現(xiàn)圖像邊緣的保護且能去除突變的噪聲,以此提升圖片的清晰度。

在圖像數(shù)據(jù)檢測識別階段,為更客觀評價目標檢測模型,使用了Label Studio工具對車輛圖像進行人工標注,針對每個特種車輛類別(共計4類)標注50張,同時其他類型車輛也標注50張,共計250張人工預標定圖像。其中Label Studio人工標注后返回的標記區(qū)域由四個參數(shù)x、y、width以及 height確定,它們依次表示:起始點x軸坐標值、起始點y軸坐標值、標記區(qū)域的寬度和標記區(qū)域的高度(其中實際圖像的寬度和高度分別用W和H表示)。但考慮到后端返回的標簽值需與前端設(shè)置的標簽值保持一致,還需要進一步通過換算公式生成實際圖像標記區(qū)域,具體左上角坐標(xmin,ymin)以及右下角坐標(xmax,ymax)換算公式如下(round表示對浮點數(shù)進行四舍五入取值):

xmin=round(x*W/100)

ymin=round(y*H/100)

xmax=round((x+width)*W/100)

ymin=round((y+weight)*H/100)

3.2 實驗參數(shù)與評估指標

文中模型與算法的實現(xiàn)主要以Python編程語言為主(版本3.8.8),并結(jié)合開源的跨平臺計算機視覺庫OpenCV為框架(基于Python),編程的集成開發(fā)環(huán)境為Pycharm2021.2 Community Edition。實驗采用了圖像處理領(lǐng)域常用的局部特征檢測算法SIFT作為后續(xù)特種車輛目標檢測識別的基礎(chǔ)依賴,為了使得算法能夠更好地實現(xiàn)特種車輛局部特征的提取,采用了cv2.SIFT_create().detect做特征點檢測,其中特征點個數(shù)設(shè)置為100,同時設(shè)置特征點角點的程度(即特征點的強度)閾值大于等于0.03;同時,在多分類器學習時,采用K交叉驗證方法(選取k=5)對訓練集和測試集按4∶1比例分拆并輪詢互換,且分類器模型設(shè)置每次迭代次數(shù)上限為10 000,正則化系數(shù)為1e-3。

為了驗證檢測和識別模型算法的有效性,采用了圖像檢測識別常用的衡量指標:交并比IOU(Intersection Over Union)、平均交并比MIOU(Mean Intersection Over Union)、準確率(Accuracy)、精確率(Precision)、召回率(Recall)、F1-score值以及每秒傳輸幀數(shù)FPS(Frames Per Second,FPS)。其中,用以衡量兩區(qū)域之間的重疊程度IOU和MIOU,其具體計算公式如下:

(7)

(8)

其中,S(A∩B)表示圖像物體實際區(qū)域(A)與模型檢測區(qū)域(B)的重合面積;S(A∪B)表示兩個區(qū)域整體所占有的面積;k表示車輛的類別;Sk表第k類別的面積。

(9)

(10)

(11)

(12)

式中,TP、FP、TN以及FN分別表示真陽性(True Positive)、假陽性(False Positive)、真陰性(True Negative)和假陰性(False Negative)。

3.3 結(jié)果與分析

3.3.1 主流目標檢測方法比較

為了進一步和目前主流的目標檢測方法進行實驗對比分析,該文引入了YOLOv5s算法和兩類目標檢測算法對不同類型車輛圖像進行目標檢測(其中LineStyle為·表示人為標注,--表示覆蓋全部特征點的目標檢測,以及-表示基于特征點密度優(yōu)化的目標檢測)以及進行IOU、MIOU指標統(tǒng)計,其中單個類別的IOU值以該類別多張圖像的平均值作為最后評估的IOU值,而MIOU是多個類別的平均IOU指標統(tǒng)計值,具體統(tǒng)計結(jié)果如表1所示。

表1 與主流目標檢測方法在5類車輛檢測圖像的IOU統(tǒng)計結(jié)果

由表1可知,YOLOv5s(You Only Look Once: Unified, Real-Time Object Detection,YOLO)在各類別車輛的IOU指標統(tǒng)計中均取得了更優(yōu)異的結(jié)果,整體的平均交并比MIOU達到0.769 1,而基于特征點密度優(yōu)化的目標檢測算法的MIOU值為0.754 7,但由于YOLOv5s模型是建立在大量有監(jiān)督標注數(shù)據(jù)集的基礎(chǔ)之上,而基于特征點密度優(yōu)化的目標檢測算法是一種無監(jiān)督自動檢測算法,二者在MIOU值相當?shù)那闆r下,該文提出的圖像檢測算法在目標檢測階段的優(yōu)越性主要表現(xiàn)在三方面:無需人為設(shè)置滑動窗口比例、無需大量人工標注、低算力成本依賴,且模型表現(xiàn)出較好的泛化能力。于傳統(tǒng)下IOU≥0.5即可認為目標檢測模型獲得了一個正確的預測結(jié)果,顯然該文的于特定場景下基于特征點密度優(yōu)化的車輛圖像目標提取算法是適用的。

3.3.2 不同級聯(lián)分類器比較

在目標檢測基礎(chǔ)上,選取目標檢測框中的特征點生成對應(yīng)的128維關(guān)鍵點特征描述符,而因優(yōu)化后的目標檢測主體區(qū)域包含的關(guān)鍵點數(shù)量N(0

文中特種車輛識別采用級聯(lián)分類器進行結(jié)果預測,分類器第一層設(shè)計首先將所有圖像數(shù)據(jù)集分為兩類:特種車輛和非特種車輛;然后分別使用常見的邏輯回歸(Logistic Regression,LR)、決策樹(Decision Tree,DT)、支持向量機(Support Vector Machine,SVM)、隨機森林(Random Forest,RF)以及徑向基神經(jīng)網(wǎng)絡(luò)(RBF)進行二分類訓練預測,其中RBF網(wǎng)絡(luò)參數(shù)選擇識別準確率較優(yōu)的453個(實驗從128至500進行訓練后挑選綜合準確率較高的徑向基神經(jīng)元個數(shù))徑向基神經(jīng)元以及基函數(shù)的拓展常數(shù)δ=1.0;最后結(jié)合準確率、精確率、召回率和F1值4方面綜合比較各算法的性能,實驗采用K折交叉驗證(選取k=5)進行算法測試,實驗結(jié)果如表2所示。

表2 級聯(lián)分類器(一層)各項性能指標對照

由表2可知,綜合對比各類分類識別性能指標,其中隨機森林分類模型的識別準確率、F1值分別為0.888 1和0.940 2,在綜合對比各分類器中其性能表現(xiàn)最佳。

圖像經(jīng)過級聯(lián)分類器第一層后,模型已對是否為特種車輛類型進行了識別,接下來將判別為特種車輛類型的圖像繼續(xù)輸入級聯(lián)分類器的第二層進行多特種類型識別細分預測分類。為了驗證多分類模型在多特種類型識別預測中的性能表現(xiàn),繼續(xù)沿用表2中的前四類算法進行綜合實驗測試,具體特種車輛多分類識別預測結(jié)果參數(shù)見表3。

由表3可知,在多類型特種車輛識別預測中綜合性能最優(yōu)的仍舊是隨機森林模型,但是其最高的準確率僅僅為0.656 0,遠遠達不到實際場景對特種車輛類型識別所要求的一般準確率,故繼續(xù)結(jié)合RBF模型對多特種類型識別進行預測。理論上,Poggio和Girosi已證明RBF網(wǎng)絡(luò)是連續(xù)函數(shù)的最佳逼近[17],相較于傳統(tǒng)分類識別算法,其對于多類型預測具有較大優(yōu)勢。因考慮到不同的RBF神經(jīng)元個數(shù)會影響模型的預測效果,所以將神經(jīng)元個數(shù)作為優(yōu)化輸入?yún)?shù)(其中基函數(shù)的拓展常數(shù)固定為1.0),將數(shù)據(jù)集按8∶2的比例分為訓練集和測試集,并以測試集F1值達到最大化作為優(yōu)化目標,并引入了神經(jīng)元參數(shù)NP(Neuron Parameters)從128(即數(shù)據(jù)的輸入維度)到500的RBF模型對測試集F1值的收斂曲線,隨著參數(shù)的增加,收斂曲線的波動在降低,實驗結(jié)果最終確定NP=282后,總體趨于收斂于1。

當確定RBF模型參數(shù)后,采用K折交叉驗證重新對特種類型圖像數(shù)據(jù)進行特種車輛多類別預測,詳細識別預測統(tǒng)計結(jié)果可參考表4。

表4 RBF特種車輛多類別預測統(tǒng)計

綜合分析表3和表4,K折交叉驗證下RBF模型在多類識別預測中的準確率、精確率、召回率以及F1值分別為0.983 6、0.992 5、0.974 3以及0.982 6,相較于傳統(tǒng)較優(yōu)的分類模型(隨機森林)算法在總體上準確率、精確率、召回率和F1值分別提高了32.76百分點、35.85百分點、35.51百分點和36.73百分點。故RBF在特種車輛多類型識別預測中具有較好的準確率和可靠性;同時,側(cè)面也驗證了RBF網(wǎng)絡(luò)在連續(xù)多類型預測應(yīng)用場景中具有較好的優(yōu)勢。

3.3.3 可視化展示

SIFT特征點提取、基于特征點分布的目標檢測以及基于特征點密度優(yōu)化的目標檢測識別算法預測部分可視化效果細節(jié)展示可參考圖2(a)～(d),其中+表示特征點,--表示基于特征點最大最小坐標點檢測框,·表示基于密度優(yōu)化的特征檢測框,-表示人工標注檢測框。從結(jié)果來看,調(diào)整角點閾值的SIFT局部特征提取算法可以很好地檢測車輛主體區(qū)域,具有較強的特征點敏感性;同時基于覆蓋全部特征點的目標檢測策略在實際圖像中能很好地保證覆蓋車輛主體區(qū)域,但由于該方法過于放大檢測區(qū)域,導致交集區(qū)域的增長速度低于并集的增長速度,反而會給優(yōu)化目標IOU帶來負影響,一定程度上影響了模型的目標檢測效果;而基于特征點密度優(yōu)化的目標檢測算法相較于上述特征點分布的目標檢測算法在檢測精度方面帶來更好的提升作用,圖3為實際圖像目標檢測效果圖。

圖3 基于特征點密度優(yōu)化的不同特種車輛類型目標檢測效果圖

為了進一步驗證分析RF-RBF級聯(lián)分類器的識別性能,特引入當前主流的圖像檢測識別算法YOLOv5s進行橫向?qū)Ρ确治?結(jié)果如表5所示。

表5 特種車輛多類別綜合識別結(jié)果對比

通過表5中的實驗測試指標數(shù)據(jù)可知,RF-RBF級聯(lián)分類器在小樣本數(shù)據(jù)集上僅實時識別速度性能低于YOLOv5s,其余多個識別性能指標均高于YOLOv5s算法,且文中模型的訓練時間遠遠低于對比的檢測識別算法;進一步分析各指標值,級聯(lián)分類器其召回率相較于識別準確率高出近10百分點,這也使得模型大大降低了類型誤識別的風險,增強了模型的穩(wěn)定性,同時由于RBF特種車輛識別準確率已達0.983 6,測試集中僅有兩個預測值為負數(shù)(即無法識別的特種車輛類型,認定為非特種車輛類型),所以逆向校正效果并不明顯,倘若在RBF網(wǎng)絡(luò)模型識別率不高的情況下,其逆向修正的效果才會更加突出。故在目標識別分類階段,提出的識別模型相較于YOLOv5s的優(yōu)勢在于更少的訓練時間成本以及較好的分類綜合性能。

4 結(jié)束語

提出了一種融合尺度不變特征變換和級聯(lián)分類器的特種車輛自動檢測及識別預測方法,一方面,通過優(yōu)化圖像檢測算法提高檢測精度;另一方面,通過改進級聯(lián)分類器設(shè)計以提高識別準確率和穩(wěn)定性。仿真實驗表明,融合SIFT特征和級聯(lián)分類器實現(xiàn)了特定場景下特種車輛高效準確的檢測識別,特種車輛綜合目標檢測MIOU為75.47%,識別準確率達到了87.35%,基本能滿足特定場景下特種車輛的實時自動化檢測識別需求。該體系框架后續(xù)可進一步拓展至針對特定需求和部門的車輛類型檢測識別應(yīng)用領(lǐng)域。但是,由于方法聚焦于單一特定的檢測識別場景,使得復雜場景下同一時間刻度多目標檢測識別存在誤檢、漏檢的問題。下一步工作重點將在SIFT特征點的基礎(chǔ)上,引入拓撲數(shù)據(jù)分析技術(shù)[18](Topological Data Analysis,TDA),利用復形捕捉特種車輛主體區(qū)域數(shù)據(jù)空間的拓撲s特征,實現(xiàn)多領(lǐng)域復雜場景下多目標的檢測識別。