距離信息與排序模型融合的顯著性目標檢測方法

陳睿琦，南心蒙，常 皓

(1 西安現(xiàn)代控制技術(shù)研究所，陜西 西安 710065；2 32382部隊，北京 100072)

0 引言

在圖像制導、引信探測、機器視覺等領(lǐng)域,采用圖像探測技術(shù)識別復雜背景中的目標是武器系統(tǒng)實現(xiàn)對目標精確打擊以及機器人自主避障的重要技術(shù)途徑。但由于地面背景環(huán)境的復雜性,使得探測和識別地面上車輛目標具有很大的難度,特別對制導系統(tǒng),由于彈藥平臺體積、信號處理時間等限制,必須在有限時間和有限圖像分辨率的約束條件下,實時完成圖像信息的處理和目標的檢測識別。

顯著性目標檢測是一種基于辨別圖像中最醒目區(qū)域或圖像特征的目標檢測方法,旨在快速有效提取場景中的視覺突出或重要物體,為后續(xù)分析和處理提供堅實的基礎(chǔ)。目前,針對顯著性目標檢測方法的研究已涉及地面、航空、航天和船舶等多種武器裝備領(lǐng)域。在紅外圖像檢測方面,朱大煒[1]提出了一種基于深度學習的紅外圖像飛機目標檢測方法,以RCNN(region with convolution neural network features)目標檢測技術(shù)實現(xiàn)了對紅外圖像中飛機目標的實時檢測;管學偉[2]研究了一種機載紅外搜索跟蹤系統(tǒng)IRST(infrared search and track system)小目標檢測技術(shù),首先對機載IRST圖像進行預處理以改善成像質(zhì)量,再通過對紅外小目標圖像特征進行分析,對比了多種機載紅外小目標檢測算法,實驗并驗證了其背景抑制和目標增強效果。在可見光圖像檢測方面,徐芳[3]提出了一種可見光航天遙感圖像海面目標自動檢測方法,可有效抑制圖像中薄云、海霧、陰影、海雜波等干擾,利用艦船信息改進熵估計和目標像素分布判定的目標鑒別方法對切片中的艦船目標和非艦船目標進行鑒別,無需對圖像進行精細分割就能可靠穩(wěn)定提取艦船目標;劉波[4]針對水下探測器目標檢測技術(shù)開展研究,為適應(yīng)水中弱光環(huán)境特點對圖像進行分割、檢測和拼接,使用了一種基于紋理特征的圖像型船舶尾流分類辨識技術(shù)對船舶目標進行檢測識別,實驗結(jié)果表明該方法平均正確識別率可達到80%以上。

以上顯著性目標檢測仍集中在可見光圖像或紅外圖像,也可將二者融合起來,以提高對感興趣目標的檢測概率。但無論是可見光圖像還是紅外圖像,圖像中只包含場景及目標的二維信息,未利用目標相對于所在地面背景三維輪廓差異這一重要特征。

為了提高圖像制導及引信探測系統(tǒng)在復雜背景中檢測和識別目標的能力,文中的目標探測裝置采用了激光三維成像探測方法獲取目標、背景的距離以及目標相對于地面背景的距離投影輪廓信息。在制導系統(tǒng)中,采用中等分辨率的激光三維成像探測快速獲取目標背景距離及輪廓信息;在引信探測系統(tǒng)中,則采用低分辨率的激光三維成像探測快速獲取目標背景距離及輪廓信息。通過在原有平面二維圖像基礎(chǔ)之上疊加目標相對于所在地面背景的第三維距離信息,提出了一種基于距離信息圖像分割和排序模型融合的顯著性目標檢測方法,能夠有效提高近程探測系統(tǒng)在復雜背景中快速檢測及識別目標、抗復雜背景干擾的能力。

1 顯著性目標檢測及算法

顯著性目標檢測是通過圖像處理算法檢測并分割圖像中的顯著性目標區(qū)域,在視覺跟蹤[5-6]、圖像識別[7-8]、圖像壓縮[9-10]、圖像融合[11-12]等視覺和圖像處理過程中起著至關(guān)重要的作用。此外,顯著性目標檢測與動物包括人類對場景中顯著性目標的視覺刺激的感知機制有一定的相似性,也成為機器視覺和人工智能等領(lǐng)域的研究熱點。

基于流形排序模型的可見光與紅外圖像顯著性目標檢測算法具有可適應(yīng)復雜背景、圖像亮度、對比度動態(tài)范圍大的優(yōu)勢[13],在圖像制導和機器視覺領(lǐng)域有重要應(yīng)用的前景。

流行排序模型可用于可見光圖像或紅外圖像中的顯著性目標,也可用于可見光與紅外復合體制圖像的處理。在可見光圖像質(zhì)量較差或圖像場景較復雜的情況下,通過引入熱紅外圖像信息,可顯著提高對感興趣目標的正確檢測概率。例如,白玉等[14]研究了一種基于可見光圖像和紅外圖像決策級融合的目標檢測算法,該方法使用有監(jiān)督學習方式對紅外圖像及可見光圖像分別開展檢測,通過對單一檢測結(jié)果進行加權(quán)融合得到?jīng)Q策級融合的檢測結(jié)果,進而實現(xiàn)了基于決策級融合的快速目標檢測。然而,現(xiàn)有的可見光/紅外復合檢測算法仍存在缺點和不足,主要問題在于可見光圖像和紅外圖像只保留了目標及背景的二維平面信息,而對平面圖像信息進行分割時,需將整幅圖像分割成一定數(shù)量的區(qū)域,分割數(shù)量不同對應(yīng)的顯著性檢測結(jié)果也不同,且因為分割區(qū)域內(nèi)所有位置具有相同的顯著值,使得檢測顯著圖中出現(xiàn)明顯的塊效應(yīng),尤其在目標的可見光特征及紅外特征不突出、背景干擾較為復雜時,圖像分割的效果不理想。

2 距離信息與排序模型融合的顯著性目標檢測方法

考慮到上述基于平面二維圖像目標檢測方法的局限性,通過在二維平面圖像探測系統(tǒng)中引入了三維形體成像探測體制,將目標及背景場景距離信息和平面圖像信息進行融合,實現(xiàn)了在復雜背景下可見光特征及紅外特征不突出時對目標的精確檢測。

距離信息實質(zhì)上是目標及背景場景中各點相對于探測裝置的距離圖像。針對彈載系統(tǒng)小型化、快速探測和快速信號處理的要求,采用激光探測裝置實施快速的立體簡易成像探測,獲取場景的立體圖像,利用圖像場景中距離信息的變化和可見光/紅外圖像信息融合,提高彈載成像系統(tǒng)在復雜背景中探測目標的能力和抗干擾的能力。對現(xiàn)有圖像分割和多級深度融合顯著性目標檢測方法的分析可以看出,在圖像預處理過程中,對原始圖像的分割一是采取均勻分割方法,二是依據(jù)圖像的亮度分布、灰度分布或者彩色可見圖像RGB的分布進行圖像分割。對于相對單一的地面背景和亮度或顏色特征相對突出的目標,上述分割方法是可行的,但對于復雜的地面背景以及亮度和色彩特征不突出目標,圖像分割的效果較差。從可見光角度而言,如果地物背景構(gòu)成復雜,顏色豐富,則目標的顏色和背景是難以區(qū)分的;在紅外圖像方面,當背景的介質(zhì)構(gòu)成復雜,受陽光照射等因素影響,目標的紅外特征相對背景而言并不突出,則基于熱特征的紅外圖像分割方法精度也受到限制。

針對彈載探測系統(tǒng)對信息處理的需求,為了保證圖像信息處理的快速性,探測裝置中采用的激光三維成像探測裝置采用中低分辨率的圖像探測裝置,如在圖像跟蹤系統(tǒng)中采用64×64分辨率的三維圖像,在距離更近的圖像探測系統(tǒng)中選32×32或16×16分辨率的圖像,探測裝置的距離分辨率達到0.1 m時就能分辨出目標的形體。

檢測圖像場景中是否存在感興趣目標時,利用激光三維成像數(shù)據(jù)對可見光圖像和紅外圖像進行分割,分割出相對于地面背景有顯著距離變化特征的物體,可大幅度降低待處理的可見光或紅外圖像數(shù)據(jù)量,提高圖像處理的速度和對目標檢測的準確性。針對車輛等目標相對地面在形體輪廓方面的特點,采用不同位置距離產(chǎn)生的畸變量和距離尺度范圍對三維圖像信息進行預處理,獲得目標以及與目標相似的背景,而將其余背景剔除,從而實現(xiàn)對可見光圖像通過三維距離圖像進行分割。

三維立體圖像不僅包含背景和目標相對于探測裝置的距離信息,同時不同像素單元距離的變化率能夠反映具有一定形體的目標相對于背景在距離和結(jié)構(gòu)上的突出特征,為了能將目標和背景分割開來,采用三維立體圖像像素所代表的距離信息變化對圖像進行分割。采用的分割模型為:

D0=A1XN+A2XN-1-BDN-1

(1)

式中:D0為距離的初始檢測閾值;N為圖像的第N個像素;A1,A2為調(diào)整系數(shù),主要依據(jù)圖像探測裝置視場相對地面的角度而定,對彈載圖像制導系統(tǒng)而言,該系數(shù)與彈的落角有關(guān);XN為當前像素代表的距離值;XN-1為前一個像素對應(yīng)的距離值;B為常數(shù),與距離探測裝置信噪比有關(guān);DN-1為前次距離檢測閾值。

基于距離信息與排序模型融合的顯著性目標檢測算法需要考慮到從成像探測裝置的視角觀察目標及其所在的環(huán)境背景。對于車輛、工事等目標,目標表面相對于探測裝置的距離、背景與探測裝置的距離發(fā)生較大的躍變,即使從空中向下對地面垂直觀察,目標相對于背景也有明顯的高度差。由式(1)通過檢測目標相對于背景的距離變化來完成圖像的分割。

通過三維立體圖像相鄰像素的距離值的變化率檢測目標圖像的外輪廓和距離特征的分布區(qū)域,對顯著性目標做出判斷。

基于距離信息的顯著性目標檢測形成一個與立體圖像分辨率一致的集合,記為D,將D與可見光圖像V和熱紅外圖像T聯(lián)合運算,構(gòu)建多模態(tài)圖輸入圖像的階段圖GD=(VD,ED)和GV/T=(VV/T,EV/T),其中,V和E分別是圖G的節(jié)點集合和邊集合。GD和GV/T的所有連接邊的權(quán)值計算方法為:

(2)

對傳統(tǒng)的流型排序模型進行改進,實現(xiàn)如下跨模態(tài)一致性的流型排序模型:

(3)

S,R=argminf(sk,rk)

(4)

對模型采用交替方向乘子法(ADMM)進行反復迭代,當式(3)的誤差小于預設(shè)值時,即得到最優(yōu)解S。

利用式(3)及式(4)對融合了距離信息的可見光/紅外圖像進行顯著性目標檢測,得到檢測結(jié)果的顯著圖,如圖1所示。

圖1 目標距離成像及基于距離信息的圖像分割Fig.1 Target distance imaging and image segmentation based on distance information

3 算法仿真驗證

采用可見光成像裝置和紅外圖像裝置獲取場景的可見光及紅外圖像,利用激光成像裝置獲取場景中樣點相對于激光成像裝置的距離,采用距離信息與排序模型融合的顯著性目標檢測方法對圖像處理算法進行仿真計算,以驗證方法及算法的有效性。

獲取可見光、紅外以及距離圖像時,3種機制的圖像信息應(yīng)在空間是配準的,即圖像大小相同,景物空間位置一致。當3種體制圖像的空間不匹配時,首先對圖像進行預處理,通過圖像像素差值等方法使可見光、紅外以及距離圖像相配準。

采用PR(precision-recall)曲線對檢測結(jié)果進行評價。當給定圖像后,對圖像進行二值化操作后得到圖B,G是輸入圖像對應(yīng)的檢測真值圖。預測的準確率RP被定義為:

(5)

預測的召回率RR被定義為:

(6)

為驗證文中顯著性目標檢測方法的有效性,實驗中將該算法與傳統(tǒng)的基于圖的流形排序MR(manifold ranking)算法[15]進行比較,對兩種算法在輸入為相同的可見光圖像和熱紅外圖像時的檢測性能進行了定量分析。實驗結(jié)果表明,融合了距離信息的顯著性目標檢測方法擁有更高的準確率和召回率,如圖2所示。

圖2 白天與黑夜條件下不同算法的準確率和召回率對比圖Fig.2 Precision and recall of two algorithms under different light intensities

圖3顯示了PR曲線法定量實驗分析結(jié)果?？梢钥闯?所建立的算法中包含距離信息和空間注意力機制時性能最好,說明引入距離注意力機制相對于無距離注意力機制,對信息的過濾篩選能力更強,更適用于圖像顯著性目標檢測。

圖3 引入距離信息后的顯著性檢測效果Fig.3 Saliency detection result when introducing distance information

如果將人員視為干擾,將車輛作為感興趣目標,則可以通過陣列距離信息對目標尺度進行判別,從尺度特征鑒別感興趣目標和非感興趣目標,從而將干擾目標剔除。

圖4為未引入距離信息的排序模型目標檢測結(jié)果,檢測算法認為圖像場景中不存在感興趣目標,將長時間停放后紅外熱特征降低并靠近建筑物的車輛漏檢。

圖4 傳統(tǒng)的排序模型顯著性目標檢測結(jié)果Fig.4 Saliency detection result of traditional ranking model

圖5是基于距離信息與排序模型融合的顯著性目標檢測結(jié)果,剔除了行人干擾,將距離輪廓符合車輛特征的目標正確檢出。

在算法運算量方面,基于距離信息與排序模型融合的顯著性目標檢測算法與傳統(tǒng)的排序模型顯著性目標檢測算法相比,雖然增加了三維距離圖像的數(shù)據(jù)處理過程,但由于算法采用的是簡易成像陣列數(shù)據(jù),數(shù)據(jù)量較小,例如按32×32的像素分辨率,只有1k左右的數(shù)據(jù)量。在引入距離圖像信息后,對可見光圖像和熱紅外圖像的分辨率要求大幅度降低,其中可見光圖像的數(shù)據(jù)量可減少70萬左右的數(shù)據(jù)點,熱紅外圖像可減少20萬左右數(shù)據(jù)點,總數(shù)據(jù)處理量大幅度減少,因此在不降低圖像處理運算速度的基礎(chǔ)上,該方法提高了對感興趣目標的檢測正確性。

4 結(jié)論

在可見光與紅外復合圖像探測系統(tǒng)中,通過引入場景的三維距離信息,采用距離信息對圖像實施分割,采用流形排序模型的顯著性目標檢測方法,克服了傳統(tǒng)的流形排序模型顯著性目標檢測方法圖像分割單元多、運算量大、對可見光及紅外圖像分辨率要求高、目標顯著性特征不突出的問題。實驗結(jié)果表明,基于距離信息圖像分割與流形排序模型相融合的顯著性目標檢測方法在保證圖像處理速度的前提下,提高了對圖像場景中目標的檢測、識別準確性,其中,白天條件下的目標檢測準確率達到87.7%,召回率達到91.6%;夜間條件下的檢測準確率達到81.2%,召回率達到86.3%,相比傳統(tǒng)MR排序模型算法有了較大的提升。然而,該算法仍舊存在局限性,例如在對可見光或熱紅外圖像進行單模態(tài)特征提取后,直接將兩個模態(tài)特征進行融合操作,未考慮不同模態(tài)特征之間的干擾因素,可能對最終顯著性預測結(jié)果造成一定影響。后續(xù)可針對不同模態(tài)特征信息融合的過濾機制加以研究,進一步增強特征融合對顯著性目標的表達能力。