基于紅外和可見光融合的目標(biāo)跟蹤①

王 凱,韋宏利,陳超波,曹 凱

(西安工業(yè)大學(xué) 電子信息工程學(xué)院,西安 710021)

引言

信息融合是對(duì)從單個(gè)和多信息源獲取的數(shù)據(jù)和信息進(jìn)行關(guān)聯(lián)和綜合,以獲得精確的位置和身份估計(jì)以及對(duì)姿態(tài)和威脅及其重要程度進(jìn)行全面及時(shí)評(píng)估的信息處理過程.紅外圖像與可見光圖像融合是圖像融合技術(shù)的一個(gè)重要分支.紅外圖像可以克服“煙霧”和細(xì)小顆粒等的遮擋問題,通過感知目標(biāo)的熱源來成像,對(duì)熱輻射比較敏感,但是圖像的邊緣比較模糊,細(xì)節(jié)不清楚,只有亮度信息,沒有顏色信息;而可見光對(duì)目標(biāo)的細(xì)節(jié)比較敏感,通過間接反射日光成像或物體自身發(fā)光進(jìn)行成像,容易受到光照條件和氣候變化的影響,對(duì)“煙霧”和細(xì)小顆粒的穿透力比較差.針對(duì)這兩者之間的優(yōu)缺點(diǎn),本文融合紅外圖像和可見光圖像各自的優(yōu)點(diǎn)來解決目標(biāo)遮擋時(shí)的跟蹤失敗的問題,并提高了跟蹤精度.

文獻(xiàn)[1]利用跟蹤前融合策略,利用可見光改進(jìn)的粒子濾波算法跟蹤目標(biāo),再用紅外跟蹤模版匹配,實(shí)現(xiàn)了準(zhǔn)確定位.文獻(xiàn)[2]根據(jù)背景模型,引入粒子濾波器對(duì)行人進(jìn)行跟蹤,設(shè)計(jì)了采樣模型概率空間,最大化模型后驗(yàn)概率,完成了在戶外環(huán)境中跟蹤目標(biāo).文獻(xiàn)[8]選取了可見光圖像的目標(biāo)顏色特征和紅外圖像的目標(biāo)輪廓特征結(jié)合均值漂移算法與水平集曲線演化實(shí)現(xiàn)了目標(biāo)定位,并實(shí)現(xiàn)了穩(wěn)定跟蹤.

1 Mean Shift

1.1 Mean Shift算法描述

Mean Shift算法屬于核密度估計(jì)法,它不需要任何先驗(yàn)知識(shí)而完全依靠特征空間中樣本點(diǎn)計(jì)算其密度函數(shù)值.基于Mean Shift的目標(biāo)跟蹤算法通過分別計(jì)算目標(biāo)區(qū)域和候選區(qū)域內(nèi)像素的特征值概率得到關(guān)于目標(biāo)模型和候選模型的描述,然后利用相似函數(shù)度量初始幀目標(biāo)模型和當(dāng)前幀的候選模型的相似性,選擇使相似函數(shù)最大的候選模型并得到目標(biāo)模型的Mean Shift向量,這個(gè)向量正是目標(biāo)由初始位置移動(dòng)的向量.由于Mean Shift算法的收斂性,通過不斷的迭代計(jì)算Mean Shift向量,算法最終將收斂到目標(biāo)的真實(shí)位置,達(dá)到跟蹤目標(biāo)的目.

1.2 模型描述

1.2.1 目標(biāo)模型

對(duì)于彩色圖像來說,要先對(duì)彩色圖像進(jìn)行灰度化處理,通過人工標(biāo)注的方法在初始幀確定需要跟蹤的目標(biāo)區(qū)域.該區(qū)域是以x0為中心,以h為邊長(zhǎng)的矩形區(qū)域.設(shè)是表示目標(biāo)區(qū)域的像素的集合,用直方圖估計(jì)的每一個(gè)特征值的概率密度為:

其中,C為歸一化系數(shù),x0為搜索窗口中心像素坐標(biāo)位置,xi為第i個(gè)像素坐標(biāo);為灰度級(jí)數(shù);為核函數(shù),b(xi)是xi處像素的量化值;的作用是判斷xi的顏色是否屬于特征值u,若屬于判斷式則為1,若不屬于判斷式則為0,其中h為搜索窗口的寬帶,距離目標(biāo)中心距離越近的像素對(duì)灰度直方圖的貢獻(xiàn)越大,反之距離中心越遠(yuǎn)的像素對(duì)灰度直方圖的貢獻(xiàn)越小.

1.2.2 候選模型

在當(dāng)前幀圖像中可能包括目標(biāo)的區(qū)域稱為候選區(qū)域,對(duì)候選區(qū)域的描述稱為目標(biāo)候選模型.則候選模型的概率密度為:

其中h為核函數(shù)窗口大小,決定著像素權(quán)重的分配,其他參數(shù)的描述與目標(biāo)模型相同.

1.3 相似性度量

對(duì)于Mean Shift算法來說在搜索窗口內(nèi)的采樣點(diǎn)來說,無論其距離中心點(diǎn)的距離遠(yuǎn)近,對(duì)最終貢獻(xiàn)的結(jié)果是一樣的.然而在現(xiàn)實(shí)的跟蹤過程中,當(dāng)目標(biāo)出現(xiàn)不同程度的遮擋時(shí),因?yàn)榫嚯x中心點(diǎn)遠(yuǎn)的采樣點(diǎn)容易受到遮擋或背景的影響,所以目標(biāo)模型中心附近的像素比靠外的更加可靠,這樣起到弱化邊緣像素而突出中心像素的作用.因此,對(duì)于不同的采樣點(diǎn)來說,每個(gè)采樣點(diǎn)的重要性是不相同的,對(duì)此,我們引入核函數(shù)和權(quán)值系數(shù)來提高跟蹤算法的魯棒性,并提高跟蹤搜索能力.文獻(xiàn)[13]用Bhattacharyya進(jìn)行相似性度量有明顯的優(yōu)勢(shì),所以使用Bhattacharyya系數(shù)用于描述目標(biāo)模型和候選模型之間的相似程度.定義如下:

目標(biāo)模型和候選模型的相似度跟ρ(y)的值成正比.相似函數(shù)越大則兩個(gè)模型越相似,當(dāng)相似度為1時(shí),此時(shí)候選區(qū)域與目標(biāo)模型完全重合.核函數(shù)采用Epanechnikov:

1.4 目標(biāo)定位

目標(biāo)定位過程就是計(jì)算均值向量的過程,并根據(jù)該向量來反復(fù)迭代更新核函數(shù)窗口的中心值,通過求相似函數(shù)最大值得到關(guān)于Mean Shift向量,這個(gè)向量是目標(biāo)從初始位置向目標(biāo)中心位置移動(dòng)的向量,由于Mean Shift算法的收斂性,不斷迭代計(jì)算該向量,最終會(huì)收斂到目標(biāo)的真實(shí)位置,從而達(dá)到跟蹤的目的.算法的計(jì)算步驟如下:

2 加權(quán) Mean Shift紅外和可見光特征級(jí)融合的目標(biāo)跟蹤

針對(duì)紅外和可見光的不同特征,選取他們各自不同的特征作為融合的對(duì)象,選取可見光的顏色特征,這個(gè)特征符合人們的視覺習(xí)慣,由RGB三個(gè)基本特征構(gòu)成特征向量.紅外圖像雖然沒有RGB的特征向量,但是紅外圖像的信噪比比較好,可以克服“煙霧”和細(xì)小顆粒等的遮擋問題,對(duì)熱輻射比較敏感,只有亮度信息,沒有顏色信息,所以選取紅外圖像的灰度信息作為特征.

2.1 權(quán)值的計(jì)算

相似函數(shù)是衡量每一步迭代得到的候選目標(biāo)和目標(biāo)模型的相似程度,它貫穿了整個(gè)Mean Shift的計(jì)算以及融合的過程,反映了可見光圖像和紅外圖像提供有用信息的多少,因此在計(jì)算可見光和紅外各自權(quán)值的大小時(shí)仍然用相似函數(shù)來計(jì)算.為了描述方便分別將可見光和紅外的Bhattacharyya的系數(shù)記為在實(shí)際跟蹤過程中,可見光和紅外的前后兩幀的相似度可能出現(xiàn)以下三種情況:(1)可見光和紅外的前后兩幀的相識(shí)度都比較小;(2)一個(gè)前后兩幀相似度大,另一個(gè)相似度較小;(3)兩個(gè)相似度都比較大.的取值范圍是0–1,根據(jù)經(jīng)驗(yàn)分析,的大部分取值都在0.8以上,基于的取值特性,現(xiàn)在設(shè)計(jì)如下函數(shù),用來計(jì)算的權(quán)值大小.

然后對(duì)上式歸一化處理,得到紅外圖像和可見光圖像的權(quán)值:

根據(jù)紅外和可見光的權(quán)值可以得到最終的結(jié)果為:

yvis和yir分別是可見光和紅外的候選目標(biāo)位置.

3 實(shí)驗(yàn)結(jié)果

可見光圖像跟蹤、紅外圖像跟蹤以及基于可見光圖像和紅外圖像融合的目標(biāo)跟蹤的效果圖分別如圖1、圖2和圖3所示.跟蹤的目標(biāo)圖像如圖4和圖5所示.

圖1 可見光的跟蹤效果圖

4 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證文中提出的基于紅外和可見光加權(quán)融合的Mean Shift算法在目標(biāo)跟蹤時(shí)對(duì)當(dāng)目標(biāo)存在遮擋時(shí)的有效性和穩(wěn)健性.分別對(duì)同一跟蹤目標(biāo)進(jìn)行了三種不同的跟蹤,分別是基于Mean Shift可見光的目標(biāo)跟蹤;基于 Mean Shift的紅外目標(biāo)跟蹤;基于紅外和可見光加權(quán)融合的Mean Shift算法的目標(biāo)跟蹤.

基于Mean Shift可見光圖像的目標(biāo)跟蹤中,在選取的前兩幀圖像中,從圖1可以看出,在未進(jìn)入遮擋時(shí)有良好的跟蹤,當(dāng)目標(biāo)進(jìn)入遮擋區(qū)域以后,也就是圖1的第二幅圖片中,跟蹤的結(jié)果與真實(shí)位置明顯存在偏差,目標(biāo)搜索框存在明顯的偏移,跟蹤效果不明顯.

圖2 紅外圖像的跟蹤效果圖

圖3 基于可見光圖像和紅外圖像融合的目標(biāo)跟蹤效果圖

圖4 可見光目標(biāo)圖像

圖5 紅外目標(biāo)圖像

基于Mean Shift紅外的目標(biāo)跟蹤,對(duì)于紅外圖像來說,由于紅外圖像只有亮度信息,沒有顏色信息,能夠提供的可用信息量比較少,整體的跟蹤效果不好.在圖2的第三幅圖片中,目標(biāo)搜索框也存在偏差,跟蹤效果較差.分析可以看出,在目標(biāo)沒有進(jìn)入遮擋區(qū)域時(shí),可見光的跟蹤效果明顯好于紅外圖像的跟蹤效果,但當(dāng)進(jìn)入遮擋區(qū)域以后,紅外圖像的跟蹤效果變的好于可見光的跟蹤效果.

基于加權(quán)Mean Shift可見光與紅外融合的目標(biāo)跟蹤,圖3是可見光與紅外特征融合后的目標(biāo)跟蹤效果,在沒有進(jìn)入遮擋區(qū)域時(shí)可見光圖像的權(quán)值很大,起到?jīng)Q定性作用;在進(jìn)入遮擋區(qū)域后紅外圖像的權(quán)值變大,起決定性作用,使得有用信息的作用達(dá)到最大發(fā)揮,從而達(dá)到優(yōu)化跟蹤的目的,從而使目標(biāo)在部分遮擋時(shí)也能達(dá)到良好的跟蹤的目的.本文選用的就是這種方法,并且提高了目標(biāo)跟蹤的精度.

5 實(shí)驗(yàn)的硬件平臺(tái)

實(shí)驗(yàn)平臺(tái)由光電伺服跟蹤轉(zhuǎn)臺(tái)(如圖6)和電腦一臺(tái).光電轉(zhuǎn)臺(tái)是利用光電探測(cè)器件作為敏感元件,利用機(jī)電控制保持探測(cè)器視軸穩(wěn)定,從而實(shí)現(xiàn)跟蹤裝置對(duì)目標(biāo)的捕獲、跟蹤、瞄準(zhǔn)和穩(wěn)定功能.在國(guó)外,光電伺服跟蹤系統(tǒng)被廣泛應(yīng)用于地基、車載、艦載、機(jī)載、彈載以及各種航天設(shè)備中.主要由光學(xué)系統(tǒng)、紅外探測(cè)器、跟蹤器和圖像控制器等部分組成.紅外激光照明器,與攝像機(jī)同軸變焦,人物辨別距離 200 米,發(fā)現(xiàn)距離1000米,可見光日夜型彩轉(zhuǎn)黑高解析攝像機(jī),有效像素 (H×V)752×582,水平清晰度 540 TVL,PAL 信號(hào)制式,信噪比≥57 dB,DC 自動(dòng)光圈驅(qū)動(dòng).

圖6 光電伺服跟蹤轉(zhuǎn)臺(tái)

6 結(jié)論

紅外成像是根據(jù)吸收目標(biāo)出發(fā)的不可見的熱輻射來實(shí)現(xiàn)的;可見光成像是根據(jù)吸收目標(biāo)反射的可見光波段來實(shí)現(xiàn).本文結(jié)合紅外圖像和可見光圖像的不同特征進(jìn)行融合,在其他可變因素(如光照強(qiáng)度、煙霧干擾、背景干擾等)一定的情況下,首先對(duì)紅外圖像進(jìn)行 Mean Shift跟蹤,其次對(duì)可見光圖像進(jìn)行 Mean Shift跟蹤,再根據(jù)Bhattacharyya系數(shù)和權(quán)值計(jì)算函數(shù)來判定紅外和可見光的不同權(quán)重系數(shù),使得有用的信息得到最大的利用,最終得到融合后的跟蹤結(jié)果.實(shí)驗(yàn)證明,本文中的基于紅外可見光的特征融合的目標(biāo)跟蹤,提高了單一跟蹤的準(zhǔn)確度,解決了當(dāng)目標(biāo)存在部分遮擋時(shí)目標(biāo)跟蹤丟失的問題.

1 Xiao G,Yun X,Wu JM.A new tracking approach for visible and infrared sequences based on tracking-before-fusion.International Journal of Dynamics and Control,2016,4(1):40–51.[doi:10.1007/s40435-014-0115-4]

2 Leykin A,Hammoud R.Robust multi-pedestrian tracking in thermal-visible surveillance videos.Conference on Computer Vision and Pattern Recognition Workshop.New York,NY,USA.2006.136.

3 朱勝利.Mean Shift及相關(guān)算法在視頻跟蹤中的研究[博士學(xué)位論文].杭州:浙江大學(xué),2006.

4 Shen XW,Sui XB,Pan KC,et al.Adaptive pedestrian tracking via patch-based features and spatial-temporal similarity measurement. Pattern Recognition,2016,(53):163–173.[doi:10.1016/j.patcog.2015.11.017]

5 丁業(yè)兵.基于Mean Shift的視頻目標(biāo)跟蹤算法研究[碩士學(xué)位論文].合肥:安徽大學(xué),2016.

6 Führ G,Jung CR.Combining patch matching and detection for robust pedestrian tracking in monocular calibrated cameras.Pattern Recognition Letters,2014,(39):11 –20.[doi:10.1016/j.patrec.2013.08.031]

7 Apatean A,Rogozan A,Bensrhair A.Visible-infrared fusion schemes for road obstacle classification. Transportation Research Part C:Emerging Technologies,2013,(35):180–192.[doi:10.1016/j.trc.2013.07.003]

8 趙高鵬,薄煜明,尹明鋒.一種紅外和可見光雙通道視頻目標(biāo)跟蹤方法.電子與信息學(xué)報(bào),2012,34(3):529–534.

9 劉晴,唐林波,趙保軍,等.改進(jìn)的 Mean Shift目標(biāo)跟蹤算法.系統(tǒng)工程與電子技術(shù),2013,35(6):1318–1323.[doi:10.3969/j.issn.1001-506X.2013.06.32]

10 顧幸方,茅耀斌,李秋潔.基于 Mean Shift的視覺目標(biāo)跟蹤算法綜述.計(jì)算機(jī)科學(xué),2012,39(12):16–24.[doi:10.3969/j.issn.1002-137X.2012.12.005]

11 胡威.基于Mean Shift的視頻人體目標(biāo)跟蹤算法研究[碩士學(xué)位論文].上海:上海交通大學(xué),2013.

12 封子軍,張曉玲,張慧杰.運(yùn)動(dòng)目標(biāo)檢測(cè)的紅外與可見光圖像融合方法.計(jì)算機(jī)工程與應(yīng)用,2012,48(7):9–11.

13 李良福,馮祖仁,陳衛(wèi)東,等.基于 Bhattacharyya 系數(shù)的由粗到精的核匹配搜索方法.模式識(shí)別與人工智能,2008,21(4):514–519.