基于可見(jiàn)光與紅外圖像融合的目標(biāo)跟蹤技術(shù)研究

邢靜，劉小虎

（西安培華學(xué)院 智能科學(xué)與信息工程學(xué)院，陜西西安，710125）

0 引言

由于可見(jiàn)光圖像的跟蹤在光照條件變化大或光照條件差的時(shí)候不可靠，而紅外圖像通過(guò)檢測(cè)物體的熱信息來(lái)跟蹤目標(biāo)，對(duì)光照條件要求較低，因此，紅外圖像可以為可見(jiàn)光圖像提供補(bǔ)充信息[1]。紅外成像的圖片由于低解析度和粗糙的紋理，在特定的條件下進(jìn)行對(duì)象跟蹤也是不可靠的。因此，現(xiàn)在著重于將可見(jiàn)光和紅外圖像結(jié)合到一起來(lái)克服單模態(tài)方法的局限性?？梢?jiàn)光與紅外圖像融合的目標(biāo)檢測(cè)跟蹤技術(shù)，已經(jīng)被各國(guó)普遍地應(yīng)用于打擊犯罪、城市規(guī)劃、體育賽事轉(zhuǎn)播、安防監(jiān)控、商業(yè)領(lǐng)域、無(wú)人車(chē)、無(wú)人機(jī)、機(jī)器人等方面。但是，對(duì)每個(gè)模態(tài)可靠性的度量、多模態(tài)的校準(zhǔn)、如何生成有效的聯(lián)合特征、計(jì)算成本可是否偏高，能否滿(mǎn)足實(shí)時(shí)跟蹤的要求，這些因素給我們的研究帶來(lái)了挑戰(zhàn)。如何實(shí)現(xiàn)可見(jiàn)光與紅外圖像的融合，并對(duì)目標(biāo)進(jìn)行準(zhǔn)確的檢測(cè)與跟蹤是目前研究處理的熱點(diǎn)和難點(diǎn)。

1 主要方法

對(duì)可見(jiàn)光與紅外圖像融合的目標(biāo)檢測(cè)跟蹤技術(shù)，可以根據(jù)聚合的層級(jí)將聚合方法進(jìn)行劃分為像素級(jí)融合跟蹤、特征級(jí)融合跟蹤和決策級(jí)融合跟蹤。除了根據(jù)融合層級(jí)對(duì)聚合方法進(jìn)行分類(lèi)，還可以根據(jù)方法的類(lèi)型對(duì)聚合方法進(jìn)行分類(lèi)，劃分為傳統(tǒng)方法、多尺度變換、稀疏表示、圖、深度學(xué)習(xí)和相關(guān)濾波器的方法。對(duì)可見(jiàn)光與紅外圖像融合的主要方法如圖1所示。下面將對(duì)這些方法展開(kāi)詳細(xì)敘述。

圖1 可見(jiàn)光與紅外圖像融合的主要方法

1.1 傳統(tǒng)跟蹤方法

傳統(tǒng)跟蹤方法利用了手工制作的特征，例如顏色直方圖、HOG、SIFT、ORB和LBP。此外，在這些方法中，采用了傳統(tǒng)的跟蹤技術(shù)，如卡爾曼濾波、粒子濾波和均值漂移等進(jìn)行跟蹤。但是這些方法有較大的局限性。首先，跟蹤中使用的特征是手動(dòng)提取或設(shè)計(jì)的，這在許多情況下可能無(wú)效。到目前為止，已經(jīng)可以證明手工制作的特征存在較大的局限性。因此，這些跟蹤器無(wú)法很好地處理跟蹤過(guò)程中的一些難題，例如規(guī)模變化和快速運(yùn)動(dòng)。其次，上述方法在計(jì)算上比較昂貴，尤其是基于粒子濾波器的方法。而且傳統(tǒng)的跟蹤方法都不能滿(mǎn)足實(shí)時(shí)性要求。最后，上述方法通常只是使用幾個(gè)甚至一個(gè)視頻來(lái)測(cè)試所提出的算法，不足以全面評(píng)估處理不同挑戰(zhàn)的性能。

1.2 基于多尺度變換的方法

多尺度變換的原理是把采集的原始圖片分解為各種不同尺度的分量，每個(gè)分量代表不同尺度的子圖像，而通常真實(shí)場(chǎng)景中的對(duì)象包括各種尺度的分量。文獻(xiàn)表明，人類(lèi)視覺(jué)特征與多尺度變換是基本一致的，同時(shí)這些特征會(huì)使融合后的圖像具有出色的視覺(jué)效果[4,8,9,10,11,12]。

多尺度變換的融合方法一般需要三步：(1)用不同尺度來(lái)表示每個(gè)原始圖像；(2)把各種不同尺度表示的原始圖像按照給定的規(guī)則進(jìn)行融合；(3)通過(guò)逆尺度變換來(lái)得到融合圖像。選擇合適的變換和融合規(guī)則是基于多尺度變換融合的關(guān)鍵所在[4,8,9,10,11,12]。

圖2 多尺度變換原理圖

基于多尺度變換的方法是圖像融合中最活躍的領(lǐng)域，它假定圖像將由不同顆粒中的各個(gè)層表示。這些方法將源圖像分解為多個(gè)級(jí)別，將特定的圖層與特定規(guī)則融合在一起，并相應(yīng)地重建目標(biāo)圖像[4,8]。

1.3 基于稀疏表示的方法

稀疏表示能夠表征人類(lèi)的視覺(jué)系統(tǒng)，有效地抑制噪音和錯(cuò)誤。它也能被用于可見(jiàn)光與紅外圖像融合的跟蹤算法中，因?yàn)樗兄谏捎行У穆?lián)合特征。然而，一些基于稀疏表示的方法沒(méi)有考慮模態(tài)的可靠性，因此當(dāng)個(gè)別模態(tài)出現(xiàn)偶然擾動(dòng)或故障時(shí)，算法的表現(xiàn)可能會(huì)被限制。

基于稀疏表示的融合跟蹤的最大缺點(diǎn)是效率。幾乎所有的稀疏表示融合跟蹤算法都不能滿(mǎn)足實(shí)時(shí)性要求，這可能是因?yàn)樵诰€優(yōu)化在基于稀疏表示的方法中很耗時(shí)?；谙∈璞硎镜娜诤细櫟脑韴D[9]如圖3所示。

圖3 基于稀疏表示的融合跟蹤的原理圖

1.4 基于圖的方法

在基于圖的方法中，可見(jiàn)光和紅外圖像都應(yīng)該用圖表示，并且必須建立可見(jiàn)圖和紅外圖之間的特定關(guān)系。這種關(guān)系和權(quán)重是基于圖的方法的關(guān)鍵點(diǎn)。該方法的主要目的是抑制可見(jiàn)光和紅外圖像融合跟蹤中的背景效應(yīng)，從而獲得更好的特征表示。此外，通過(guò)考慮前景的塊權(quán)重，將可見(jiàn)光圖像和熱力特征進(jìn)行連接。但是，該方法有兩個(gè)缺點(diǎn)。首先，它在計(jì)算跨模態(tài)一致性時(shí)沒(méi)有考慮模態(tài)權(quán)重。這意味著該方法在跟蹤過(guò)程中無(wú)法區(qū)分更可靠的模態(tài)，因此會(huì)受到單個(gè)源的成像限制的影響。其次，它的速度極低，不滿(mǎn)足實(shí)時(shí)性的要求。

1.5 基于深度學(xué)習(xí)的方法

近年來(lái)，深度學(xué)習(xí)已在計(jì)算機(jī)視覺(jué)，模式識(shí)別和圖像處理等各個(gè)領(lǐng)域展示了最先進(jìn)的性能。深度學(xué)習(xí)具有對(duì)數(shù)據(jù)之間的復(fù)雜關(guān)系進(jìn)行建模的強(qiáng)大功能。此外，深度學(xué)習(xí)無(wú)需人工干預(yù)即可自動(dòng)從數(shù)據(jù)中提取獨(dú)特的功能。基于深度學(xué)習(xí)的方法學(xué)習(xí)到的特征更有效、更穩(wěn)健，因此有利于跟蹤問(wèn)題。基于深度學(xué)習(xí)的方法是當(dāng)前領(lǐng)域的主流方向，但是它的主要問(wèn)題是計(jì)算成本。因此必須采取措施降低計(jì)算成本，從而使基于深度學(xué)習(xí)的融合跟蹤器更快。

1.6 基于相關(guān)濾波器的方法

相關(guān)濾波器是一類(lèi)分類(lèi)器，用于最優(yōu)化及在相關(guān)輸出中產(chǎn)生峰值，主要是為了實(shí)現(xiàn)場(chǎng)景中目標(biāo)的準(zhǔn)確定位?；谙嚓P(guān)性過(guò)濾的跟蹤算法高效、準(zhǔn)確，因此雖然對(duì)于基于相關(guān)濾波器的可見(jiàn)光與紅外圖像融合跟蹤方法的研究處于剛剛起步的階段，但由于相關(guān)濾波器高效、準(zhǔn)確的優(yōu)勢(shì)，使其未來(lái)的發(fā)展值得期待。

1.7 像素級(jí)融合跟蹤

像素級(jí)融合跟蹤，是指首先融合不同模態(tài)的圖像以產(chǎn)生更多信息的圖像，然后基于這些融合圖像進(jìn)行目標(biāo)跟蹤[5]。這個(gè)方法易于實(shí)現(xiàn)，但是它保留了原數(shù)據(jù)源中最多的信息，因此非常耗時(shí)而且會(huì)顯著地降低整個(gè)跟蹤算法的速度[7]。像素級(jí)融合跟蹤原理圖如圖5所示。

圖4 基于特征級(jí)深度學(xué)習(xí)的可見(jiàn)光與紅外融合跟蹤算法的框架[9]

圖5 像素級(jí)融合跟蹤原理圖[7]

1.8 特征級(jí)融合跟蹤

該方法首先提取可見(jiàn)光圖像和紅外圖像的特征，然后按照設(shè)計(jì)的融合規(guī)則進(jìn)行融合，得到融合特征[6]。融合特征會(huì)被跟蹤任務(wù)使用。該方法直接構(gòu)造了多模態(tài)的特征，因此比像素級(jí)融合跟蹤更加直接。特征級(jí)融合跟蹤原理圖如圖6所示。

圖6 特征級(jí)融合跟蹤原理圖[6]

1.9 決策級(jí)融合跟蹤

決策級(jí)融合跟蹤，又被稱(chēng)為聚合前跟蹤的方法，對(duì)不同的模態(tài)分別運(yùn)行跟蹤算法，最后將跟蹤的結(jié)果融合得到最終的結(jié)果。該算法有一些優(yōu)勢(shì)。首先，非常靈活，可以選擇不同的跟蹤器分別基于可見(jiàn)光和紅外圖像進(jìn)行跟蹤。大多數(shù)決策級(jí)融合跟蹤方法唯一需要的是目標(biāo)周?chē)倪吔缈?。其次，與像素級(jí)和特征級(jí)融合跟蹤方法相比，它的計(jì)算成本通常更低。因此，其跟蹤速度可能比像素級(jí)和特征級(jí)融合跟蹤方法更快。此外，決策級(jí)融合跟蹤對(duì)可見(jiàn)光和紅外圖像的配準(zhǔn)要求較低。決策級(jí)融合跟蹤原理圖如圖7所示。

圖7 決策級(jí)融合跟蹤原理圖

2 常用幾種方法的特點(diǎn)及發(fā)展趨勢(shì)

傳統(tǒng)方法利用了手工制作的特征，因此無(wú)法處理跟蹤過(guò)程中的快速運(yùn)動(dòng)等問(wèn)題，且計(jì)算成本較昂貴，難以滿(mǎn)足實(shí)時(shí)性要求；基于多尺度變換的方法，依賴(lài)于預(yù)定義的變換以及用于分解和重建的相應(yīng)級(jí)別，但是，沒(méi)有標(biāo)準(zhǔn)用于評(píng)估這些轉(zhuǎn)換和級(jí)別，從而容易降低性能；稀疏表示方法能有效抑制噪聲，可靠性高，但效率極低；基于圖的方法能抑制背景效應(yīng)，但會(huì)受到單源成像限制影響，且實(shí)時(shí)性低；深度學(xué)習(xí)方法比較穩(wěn)健、有效，但是計(jì)算成本過(guò)高；相關(guān)濾波器方法高效、準(zhǔn)確，但發(fā)展相對(duì)緩慢。

圖8 可見(jiàn)光與紅外融合跟蹤技術(shù)的發(fā)展趨勢(shì)

3 總結(jié)

可見(jiàn)光與紅外融合的跟蹤方法，關(guān)鍵是要針對(duì)圖像特征、成像機(jī)制等特點(diǎn)，同時(shí)考慮計(jì)算魯棒性、實(shí)時(shí)性和成本等要求，合理地選擇跟蹤方法，以求得到最好的性能。無(wú)論是傳統(tǒng)方法、稀疏表示、圖表示等經(jīng)典方法，還是深度學(xué)習(xí)和相關(guān)濾波器等新興的方法，通常都是使用單一方法進(jìn)行跟蹤過(guò)程。因?yàn)槊糠N方法都有各自的局限性。所以不能達(dá)到很好的效果?？梢?jiàn)光與紅外融合的跟蹤技術(shù)未來(lái)的發(fā)展趨勢(shì)是利用多種跟蹤方法相結(jié)合，優(yōu)勢(shì)互補(bǔ)，從而最大限度地提升性能，提高系統(tǒng)的魯棒性與實(shí)時(shí)性。