多源異構(gòu)圖像融合跟蹤研究現(xiàn)狀與展望*

肖 剛,冶 平,張星辰,劉 駿,2,貢 克

(1.上海交通大學(xué)航空航天學(xué)院,上海 200240;2.四川輕化工大學(xué)自動(dòng)化與信息工程學(xué)院,四川 宜賓 644000)

目標(biāo)跟蹤是計(jì)算機(jī)視覺領(lǐng)域重要研究內(nèi)容之一，在軍事領(lǐng)域和民用領(lǐng)域具有廣泛的應(yīng)用基礎(chǔ)和前景,例如戰(zhàn)場目標(biāo)檢測、跟蹤和識(shí)別,情境感知,態(tài)勢評估,機(jī)場導(dǎo)航,人類視覺輔助等。然而,受到圖像傳感器綜合及融合算法、高性能處理硬件成本的制約,目前的圖像跟蹤系統(tǒng)普遍采用單傳感器或同類多傳感器作為信源[1]。由于單視覺傳感器提供的數(shù)據(jù)單一,存在視場有限，無法獲取目標(biāo)的距離、空間信息等問題,無法應(yīng)對復(fù)雜多變的應(yīng)用場景,所以往往很難保證一致穩(wěn)健跟蹤;而同類多傳感器雖然能部分彌補(bǔ)單傳感器因成像視場局限性造成的不足,但仍舊受成像機(jī)理的制約,很難同時(shí)兼顧分辨率、定位精度、穿透力(如煙、霧、雨、霾、低能見度)和靈敏度等性能要求[2]。即使改良目標(biāo)檢測與跟蹤算法彌補(bǔ)了這些缺陷,但收效甚微。因此,為了滿足全天候、全天時(shí)觀測條件下對目標(biāo)檢測與跟蹤系統(tǒng)的實(shí)時(shí)性、穩(wěn)定性、可靠性要求,彌補(bǔ)基于單一傳感器在對運(yùn)動(dòng)目標(biāo)檢測、跟蹤、識(shí)別的信息不確定性[3],將多種傳感器進(jìn)行數(shù)據(jù)融合十分必要,以實(shí)現(xiàn)信息互補(bǔ),最大程度優(yōu)化數(shù)據(jù),為后續(xù)工作提供決策依據(jù)。

復(fù)雜背景下的多源異構(gòu)圖像融合跟蹤是一個(gè)典型的復(fù)雜隨機(jī)非線性動(dòng)態(tài)系統(tǒng)估計(jì)問題。首先,在動(dòng)態(tài)圖像中,當(dāng)運(yùn)動(dòng)目標(biāo)狀態(tài)信息和觀測環(huán)境信息均不完備的情況下,需要建立目標(biāo)檢測模板,定義目標(biāo)特征信息;其次,統(tǒng)一主、被動(dòng)傳感器之間配置參數(shù),需要將包括文字、坐標(biāo)、距離、圖像等多種異構(gòu)信息表征為數(shù)學(xué)模型;再次,將目標(biāo)先驗(yàn)信息、背景屬性與目標(biāo)特征信息綜合,實(shí)現(xiàn)魯棒跟蹤;最后,確立融合跟蹤的決策機(jī)制和性能評估辦法,構(gòu)建完整的性能評估方法和優(yōu)化綜合決策。近年來,多源異構(gòu)圖像魯棒融合跟蹤成為智能信息處理與信息融合領(lǐng)域的交叉研究熱點(diǎn),具有十分重要的研究意義。

本文將總結(jié)近年來多源異構(gòu)圖像融合跟蹤的研究進(jìn)展,從目標(biāo)跟蹤，圖像融合,多源異構(gòu)圖像融合跟蹤,異構(gòu)信息的表征,基于深度學(xué)習(xí)的圖像融合跟蹤研究現(xiàn)狀幾個(gè)方面進(jìn)行論述,并分析該領(lǐng)域的未來的發(fā)展趨勢。

1 需求與問題

1.1 目標(biāo)跟蹤

基于視頻圖像的目標(biāo)跟蹤是對圖像序列中運(yùn)動(dòng)目標(biāo)的位置和形狀進(jìn)行估計(jì)。動(dòng)態(tài)圖像跟蹤過程存在目標(biāo)遮擋，目標(biāo)尺度變化，先驗(yàn)信息缺失，觀測環(huán)境天氣和光照變化以及跟蹤實(shí)時(shí)性等問題,是個(gè)頗具挑戰(zhàn)研究課題。

根據(jù)目標(biāo)表觀的描述和更新策略,可將目標(biāo)表觀模型算法分為生成式(Generative Model)和判別式(Discriminative Model)兩類。生成式模型算法包括基于目標(biāo)模板的跟蹤方法,無參的概率建模方法,有參的概率建模方法,基于子空間表示方法;判別式模型即基于分類器的目標(biāo)跟蹤方法,將目標(biāo)與背景分離,目標(biāo)信息作為正樣本,背景信息作為負(fù)樣本。這兩種模型在某種程度上相輔相成,有學(xué)者提出[4-5]將兩者的信任度進(jìn)行加權(quán),或者兩種方法序貫進(jìn)行,使用混合型方法獲得目標(biāo)表觀的變化。

搜索目標(biāo)位置的方法可分為確定性方法和隨機(jī)方法等。Mean shift 算法[6]是確定性目標(biāo)跟蹤方法中經(jīng)典方法之一,它的理論基礎(chǔ)是核密度估計(jì)。該過程是利用梯度下降算法尋找使相似度最大的方向,根據(jù)目標(biāo)顏色分布概率,不斷迭代找到目標(biāo)位置。隨機(jī)搜索方法中粒子濾波是典型代表算法,首先對跟蹤目標(biāo)進(jìn)行建模,并定義一種相似度度量確定粒子與目標(biāo)的匹配程度。在目標(biāo)搜索的過程中,統(tǒng)計(jì)按照一定分布規(guī)律的粒子(如均勻分布或高斯分布)的相似度,確定目標(biāo)可能的位置,在下一幀中的這些位置加入更多新的粒子,確保在更大概率對目標(biāo)進(jìn)行跟蹤。卡爾曼濾波(Kalman Filter)常被用于描述目標(biāo)的運(yùn)動(dòng)模型,對目標(biāo)的運(yùn)動(dòng)模型進(jìn)行建模,常用于估計(jì)目標(biāo)在下一幀的位置。另外,經(jīng)典的跟蹤方法還有基于特征點(diǎn)的光流跟蹤,在目標(biāo)上提取特征點(diǎn),然后在下一幀計(jì)算這些特征點(diǎn)的光流匹配點(diǎn),統(tǒng)計(jì)得到目標(biāo)的位置。在跟蹤的過程中,需要不斷補(bǔ)充新的特征點(diǎn),同時(shí)刪除置信度不佳的特征點(diǎn),以此來適應(yīng)目標(biāo)在運(yùn)動(dòng)中的形狀變化。

隨后,基于相關(guān)濾波、深度學(xué)習(xí)的目標(biāo)跟蹤方法相繼出現(xiàn)。相關(guān)濾波(Correlation Filters)算法源自信號(hào)處理領(lǐng)域,2010年,David S.Bolme[7]首次將相關(guān)濾波算法應(yīng)用于目標(biāo)跟蹤,提出了誤差最小平方和濾波器(Minimum Output Sum of Squared Error Filter,MOSSE),通過在線訓(xùn)練和自適應(yīng)改進(jìn),在目標(biāo)表觀變化時(shí)仍然能夠魯棒跟蹤,使用快速傅里葉變化加快運(yùn)算速度,幀率可達(dá)669幀/秒。2014年,Joao F. Henriques[8]等提出KCF(Kernelized Correlation Filters)算法,對MOSSE算法做了進(jìn)一步改進(jìn),引入多通道特征獲得更好的HOG,強(qiáng)調(diào)負(fù)樣本的重要性,通過循環(huán)矩陣擴(kuò)大樣本數(shù)量,使用核函數(shù)將低維空間計(jì)算映射到高維空間,從而快速檢測到目標(biāo)位置。 而在長時(shí)間(Long-term)目標(biāo)跟蹤方面,Z. Kalal[9]提出了TLD(Tracking Learning Detection)目標(biāo)跟蹤框架,在目標(biāo)遮擋、目標(biāo)離開視野等復(fù)雜場景中嘗試突破。

2015年,基于深度學(xué)習(xí)的目標(biāo)跟蹤算法表現(xiàn)突出,Chao Ma[10]使用深度學(xué)習(xí)算法HCF(Hierarchical Convolutional Features)提取目標(biāo)特征,準(zhǔn)確性較高,但是由于使用離線訓(xùn)練,在實(shí)時(shí)性方便表現(xiàn)欠佳。在此之后,越來越多的研究者改進(jìn)基于深度學(xué)習(xí)的目標(biāo)跟蹤算法,不斷提高其準(zhǔn)確性和魯棒性。2016年,Luca Bertinetto[11]提出全卷積孿生網(wǎng)絡(luò)(Fully-Convolutional Siamese Networks),孿生網(wǎng)絡(luò)為兩個(gè)并行的網(wǎng)絡(luò)結(jié)構(gòu),兩個(gè)分支共享卷積層的權(quán)值,分別進(jìn)行特征提取和目標(biāo)搜索,在全卷積孿生網(wǎng)絡(luò)中通過隨機(jī)梯度下降來適應(yīng)網(wǎng)絡(luò),簡化目標(biāo)模板,提高速度,保證準(zhǔn)確性。

目前,在目標(biāo)跟蹤領(lǐng)域基于相關(guān)濾波的方法和基于深度學(xué)習(xí)的方法各有所長,相關(guān)濾波在實(shí)時(shí)性方面表現(xiàn)突出,而基于深度學(xué)習(xí)的算法更擅長提取目標(biāo)特征信息。孿生網(wǎng)絡(luò)的出現(xiàn)對目標(biāo)跟蹤領(lǐng)域產(chǎn)生了很大影響,此后出現(xiàn)了很多基于此網(wǎng)絡(luò)的目標(biāo)跟蹤算法,其中,Valmadre J[12]創(chuàng)造性地將深度學(xué)習(xí)和相關(guān)濾波結(jié)合到一起,該算法兼具深度學(xué)習(xí)特征提取的精確性和相關(guān)濾波計(jì)算速度快的優(yōu)點(diǎn)。

在目標(biāo)跟蹤領(lǐng)域,目標(biāo)遮擋和長時(shí)跟蹤目前還沒有較好的解決辦法,此外,兼顧準(zhǔn)確性和實(shí)時(shí)性一直是個(gè)難題。

1.2 圖像融合

多源圖像融合,本質(zhì)上是一種由低(層)至高(層)對多源信息進(jìn)行整合,逐層抽象的信息處理過程,最終達(dá)到1+1>2的效果。在醫(yī)學(xué)領(lǐng)域,將CT圖像與MRI圖像融合可以為醫(yī)學(xué)診斷、人體功能和結(jié)構(gòu)研究提供更充分的信息。在安防監(jiān)控、無人駕駛、機(jī)載對地目標(biāo)檢測等領(lǐng)域,將可見光圖像與紅外圖像融合,可以獲得更好的跟蹤效果。這方面已有一些系統(tǒng)性的研究。邱亞丹,陳雪榮等[13]建立多源人臉識(shí)別理論體系,在像素級(jí)、特征級(jí)、決策級(jí)分別提出不同的融合算法,初步建立可見光和長波紅外圖像的人臉識(shí)別理論體系。刁海南等[14-15]基于可見光和紅外的成像機(jī)理,研究了車船檢測中兩種圖像配準(zhǔn)和融合方法;劉剛在[16]采用多分辨率分解的方法對可見光圖像和紅外圖像進(jìn)行融合,用于構(gòu)建機(jī)載紅外與可見光傳感器圖像融合系統(tǒng)。

Jiayi Ma在[17]總結(jié)了多種可見光和紅外圖像融合方法及其應(yīng)用,指出圖像融合前進(jìn)行配準(zhǔn)的重要性,并將現(xiàn)行多種融合算法進(jìn)行測試和比較。江南大學(xué)李輝博士[18-21]課題組在融合規(guī)則方面做了很多相關(guān)研究,將圖像在不同層次、不同區(qū)域進(jìn)行融合,嘗試采用不同的權(quán)值策略。比如將低階矩陣引入融合,對全局和局部分別采用不同的融合規(guī)則;或者運(yùn)用先解構(gòu)再重構(gòu)的思路,將圖像分為基礎(chǔ)部分和細(xì)節(jié)部分,使用不同的特征提取方法,隨后進(jìn)行重構(gòu);設(shè)計(jì)編碼器中的融合層在編碼過程中融合源圖像特性,最后在解碼器端重構(gòu)。結(jié)果表明,這些融合規(guī)則和策略的靈活運(yùn)用在不同程度提高了融合效果。

但是,這些動(dòng)態(tài)圖像融合研究多是停留在信息融合層面的算法研究,并未結(jié)合面向復(fù)雜背景下的目標(biāo)跟蹤的需求設(shè)計(jì)融合準(zhǔn)則,無法解決目標(biāo)持續(xù)穩(wěn)定跟蹤的多源輸入數(shù)據(jù)的冗余性、可融合性及有效性。

基于多源圖像與異構(gòu)信息融合的跟蹤所面臨的背景復(fù)雜性、目標(biāo)運(yùn)動(dòng)狀態(tài)概率的非線性、非高斯、多模態(tài)特性等諸多理論問題尚未解決。同時(shí),有效地利用異構(gòu)信息融合或綜合決策結(jié)果解決復(fù)雜背景下低信噪比、目標(biāo)殘缺、目標(biāo)遮擋、目標(biāo)隱藏、目標(biāo)丟失、先驗(yàn)信息缺失等實(shí)際應(yīng)用問題還需要系統(tǒng)的研究。

2 研究現(xiàn)狀

近幾年來, 國內(nèi)外學(xué)者提出了“融合跟蹤”的概念,并針對復(fù)雜背景下紅外與可見光動(dòng)態(tài)圖像融合跟蹤中目標(biāo)特征建模、魯棒跟蹤、多目標(biāo)跟蹤、異構(gòu)傳感器融合等關(guān)鍵問題做了很多研究工作。表1總結(jié)了目標(biāo)融合跟蹤領(lǐng)域中用來衡量算法性能的測試集中具有代表性的場景。

Yang 等[22]提出了一種基于區(qū)域紅外和可見光動(dòng)態(tài)圖像融合方法,為使用基于特征的融合跟蹤方法奠定了初步理論基礎(chǔ)。 趙高鵬[23]將提取可見光圖像的顏色、紋理和紅外圖像的灰度值作為特征,建立核函數(shù)量化直方圖目標(biāo)模型,有選擇性地更新目標(biāo)跟蹤模板,較之單一的可見光或者紅外圖像跟蹤,具有明顯的穩(wěn)定性,該算法需要事先配準(zhǔn)可見光和紅外圖像,計(jì)算量較大。Lan 等[24-25]提出了一種聯(lián)合稀疏表示實(shí)現(xiàn)了魯棒特征融合,利用稀疏表示的優(yōu)勢去除融合跟蹤中的不可靠信息, 隨后在特征級(jí)融合跟蹤中,加入先驗(yàn)信息和文本信息,與圖像信息融合。

表1 RGBT210數(shù)據(jù)集

茍書鑫[26]提出一種基于模型互更新(CoUpdate)的多模圖像融合跟蹤算法,從可見光與紅外圖像中分別提取目標(biāo)及周圍像素點(diǎn)的特征,采用決策級(jí)融合方法得到似然圖像,在Co-Training框架下結(jié)合目標(biāo)跟蹤結(jié)果進(jìn)行模型的互更新,減小模型更新誤差累積問題,能準(zhǔn)確跟蹤目標(biāo),實(shí)現(xiàn)可見光圖像和紅外圖像優(yōu)勢融合互補(bǔ)。Bing Bai等[27]提出一種基于KCF相關(guān)濾波的自適應(yīng)算法,解決了尺度變化和模板漂移的問題。Sulan Zhai[28]將低階約束應(yīng)用到可見光和紅外的相關(guān)濾波器中,引入ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法對模型進(jìn)行優(yōu)化,實(shí)現(xiàn)在遮擋和天氣狀況不良時(shí)的魯棒跟蹤,但是該算法的效果在復(fù)雜的外部信息干擾時(shí)還有待優(yōu)化。

Moulay[29]融合紅外和可見光圖像用于行人檢測,采用HOG-SVM支持向量機(jī)(Support Vector Machine, SVM)分類器模型,實(shí)時(shí)性和準(zhǔn)確性較好,但是當(dāng)被檢測行人相遇的情況下,目標(biāo)互遮擋較為嚴(yán)重,使得檢測效果欠佳,這是多目標(biāo)跟蹤中普遍面臨的問題。

針對目標(biāo)遮擋、主動(dòng)隱身、短時(shí)丟失問題,國內(nèi)外學(xué)者正逐步嘗試基于圖像與非圖像的異構(gòu)信息融合的目標(biāo)跟蹤,進(jìn)一步提升目標(biāo)跟蹤的穩(wěn)定性。Danis Kolev[30]利用單個(gè)相機(jī)和慣性測量單元傳感器的信息,實(shí)現(xiàn)了視頻數(shù)據(jù)和傳感器數(shù)據(jù)的融合。Jing[31]提出了一種激光測距儀(LRF)和單目攝像機(jī)數(shù)據(jù)融合框架,并設(shè)計(jì)了一個(gè)接近理想的LRF與攝像機(jī)數(shù)據(jù)融合的粒子過濾器,通過圖像匹配解決了全遮擋問題。

綜上所述,在多源異構(gòu)圖像融合跟蹤方面,其中需要解決的關(guān)鍵問題在于異構(gòu)圖像信息的融合表征、特征提取和跟蹤器的魯棒性。

圖1 多源異構(gòu)信息融合跟蹤框架圖

3 多源異構(gòu)信息融合的表征

圖1總結(jié)了同構(gòu)信息融合和異構(gòu)信息融合所研究的科學(xué)問題和獲得的收益。在復(fù)雜場景中,運(yùn)動(dòng)目標(biāo)空間觀測模型的尺度、分辨率、異構(gòu)特征具有連續(xù)、快速、非線性變化的特點(diǎn),運(yùn)動(dòng)目標(biāo)狀態(tài)的非完備性、觀測環(huán)境的非完備性、運(yùn)動(dòng)目標(biāo)信息的非結(jié)構(gòu)化是影響融合跟蹤性能的條件因素。實(shí)際應(yīng)用場景中,目標(biāo)殘缺、遮擋、隱藏及丟失,先驗(yàn)信息缺失,背景信息缺失,電磁干擾等導(dǎo)致的信號(hào)低信噪比,致使運(yùn)動(dòng)目標(biāo)和傳感器平臺(tái)端的信號(hào)源不完備;同時(shí),已獲取信息的非結(jié)構(gòu)化需要建立系統(tǒng)的預(yù)處理規(guī)則,其中,目標(biāo)先驗(yàn)信息包括局部特征、目標(biāo)屬性、目標(biāo)類型、目標(biāo)方位、目標(biāo)材質(zhì)等,背景先驗(yàn)信息包括光照變化、背景紋理、相對運(yùn)動(dòng)、空間位置等,多傳感器采集平臺(tái)包括紅外圖像、可見光圖像、多光譜圖像、激光、雷達(dá)等不同數(shù)據(jù)格式。因此,將具有非結(jié)構(gòu)化屬性的運(yùn)動(dòng)目標(biāo)狀態(tài)與觀測環(huán)境的非完備性信息進(jìn)行表征(表征形式為文本、標(biāo)量、交互數(shù)據(jù)、低維或高維數(shù)據(jù)等),對多個(gè)來源的異構(gòu)信息進(jìn)行數(shù)學(xué)定義,構(gòu)建數(shù)學(xué)模型、物理模型及約束和假設(shè)條件,是實(shí)現(xiàn)魯棒融合跟蹤的前提條件。

針對多源異構(gòu)信息建立時(shí)空配準(zhǔn)規(guī)則,在時(shí)域或頻域的兩維圖像信息建立線性或非線性映射關(guān)系與匹配準(zhǔn)則,形成面向多源異構(gòu)圖像融合跟蹤的非結(jié)構(gòu)信息抽象表征、原理表征、圖式表征等不同表征方式,通過構(gòu)建歸一化模型及其特征矢量構(gòu)建,解決異構(gòu)圖像融合跟蹤的數(shù)據(jù)率不一致，數(shù)據(jù)屬性不一致以及測量維數(shù)不匹配問題,形成有效地異類傳感信息融合處理之前對具有非結(jié)構(gòu)化屬性的多源異構(gòu)信息的統(tǒng)一表征。

采用基于空間關(guān)系一致性配準(zhǔn)或尺度不變特征變換(SIFT)方法的配準(zhǔn)算法,解決多源圖像的平移、縮放及非平面旋轉(zhuǎn)(多視角)配準(zhǔn)問題;針對多源異構(gòu)信息,分析信息組的內(nèi)在特征和因素冗余,依據(jù)相關(guān)關(guān)系與特定規(guī)則,通過功能處理關(guān)聯(lián)、任務(wù)目標(biāo)關(guān)聯(lián)、融合過程關(guān)聯(lián)、目標(biāo)環(huán)境關(guān)聯(lián)及其信息綜合,建立基于最優(yōu)估計(jì)的多傳感器異構(gòu)數(shù)據(jù)間時(shí)空配準(zhǔn)方法的數(shù)學(xué)模型,降低因配準(zhǔn)誤差引起的主被動(dòng)異類傳感器的觀測頻率、觀測范圍、觀測時(shí)間與空間分辨率等不一致導(dǎo)致的融合不確定性。

4 基于深度學(xué)習(xí)的多源圖像融合跟蹤

深度學(xué)習(xí)是近些年來才出現(xiàn)的機(jī)器學(xué)習(xí)領(lǐng)域的新方向,目前很多網(wǎng)絡(luò)框架,如深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Networks,DNN)、卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks, CNN) 、深度置信網(wǎng)絡(luò)(Deep Belief Networks,DBN)和遞歸神經(jīng)網(wǎng)絡(luò)(Recursive Neural Network, RNN)在計(jì)算機(jī)視覺、語音識(shí)別、自然語言處理、音頻識(shí)別以及生物信息學(xué)等領(lǐng)域解決了實(shí)際應(yīng)用中的很多棘手問題。在目標(biāo)跟蹤領(lǐng)域中,自2013 年以來,基于深度學(xué)習(xí)的一系列跟蹤算法大量出現(xiàn),凸顯出其在魯棒性跟蹤方面的優(yōu)勢。

在多源圖像融合跟蹤領(lǐng)域,建立目標(biāo)特征模型、設(shè)計(jì)跟蹤模板和決策機(jī)制、減少多源異構(gòu)信息之間的差異性都是研究者們關(guān)注的問題。Christian Bailer[32]對基于幀的目標(biāo)動(dòng)態(tài)軌跡進(jìn)行優(yōu)化,提高軌跡連續(xù)性和平滑度,算法更具通用性。Tewodros A[33]設(shè)計(jì)了兩個(gè)貝葉斯跟蹤器融合的跟蹤算法,在線評估每個(gè)跟蹤器效果并實(shí)時(shí)更新,使融合保持在相對優(yōu)化的水平。

Fayez Lahoud[34]提出了一種實(shí)時(shí)圖像融合方法,將圖像分解為強(qiáng)度不同的基礎(chǔ)層和細(xì)節(jié)層,使用視覺顯著性來融合底層和深層特征。Lan[25]針對可見光模糊的問題,提出的跟蹤算法解決在模態(tài)一致性約束條件下的模態(tài)差異性問題,為異構(gòu)圖像的協(xié)同表示和可分辨性生成識(shí)別特征模板。

在紅外和可見光的融合跟蹤問題上,徐寧文[36]使用卷積神經(jīng)網(wǎng)絡(luò)融合了可見光和紅外的特征信息,不需要大量數(shù)據(jù)進(jìn)行訓(xùn)練,將紅外圖像作為第4通道與可見光進(jìn)行融合,目標(biāo)跟蹤幀率大約為 5 幀/秒。Zhan[36]首次將全卷積孿生神經(jīng)網(wǎng)絡(luò)用于紅外和可見光圖像特征級(jí)融合,分別對模板框和搜索框進(jìn)行特征融合并進(jìn)行互相關(guān)運(yùn)算,該算法在一定程度上兼顧了準(zhǔn)確性和實(shí)時(shí)性。唐聰[37]提出了一種基于深度學(xué)習(xí)的紅外與可見光決策級(jí)融合跟蹤方法。通過建立參數(shù)傳遞模型,以可見光深度學(xué)習(xí)檢測模型為基礎(chǔ),微調(diào)參數(shù),得到紅外檢測模型。并且進(jìn)行單波段和雙波段融合跟蹤對比試驗(yàn),在跟蹤過程中,選取置信度較高的波段更新跟蹤模板,融合后的跟蹤精度和成功率較之單波段跟蹤顯著提高,跟蹤速度2～3幀/秒,實(shí)時(shí)性有待提高。

5 結(jié)束語

在多源異構(gòu)信息融合跟蹤領(lǐng)域,仍然存在許多尚未解決的問題,譬如非結(jié)構(gòu)化信息的定義與表征,建立目標(biāo)特征通用數(shù)學(xué)模型,動(dòng)態(tài)目標(biāo)多尺度變化,多目標(biāo)跟蹤中目標(biāo)之間相互遮擋,長時(shí)跟蹤魯棒性等?？偟脕碚f,需要構(gòu)建包括場景定義、特征定義、目標(biāo)特征建模、跟蹤性能評價(jià)在內(nèi)的完整閉合的融合跟蹤理論框架。

在未來的多源異構(gòu)信息融合領(lǐng)域,可以融合隨機(jī)噪聲,以文本和位置做先驗(yàn)信息,構(gòu)建RGB-D目標(biāo)特征模型等方法強(qiáng)化目標(biāo)特征;此外視覺顯著性學(xué)習(xí)、強(qiáng)化學(xué)習(xí)以及注意力機(jī)制等在目標(biāo)魯棒性跟蹤方面是新的研究熱點(diǎn);此外,目前針對多源異構(gòu)信息融合跟蹤的測試集非常少,已經(jīng)有紅外和可見光的測試集,但是更多形式的視頻數(shù)據(jù)集還有待建立。

本文總結(jié)了復(fù)雜場景下多源異構(gòu)信息融合跟蹤中關(guān)鍵問題的研究現(xiàn)狀,分析了各種算法的優(yōu)缺點(diǎn)及解決的問題以及未來趨勢,希望為本文的讀者理解多源異構(gòu)信息融合跟蹤提供有用信息。