紅外和可見光圖像互補(bǔ)融合的運(yùn)動(dòng)目標(biāo)檢測(cè)方法

葉 華，朱明旱，王日興

?

紅外和可見光圖像互補(bǔ)融合的運(yùn)動(dòng)目標(biāo)檢測(cè)方法

葉 華1,2，朱明旱1，王日興1

（1. 湖南文理學(xué)院電氣與信息工程學(xué)院，湖南 常德 415000；2. 中南大學(xué)信息科學(xué)與工程學(xué)院，湖南 長(zhǎng)沙 410083）

可見光和紅外圖像具有互補(bǔ)特性，融合可產(chǎn)生更好的召回率，但現(xiàn)有方法融合后總會(huì)導(dǎo)致精度下降。這項(xiàng)研究提出了一種在特征級(jí)進(jìn)行融合檢測(cè)行人目標(biāo)的方法：①提取前景目標(biāo)特征的極大穩(wěn)定極值區(qū)域Maximally Stable Extremal Regions（MSERs），計(jì)算紅外圖像MSERs稠密度和相似度特性，并根據(jù)此特性分類MSERs。②搜索匹配可見光圖像中的相似MSERs區(qū)域，定位前景目標(biāo)。③融合提取紅外與可見光圖像中的相似匹配MSERs區(qū)域，完成運(yùn)動(dòng)目標(biāo)輪廓提取。該方法融合可見光圖像信息，能有效濾除背景物，輔助定位在紅外圖像中檢測(cè)的前景目標(biāo)，并補(bǔ)充僅利用紅外圖像提取前景目標(biāo)的缺失部分。已使用公共數(shù)據(jù)庫(kù)對(duì)該方法進(jìn)行測(cè)試，并與早期融合方法進(jìn)行比較，能獲得更好的召回率，同時(shí)融合后準(zhǔn)確率不會(huì)下降。不需要對(duì)背景建模，因此比以往算法計(jì)算上更高效，更簡(jiǎn)單，單幀檢測(cè)的效果也能達(dá)到實(shí)時(shí)處理要求。

極大穩(wěn)定極值區(qū)域；互補(bǔ)融合；輔助定位；行人檢測(cè)

0 引言

產(chǎn)生彩色或灰度圖像的可見光照相機(jī)在光照條件較差時(shí)需要外部照明，而紅外線照相機(jī)全天可以產(chǎn)生紅外光譜圖像，但它們?nèi)狈|(zhì)地和顏色等細(xì)節(jié)信息。由于可見光、紅外攝像機(jī)具有互補(bǔ)性，一起使用可以提高對(duì)象檢測(cè)的性能。紅外圖像中目標(biāo)的可見性的關(guān)鍵因素為目標(biāo)和環(huán)境之間的溫度差別，即該行人或目標(biāo)會(huì)比背景[1-8]更亮。然而，這種現(xiàn)象并不會(huì)出現(xiàn)在所有情況中。如一些熱點(diǎn)出現(xiàn)在背景中，在紅外圖像中則無(wú)法檢測(cè)到目標(biāo)，這可能會(huì)增加錯(cuò)誤警報(bào)，使目標(biāo)的檢測(cè)劣化。視覺圖像也有具體問題，如視覺圖像中光照變化、陰影以及夜間能見度差引起的對(duì)象檢測(cè)性能差的問題。紅外圖像和可見光圖像配準(zhǔn)融合，可使圖像信息更加明顯和易于理解[8-11]。因此，如何融合這些域減少以上的影響是我們研究的主要問題。

紅外圖像的前景檢測(cè)精度很高[4-5]，背景減除結(jié)合多種融合策略檢測(cè)提取前景目標(biāo)是當(dāng)前在紅外圖像中檢測(cè)運(yùn)動(dòng)目標(biāo)的主要方法[1-5]，文獻(xiàn)[3]利用無(wú)運(yùn)動(dòng)對(duì)象的初始幀的集合產(chǎn)生純背景圖像，并在此背景中檢測(cè)運(yùn)動(dòng)前景目標(biāo)，檢測(cè)精度高，但不適合實(shí)際背景變化大的應(yīng)用。通常視覺圖像中背景信息的細(xì)節(jié)表達(dá)方面表現(xiàn)優(yōu)良，但對(duì)目標(biāo)信息的表達(dá)不夠突出，運(yùn)動(dòng)前景檢測(cè)的性能較差，精度很低。融合兩個(gè)域圖像的時(shí)候，由于結(jié)合了兩個(gè)域的互補(bǔ)信息，召回率可大幅度提高，但精度（檢測(cè)準(zhǔn)確率）會(huì)下降，因?yàn)槿诤蠄D像對(duì)比度較低。在文獻(xiàn)[1]中，同時(shí)在兩個(gè)域執(zhí)行背景建模和前景預(yù)測(cè)，融合目標(biāo)輪廓并迭代更新。在只使用紅外圖像時(shí)精確度和召回率較高，分別為0.939和0.645，僅使用可見光圖像則分別是0.498和0.233。當(dāng)融合這些領(lǐng)域時(shí)，相比只使用紅外圖像時(shí)精度跌至0.916，然而，召回率提高到0.722。這是由于背景雜波的干擾，導(dǎo)致融合圖像對(duì)比度降低。很顯然，融合的優(yōu)點(diǎn)是增加了召回率，如果融合方法適當(dāng)，這種增加相當(dāng)可觀。以上方法不能依靠單幀檢測(cè)獲得處理結(jié)果，而是通過(guò)多幀的處理或者在多模態(tài)圖像序列中積累信息，需要處理的數(shù)據(jù)量大，不適于實(shí)時(shí)處理。

在本研究中，利用運(yùn)動(dòng)目標(biāo)區(qū)域連通特性，有效地結(jié)合視覺和紅外圖像的互補(bǔ)灰度信息，充分利用可見光圖像補(bǔ)充前景目標(biāo)細(xì)節(jié)輪廓的功能，并輔助定位運(yùn)動(dòng)目標(biāo)的檢測(cè)，融合后召回率顯著增加，同時(shí)精度不會(huì)下降。不需要對(duì)背景建模，單幀檢測(cè)的效果也能達(dá)到實(shí)時(shí)處理要求。

1 極大穩(wěn)定極值區(qū)域MSERs算法

Matas 等人[6]提出MSERs區(qū)域特征提取算法，所有像素的強(qiáng)度均小于或大于區(qū)域周圍的像素值的區(qū)域?yàn)闃O大穩(wěn)定極值區(qū)域。MSER算法使用BINSORT算法對(duì)像素灰度進(jìn)行快速排序。從0～255，逐漸變化閾值大小，將像素強(qiáng)度小于閾值的像素點(diǎn)忽略不計(jì)，像素強(qiáng)度大于或者等于閾值的像素點(diǎn)記錄下來(lái)，其中相鄰接的點(diǎn)形成極值區(qū)域。使用Union-Find算法搜索極值區(qū)域，記錄相連區(qū)域的列表和面積。在連續(xù)增加或者減小閾值過(guò)程中，經(jīng)過(guò)好幾個(gè)閾值變化而區(qū)域大小沒有變化的極值區(qū)域就是最穩(wěn)定極值區(qū)域MSERs。其中，BINSORT算法的復(fù)雜度為()，Union-Find算法的計(jì)算復(fù)雜度為(lg(lg()))，為灰度值[8]。王永明以重復(fù)性和匹配分?jǐn)?shù)兩個(gè)指標(biāo)對(duì)區(qū)域檢測(cè)算子作了評(píng)估實(shí)驗(yàn)，實(shí)驗(yàn)證明，在區(qū)域檢測(cè)算子中，MSER檢測(cè)器最穩(wěn)定，效果最理想[7]，可以滿足一些實(shí)時(shí)應(yīng)用需求。

2 基于互補(bǔ)融合的行人檢測(cè)系統(tǒng)

基于互補(bǔ)融合的行人檢測(cè)系統(tǒng)框架構(gòu)成如圖1。

圖1 算法流程

Fig.1 Procedure of proposed method

步驟如下：

輸入：已配準(zhǔn)的紅外圖像和可見光圖像。

輸出：融合檢測(cè)的目標(biāo)輪廓。

步驟1：在紅外圖像和可見光圖像中檢測(cè)極大穩(wěn)定區(qū)域MSERs，并橢圓擬合檢測(cè)到的MSERs區(qū)域，橢圓的中心c為MSERs的重心，反映MSERs的位置，橢圓的長(zhǎng)軸方向代表MSERs區(qū)域的方向，結(jié)合長(zhǎng)半軸和短半軸一起表示MSERs區(qū)域的形狀。

步驟2：定義MSERs區(qū)域稠密度函數(shù)和前景目標(biāo)所在的MSERs區(qū)域相似度函數(shù)。計(jì)算MSERs屬性依據(jù)以上兩個(gè)度量指標(biāo)將MSERs分類。

步驟3：在紅外與可見光圖像間搜索匹配MSERs相似區(qū)域，可濾除背景物，篩出前景目標(biāo)，補(bǔ)充在紅外圖像中未檢測(cè)完整的前景目標(biāo)區(qū)域；紅外圖像內(nèi)的相似區(qū)域檢測(cè)，可檢測(cè)出在紅外與可見光圖像間搜索過(guò)程中產(chǎn)生的誤濾除前景目標(biāo)。

步驟4：可見光圖像與紅外圖像匹配MSERs區(qū)域融合，融合規(guī)則基于兩圖像的灰度值。

2.1 檢測(cè)擬合極大穩(wěn)定區(qū)域MSERs

對(duì)MSERs區(qū)域擬合以便于描述區(qū)域特性。采用區(qū)域仿射不變橢圓擬合的方法計(jì)算MSER區(qū)域，橢圓能有效地反映區(qū)域的位置、尺寸和方向。橢圓的中心c為MSERs的重心，反映MSERs的位置，橢圓的兩個(gè)軸為MSERs通過(guò)重心在長(zhǎng)軸短軸方向分別達(dá)極值的二階中心矩。橢圓的長(zhǎng)軸方向代表MSERs區(qū)域的方向，結(jié)合長(zhǎng)半軸和短半軸一起表示MSERs區(qū)域的形狀。

2.2 計(jì)算擬合MSERs區(qū)域?qū)傩圆⒎诸?/h3>

按像素亮度可劃分MSERs為MSERs＋和MSERs－[6-7]。因此在紅外和可見光圖像中，MSERs區(qū)域首先劃分為兩大類。在紅外圖像中，前景目標(biāo)往往是較亮的區(qū)域。如果在某一個(gè)區(qū)域范圍內(nèi)檢測(cè)到多個(gè)MSERs＋或者M(jìn)SERs－區(qū)域，那這個(gè)區(qū)域像素強(qiáng)度較周圍區(qū)域區(qū)分度高?？啥x前景目標(biāo)所在的MSERs區(qū)域稠密度函數(shù)，滿足稠密度條件的MSERs可作為我們的候選目標(biāo)區(qū)域。需要檢測(cè)的前景目標(biāo)是現(xiàn)實(shí)世界的一類物體，有自身固有的特性，因此可定義前景目標(biāo)所在的MSERs區(qū)域相似度函數(shù)。依據(jù)稠密度和相似度兩個(gè)度量指標(biāo)將MSERs＋或者M(jìn)SERs－再分類。

稠密度Dense：以MSERs區(qū)域R內(nèi)包含質(zhì)心c的個(gè)數(shù)來(lái)表征，定義如下：

相似度Similarity：以MSERs區(qū)域a、b擬合的橢圓形狀相似度來(lái)表征，應(yīng)用韋氏距離計(jì)算相似度[9]。k表示兩區(qū)域a、b間參數(shù)的比率（參數(shù)可設(shè)定為橢圓兩個(gè)半軸長(zhǎng)、和扁率），定義如下：k＝max{|a－b|/(＋b),|a－b|/(＋a)},＝1, 2, 3，為避免分母為0，設(shè)置為1。

d＝gmoid (k)＝(1－exp(－k))/(1＋exp(－k)),＝1, 2, 3，則d∈[0, 1)。

Similarity值越接近1，兩區(qū)域越相似。

設(shè)定0為稠密度Dense閾值，相似度Similarity閾值為0，建立分類MSERs的稠密區(qū)域集合，＝{1,2,…,…,}，表示包括類MSERs區(qū)域，Dense()≥0，Similarity()≥0。其中，＝{1,2,…,R}表示第類MSERs稠密區(qū)域的集合，包含個(gè)MSERs區(qū)域，記錄MSERs區(qū)域質(zhì)心位置、形狀參數(shù)。

2.3 相似MSERs搜索

2.3.1 紅外與可見光圖像間區(qū)域匹配

2.3.2 紅外與可見光圖像內(nèi)的相似區(qū)域檢測(cè)

2）紅外與可見光圖像間不存在匹配MSERs區(qū)域（可見光圖像中前景目標(biāo)淹沒于背景中），則在紅外圖像IR內(nèi)檢測(cè)所有MSERs類別IR，記錄稠密度最高M(jìn)axDense（IR）且相似度最大MaxSimilarity（IR）的一類MSERs區(qū)域IR，標(biāo)記此類MSERs集合的所有區(qū)域IR。紅外圖像內(nèi)的相似區(qū)域檢測(cè)可補(bǔ)充在兩圖間匹配區(qū)域過(guò)程中誤剔除的前景目標(biāo)區(qū)域。

2.4 融合提取目標(biāo)

式中：g表示區(qū)域中像素點(diǎn)的個(gè)數(shù)，(,)是區(qū)域內(nèi)像素點(diǎn)對(duì)應(yīng)的灰度值。最終融合匹配MSERs區(qū)域后的目標(biāo)區(qū)域F表示如下：

式中：IR(,)表示在紅外圖像中匹配的MSERs區(qū)域，V(,)表示在可見光圖像中匹配的MSERs區(qū)域。兩圖間無(wú)匹配MSERs區(qū)域時(shí)，或者IR(,)屬于一類MSERs區(qū)域IR，則直接獲取紅外圖像中標(biāo)記的MSERs區(qū)域IR(,)輸出。

3 實(shí)驗(yàn)結(jié)果

我們提出的方法框架是，首先，分別提取兩個(gè)域的MSERs。在來(lái)自兩個(gè)域的顯著構(gòu)造中提取特征。然后融合兩個(gè)域的映射信息自適應(yīng)定位前景區(qū)域，將背景MSERs區(qū)域從提取的MSERs中清除。完成了前景定位之后，它被用來(lái)提取來(lái)自兩個(gè)域的前景輪廓。當(dāng)光環(huán)效應(yīng)越明顯時(shí)，所提出的方法對(duì)輪廓提取更好?？闪⒓传@得輪廓信息，需要執(zhí)行任何進(jìn)一步的后處理，例如清除錯(cuò)誤的輪廓或?qū)G失輪廓部分補(bǔ)充完整。

如圖2，第一行左圖為紅外圖像的MSERs檢測(cè)圖，第一行右圖為可見光圖像的MSERs檢測(cè)圖，第二行左圖為紅外圖像的稠密MSERs檢測(cè)圖，第二行右圖為可見光圖像的匹配相似MSERs檢測(cè)圖。

第一行左圖紅外圖像中滿足稠密度和相似度的密集MSERs區(qū)域?yàn)?個(gè)，在第二行左圖中用文字標(biāo)出7個(gè)區(qū)域?yàn)?，2，3，4，5，6，7。經(jīng)過(guò)2.3節(jié)步驟，在紅外和可見光圖像中搜索相似MSERs的操作中，在可見光圖像中檢測(cè)這7個(gè)MSERs區(qū)域的匹配區(qū)域，得到3個(gè)MSERs區(qū)域，標(biāo)注為～4，～6，～7，其分別與4，6，7匹配，因此4，6，7作為檢測(cè)到的匹配相似區(qū)域保留，而1，2，3，5被濾除，其中5是需要的前景目標(biāo)，但遭到誤濾除。接著執(zhí)行2.4節(jié)的步驟，在紅外圖像內(nèi)檢測(cè)相似區(qū)域的操作后，5作為4，6，7的相似區(qū)域可以被準(zhǔn)確檢測(cè)出來(lái)。至此，所有的行人目標(biāo)被準(zhǔn)確檢測(cè)得出。

圖3中(a)，(b)，(c)，(d)中第一列為文獻(xiàn)[1]創(chuàng)建的數(shù)據(jù)集圖像，其中第一行為可見光圖像，第二行為紅外圖像。

第二列為本文方法提取的行人輪廓，其中第一行為單獨(dú)使用可見光圖像的行人輪廓，第二行為融合的行人輪廓。

第三列為文獻(xiàn)[1]提取的行人輪廓，其中第一行為單獨(dú)使用可見光圖像的行人輪廓，第二行為融合的行人輪廓。

圖2 融合檢測(cè)的過(guò)程

Fig.2 Comparision detecting procedure

圖3 在文獻(xiàn)[1]創(chuàng)建的數(shù)據(jù)集中融合檢測(cè)的行人輪廓結(jié)果圖

圖3給出了應(yīng)用我們的方法與文獻(xiàn)[1]方法的目標(biāo)檢測(cè)結(jié)果比較圖。圖3(a)為在文獻(xiàn)[1]創(chuàng)建的數(shù)據(jù)第2段視頻的第973幀圖像，圖3(b)為在文獻(xiàn)[1]創(chuàng)建的數(shù)據(jù)第4段視頻的第1834幀圖像，圖3(c)為在文獻(xiàn)[1]創(chuàng)建的數(shù)據(jù)第6段視頻的第1857幀圖像，圖3(d)為OSU第3段視頻的第1326幀圖像。我們的方法得出的行人輪廓與文獻(xiàn)[1]的比較，輪廓較完整準(zhǔn)確，少噪聲污染。我們檢測(cè)提取的結(jié)果判別性強(qiáng)，如果被用于進(jìn)一步的研究比如行人行為的分類和識(shí)別，將保障這些研究性能的提升。

我們的方法被應(yīng)用到OSU數(shù)據(jù)庫(kù)中，其結(jié)果在表1中列出，并與Ulusoy[1]和Davis[2]在相同的數(shù)據(jù)集給出的結(jié)果相比。表1給出對(duì)應(yīng)于我們所提出的方法的準(zhǔn)確率和召回率，和文獻(xiàn)[1]、文獻(xiàn)[2]，以及文獻(xiàn)[2]中只有紅外域被使用的方法的準(zhǔn)確率和召回率。在所有OSU數(shù)據(jù)庫(kù)的視頻序列檢測(cè)結(jié)果中，我們的方法的召回率數(shù)值較高，精度也較高。其他文獻(xiàn)的融合方法增加了召回率，但精度總是小于只使用紅外線數(shù)據(jù)時(shí)，這是原有融合研究算法的預(yù)期結(jié)果。我們創(chuàng)建的方法在提高召回率的同時(shí)，精度基本沒有降低，這意味著我們檢測(cè)到的像素更多的是實(shí)際物體的像素。

4 算法復(fù)雜度分析

可見光與紅外圖像尺寸一致，均設(shè)為一個(gè)×維矩陣，其中與分別表示圖像的高和寬，算法中第一步檢測(cè)擬合極大穩(wěn)定區(qū)域MSERs執(zhí)行像素點(diǎn)排序和極值區(qū)域的提取，復(fù)雜度為()和(lg(lg()))。第二步計(jì)算擬合MSERs區(qū)域?qū)傩圆⒎诸?，?zhí)行稠密度Dense和相似度Similarity計(jì)算，復(fù)雜度不超過(guò)第一步的復(fù)雜度。第三和第四步搜索相似MSERs和融合提取目標(biāo)，執(zhí)行少于次的比較就可以計(jì)算出，復(fù)雜度可以忽略。因此，本文算法的時(shí)間復(fù)雜度為4×()。文獻(xiàn)[1]需執(zhí)行背景建模與減除，算法復(fù)雜度約為“2×()＋6×()＋()”，其中、為圖像尺寸，、為濾波處理核的大小。由于本文算法不需要對(duì)背景建模，可顯著提高計(jì)算效率。

5 結(jié)束語(yǔ)

針對(duì)同一場(chǎng)景紅外與可見光圖像間前景目標(biāo)的融合特征難以完全提取和正確提取的問題，提出了基于紅外與可見光圖像互補(bǔ)信息的融合特征提取以及檢測(cè)行人的方法。該方法主要包括4個(gè)步驟：①提取紅外與可見光圖像中的極大穩(wěn)定區(qū)域（MSERs）；②對(duì)特征區(qū)域進(jìn)行屬性計(jì)算并分類MSERs；③匹配相似極大穩(wěn)定區(qū)域（MSERs）；④定位前景目標(biāo)區(qū)域，輸出檢測(cè)目標(biāo)。

圖2與圖3實(shí)例表明，當(dāng)一個(gè)物體的溫度是類似的周圍區(qū)域中，從紅外圖像中檢測(cè)某類對(duì)象變得越來(lái)越困難。在這些情況下，如果對(duì)象和背景的顏色是不相似的，則可見光圖像是可用的，可見光譜圖像可以提供許多線索，用來(lái)輔助定位對(duì)象以及完成缺失對(duì)象的部分。如圖2第二行左圖，在紅外圖像中6不包含行人的腰腹部，圖2第二行右圖，在可見光圖像中6包含行人的完整輪廓，因?yàn)樾腥讼袼嘏c背景道路像素相比明顯不同。

表1 在OSU數(shù)據(jù)庫(kù)獲得的召回率和精度

本文提出的方法只應(yīng)用于人體檢測(cè)，在此僅提供行人數(shù)據(jù)集。由于這種方法未設(shè)定任何特定的參數(shù)以檢測(cè)人體，因此，它可以應(yīng)用到檢測(cè)其他的對(duì)象。我們的方法不需要嘗試許多預(yù)處理例如背景估計(jì)與建模，單幀圖像即可檢測(cè)運(yùn)動(dòng)目標(biāo)，因而它在計(jì)算上更高效。在未來(lái)，該方法可被應(yīng)用于檢測(cè)和識(shí)別各類事物，比如進(jìn)行人體行為識(shí)別。

[1] Ulusoy I. New method for the fusion of complementary information from infrared and visual images for object detection[J], 2011, 5(1): 36-48.

[2] Davis J, Sharma V. Background-subtraction using contour-based fusion of infrared and visible imagery[J], 2007, 106(2-3): 162-182.

[3] Aparna Akula. Adaptive contour-based statistical background subtraction method for moving target detection in infrared video sequences[J], 2014, 63: 103-109.

[4] 陳錢. 紅外圖像處理技術(shù)現(xiàn)狀及發(fā)展趨勢(shì)[J]. 紅外技術(shù), 2013, 35(6): 311-318.

CHEN Qian. The Status and development trend of infrared image processing technology [J]., 2013, 35(6): 311-318.

[5] 王宇慶, 王索建. 紅外與可見光融合圖像的質(zhì)量評(píng)價(jià)[J]. 中國(guó)光學(xué), 2014, 7(3): 396-401.

WANG Yu-qing, WANG Suo-jian. Quality assessment method of IR and visible fusion image[J]., 2014, 7(3): 396-401.

[6] 楊揚(yáng), 戴明, 周籮魚. 基于NSUDCT的紅外與可見光圖像融合[J]. 紅外與激光工程, 2014, 43(3): 961-966.

Yang Yang, Dai Ming, Zhou Luoyu. Fusion of infrared and visible images based on NSUDCT[J]., 2014, 43(3): 961-966.

[7] 王永明, 王貴錦. 圖像局部不變性特征與描述[M]. 北京: 國(guó)防工業(yè)出版社, 2010: 173-178.

Wang Yongming, Wang Gui Jing.[M]. Beijing: National Defend Industy Press, 2010: 173-178.

[8] 廉藺, 李國(guó)輝, 王海濤, 等. 基于MSER的紅外與可見光圖像關(guān)聯(lián)特征提取算法[J]. 電子與信息學(xué)報(bào),2011, 33(7): 1625-1631.

Lian Lin, Li Guohui, Wang Haitao, et al. Corresponding feature extraction algorithm between infrared and visible images using MSER[J]., 2011, 33(7): 1625-1631.

[9] 郭永彩, 譚勇, 高潮. 基于水平集的熱紅外運(yùn)動(dòng)人體目標(biāo)分割算法[J].紅外與毫米波學(xué)報(bào), 2014, 33(1): 106-116.

GUO Yongcai, TAN Yong, Gao Cha. Level set based segmentation of moving humans in thermal infrared sequences[J]., 2014, 33(1):106-116.

[10] Chen Jie, Zhao Guoying, Mikko Salo, et al. Automatic dynamic texture segmentation using local descriptors and optical flow[J]., 2013, 22(1): 326-339.

[11] Suman Tewary. Hybrid multi-resolution detection of moving targets in infrared imagery[J], 2014, 63: 173-183.

Fusion of Complementary Information from Infrared and Visual Images for Moving Object Detection

YE Hua1,2，ZHU Ming-han1，WANG Ri-xing1

(1.,415000,；2.,,418300,)

Visual and infrared cameras have complementary characteristics, and the detection performance can be improved by fusing visible and infrared images. The fusion of visible and infrared images can improve recall rate, which means more foreground pixels are correctly detected. But the existing fusion methods always lead accuracy dropped. A method extracting information about the two complementary fused domains to detect pedestrians is proposed: ①Extract foreground features firstly: extract Maximally Stable Extremal Regions（MSERs） from visible and infrared images, calculate dense degree and similarity characteristics of MSERs in the infrared image, and then classify MSERs based on these features. ②Locate foreground targets: search all categories of MSERs in the infrared images to match visible images, and extract similar matched MSERs areas in which include pedestrian contour. ③Merge and output pedestrian contours extracted from similar match MSERs areas. The fusion of infrared and visible information can effectively filter out the background object, locate the foreground objects and replenish the missing part of the foreground object extracted only in infrared images. The method proposed has been tested in a common database and compared with the early fusion methods, which can improve the recall rate, does not drop the precision rate after the fusion, and no need for background modeling. It also can compute more efficiently and easier than previous calculations.

maximally stable extremal regions（MSERs），fuse complementary information，assisted positioning，pedestrian detection

TP29

A

1001-8891(2015)08-0648-07

2014-10-10；

2015-01-18 .

葉華（1977-），女（漢），湖南省常德市人，講師，博士研究生，主要研究方向?yàn)榛谝曈X認(rèn)知的人體行為識(shí)別、紅外圖像中人體目標(biāo)分割。E-mail：yehuawuhan@163.com。

國(guó)家自然科學(xué)基金，編號(hào)：11347132。