機場航站樓熱成像視頻下融入運動信息的顯著人體檢測方法

劉 暢，於躍成

（江蘇科技大學計算機學院，江蘇鎮(zhèn)江 212100）

0 引言

隨著民航事業(yè)的蓬勃發(fā)展，機場的安全性越來越受到人們關(guān)注。傳統(tǒng)采用員工在航站樓中巡檢的方式費時費力，員工的責任心成為影響巡檢效果的關(guān)鍵因素。若員工在巡檢過程中出現(xiàn)分心，則極易造成航站樓的安全隱患。因此，使用巡檢機器人代替人工完成航站樓巡檢工作成為必然的發(fā)展趨勢。為適應(yīng)夜間機場航站樓弱光甚至無光的環(huán)境，選用熱成像攝像頭作為巡檢機器人的監(jiān)控攝像頭成為最佳選擇。

熱成像攝像頭主要通過環(huán)境中的紅外輻射形成單通道圖像，所以由熱成像攝像頭提供的熱成像視頻在弱光甚至無光環(huán)境下可具有較好效果。人體自身體溫使得人體圖像在熱成像視頻中更加顯著，也使得針對人體的顯著檢測算法能夠在熱成像視頻中取得良好效果。近年來，研究者們進行了大量顯著人體檢測算法實驗，如文獻［1］利用區(qū)域和邊緣對比度生成的聯(lián)合對比度突出圖像的顯著性區(qū)域，也有將視覺注意力和信息論運用于顯著人體檢測的方法［2］。隨著深度神經(jīng)網(wǎng)絡(luò)的廣泛運用，大量基于深度神經(jīng)網(wǎng)絡(luò)的顯著性檢測算法被提出，比如在U-Net 網(wǎng)絡(luò)［3］基礎(chǔ)上利用混合損失指導(dǎo)三層次神經(jīng)網(wǎng)絡(luò)的BASNet 模型［4］，在U-Net 網(wǎng)絡(luò)中引入多個LSTM 注意力神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)模型［5］等。

諸多實驗已證明顯著人體檢測算法在熱成像場景下的有效性，但是大多數(shù)顯著人體檢測算法都是將連續(xù)幀的視頻數(shù)據(jù)拆成一幀一幀的靜態(tài)圖像進行檢測，這種檢測算法在面對機場航站樓的真實復(fù)雜場景時依舊面臨巨大的挑戰(zhàn)，特別是人體在熱成像圖像中呈現(xiàn)的復(fù)雜情況，如人體部分被遮擋、圖像邊緣的人體目標不完整等。視頻數(shù)據(jù)與靜態(tài)圖像數(shù)據(jù)最大的不同之處是視頻可通過連續(xù)幀反映出物體運動信息，而由于人體運動產(chǎn)生連續(xù)幀之間的差異，使得人體圖像更加突出與顯著，因此在單幀的顯著性檢測效果不佳時，在顯著性檢測方法中融入動態(tài)信息以便更好地利用連續(xù)幀視頻數(shù)據(jù)成為一種重要的手段。通常通過檢測連續(xù)幀中運動目標的方式提取運動信息，但是熱成像視頻存在缺少紋理特征、視覺效果模糊、分辨率和信噪比低等特點，為檢測連續(xù)幀中的運動目標帶來了巨大挑戰(zhàn)。

基于熱成像視頻的以上特點，在進行運動目標檢測時無需考慮光照變化帶來的影響，但也使得運動目標檢測中較為常用的光流法［6］無法適用于熱成像視頻。常用的幀差法實現(xiàn)起來十分簡單，但是該方法過于敏感，檢測結(jié)果中往往存在大量非可疑目標的背景區(qū)域［7］。背景差法是通過背景模型將運動目標作為前景從背景區(qū)域中提取出來，使用高斯混合模型［8］、RPCA 模型［9］和改進的ViBe 算法模型［10］等背景模型的背景差法也是目前最流行的運動目標檢測方法，其兼顧了魯棒性和效率，并且將背景模型與幀差法相結(jié)合，有助于提高目標檢測精度［11］，但是背景差法也面臨著如相機移動、背景動態(tài)變化等諸多挑戰(zhàn)［12］。為了保證巡檢效率，在實際的機場航站樓巡檢機器人場景中，要求巡檢機器人一直保持動態(tài)移動。攝像機的動態(tài)移動使得運動目標檢測更具挑戰(zhàn)性，雖然背景差法可通過背景模型的更新來適應(yīng)背景的輕微變化，但僅使用背景差法檢測動態(tài)熱成像場景中的運動目標無法取得良好效果。

基于上述觀察，本文提出一種動態(tài)熱成像攝像頭下的運動目標檢測方法（DTMD），并將檢測結(jié)果作為一種運動信息通過融合模塊融入到單幀顯著性檢測方法中，從而充分利用連續(xù)幀的視頻數(shù)據(jù)，使融合后的顯著人體檢測方法在面對人體部分被遮擋、人體在出入圖像邊緣等機場實際復(fù)雜情況時依然能取得良好效果。

1 相關(guān)工作

1.1 動態(tài)場景中的運動檢測

在攝像機保持移動的情況下，隨著攝像機的移動，整個視頻畫面都在發(fā)生運動。在該情況下，區(qū)分靜止物體與運動物體變得十分困難。背景差法雖然可通過更新背景模型的方式使背景模型適應(yīng)因攝像機移動帶來的連續(xù)幀背景變化，但是效果十分不理想。因此，如何通過對背景差法的改良應(yīng)對動態(tài)攝像機一直都是研究熱點。

文獻［13］提出基于特征的方法構(gòu)建全景圖，將攝像頭拍攝到的圖像看成一整個平面來消除背景運動。但這種構(gòu)建全景圖的方式只對平移或平轉(zhuǎn)運動的攝像機有一定作用，在實際的機場場景中，巡檢機器人多數(shù)的運動是前后移動，因此該方法無法應(yīng)用于機場巡檢機器人場景中。部分研究者會通過運動估計消除動態(tài)攝像機的影響，如構(gòu)建兩個背景模型以完成不同任務(wù)，一個用于估計攝像機運動，一個用于檢測前景［14］。使用運動估計仿射模型，通過6 個參數(shù)的估計可快速進行運動估計［15］。還有一些研究者則是通過特征點軌跡來分離前景和背景，通過分析特征點軌跡，對其進行標記，并將標記信息傳播至整個圖像。常見的特征點分析方法有對軌跡屬性進行聚類的方法［16］、通過動態(tài)子空間分析軌跡數(shù)量隨時間變化的方法［17］以及結(jié)合物體外觀特征的方法［18］等。但是上述方法大多僅在可見光場景下有效，在熱成像場景下，部分方法并不能取得良好效果。因此，基于深度神經(jīng)網(wǎng)絡(luò)對場景進行評估并將分析結(jié)果用于檢測模型設(shè)計中［19］，或者直接對背景建模［20］成為應(yīng)對背景變化、攝像機移動等問題的有效方法。但是基于深度神經(jīng)網(wǎng)絡(luò)的方法往往需要大量計算資源，較為耗時，而機場巡檢任務(wù)對實時性要求較高，所以將基于深度神經(jīng)網(wǎng)絡(luò)的運動目標檢測作為運動信息提取方法在當前場景中并不適用。

受上述啟發(fā)，為應(yīng)對熱成像場景，本文使用背景模型并結(jié)合圖像特征點軌跡的聚類方法與運動估計仿射模型以區(qū)分視頻數(shù)據(jù)的前景和背景，提出一種動態(tài)熱成像攝像頭下的運動目標檢測方法（DTMD），該方法能夠有效解決熱成像場景下攝像機移動導(dǎo)致的背景變化等問題。

1.2 顯著性檢測融合運動信息

基于靜態(tài)圖像的顯著性檢測方法未能發(fā)揮視頻連續(xù)幀數(shù)據(jù)的優(yōu)勢，也沒有充分利用物體的運動信息。研究者們?yōu)榱顺浞掷梦矬w運動信息，也提出許多融合物體運動信息的顯著性檢測算法，將運動信息作為神經(jīng)網(wǎng)絡(luò)的一部分融入顯著性檢測神經(jīng)網(wǎng)絡(luò)中。文獻［21］將過去幀、過去幀的檢測顯著圖和當前幀作為卷積神經(jīng)網(wǎng)絡(luò)的輸入，使得神經(jīng)網(wǎng)絡(luò)在檢測顯著性對象時可結(jié)合時間信息和物體運動信息。遞歸神經(jīng)網(wǎng)絡(luò)一直都是處理序列化數(shù)據(jù)的有效方法，如FGRNE 神經(jīng)網(wǎng)絡(luò)可結(jié)合物體運動信息與LSTM 序列特征進行顯著性檢測［22］。

雖然將連續(xù)幀作為神經(jīng)網(wǎng)絡(luò)的一個分支輸入可有效提取與利用運動信息，但此類模型往往需要大量計算資源作為支撐，對于實時性要求較高的巡檢任務(wù)并不合適。而且在實際場景中，也有許多未發(fā)生移動的顯著人體，此時運動信息分支的神經(jīng)網(wǎng)絡(luò)無法為顯著性人體檢測提供幫助，甚至會產(chǎn)生負面影響。

為應(yīng)對熱成像場景，本文提出將運動信息檢測與顯著性檢測作為兩個任務(wù)分支同時執(zhí)行，最后將兩個分支的輸出進行融合，得到最終融合運動信息的顯著人體檢測方法，該方法能夠在巡檢機器人有限的計算資源下達到實時檢測效果。

2 融入運動信息的顯著人體檢測方法

在處理視頻數(shù)據(jù)時，通常將連續(xù)的圖像數(shù)據(jù)作為檢測方法的輸入數(shù)據(jù)。本文方法先后將兩張圖像數(shù)據(jù)作為融入運動信息的顯著人體檢測方法的輸入數(shù)據(jù)，一幀為當前幀圖像數(shù)據(jù)，也是檢測圖像數(shù)據(jù)，一幀為參照幀數(shù)據(jù)。因為熱成像數(shù)據(jù)缺少細節(jié)的特點，所以無法從熱成像數(shù)據(jù)中提取到有效的細微運動信息。為了使運動信息更加明顯，本文選擇當前幀之前5 幀的圖像數(shù)據(jù)作為參照幀。融合動態(tài)信息的顯著性人體檢測流程如圖1所示。

Fig.1 Flow of salient human body detection method incorporating motion information圖1 融合動態(tài)信息的顯著性人體檢測流程

2.1 動態(tài)熱成像攝像頭下的運動目標檢測方法

2.1.1 高斯混合背景模型

背景模型通過從圖像視頻數(shù)據(jù)中分離出前景和背景，從而檢測運動目標。高斯混合背景模型通過初始設(shè)置k個高斯分布模型進行建模，使用第一幀圖像數(shù)據(jù)的每一個像素值對第一個高斯分布模型進行初始化。將當前像素的值設(shè)為均值，權(quán)重設(shè)為1，其他高斯分布模型的均值和權(quán)重都初始化為0，如式（1）所示。

其中，k表示高斯分布模型的個數(shù)，由于熱成像圖像數(shù)據(jù)為單通道的灰度圖，因此將k設(shè)為3，xt表示t時刻的像素值，wi，t表示t時刻第i個高斯分布模型的權(quán)重值，η表示高斯分布概率密度函數(shù)，μi，t、τi，t分別表示t時刻第i個高斯分布模型的均值和協(xié)方差矩陣。

將每一個新像素值xt與k個高斯分布模型相匹配，若匹配，則該點為背景區(qū)域，不匹配則為目標前景區(qū)域。匹配公式如式（2）所示。

其中，μi，t-1表示上一幀第i個高斯分布模型的均值，σi，t-1表示上一幀第i個高斯分布模型的標準差。無論是否匹配，對k個高斯分布模型權(quán)重進行更新，如式（3）所示。

其中，α表示學習率，當匹配當前像素點時，Mi，t為1，不匹配則為0。當高斯分布模型匹配當前像素點時，則對當前的高斯分布模型進行更新，若不匹配則不更新。

若所有高斯分布模型都不匹配，則對權(quán)重最低的高斯分布模型進行替換。雖然背景模型可通過模型的更新應(yīng)對背景的緩慢變化，并且在熱成像數(shù)據(jù)中不需要考慮到光線變化給背景帶來的影響，但只憑更新背景模型無法有效應(yīng)對攝像機運動帶來的背景變化，檢測出的前景中依舊會包含大量未移動的背景區(qū)域。本文將高斯混合背景模型檢測出的前景部分劃分成一個個前景區(qū)域，并對其作進一步判斷。

2.1.2 特征點選取與匹配

本文通過在參照幀和當前幀的圖像數(shù)據(jù)上提取特征點，對兩幀的特征點進行匹配，從而得到特征點運動軌跡，并對其作進一步分析，排除被誤判為前景的背景區(qū)域。相比于SIFT 等其他特征點檢測算法，SURF 特征點算法更加高效，且適用于熱成像環(huán)境，所以本文選用SURF 特征點算法作為本文的特征點提取算法［23］。其首先通過構(gòu)建Hessian 矩陣檢測出極值點，在圖像中坐標為（x，y）點的Hessian矩陣H(f(x，y))定義如式（4）所示。

其中，f(x，y)表示原始圖像的高斯卷積，之后構(gòu)建尺度空間，在不同尺度上檢測特征點，去除錯誤定位的特征點，得到穩(wěn)定的特征點。最后確定特征點的主方向，生成特征點描述子。

特征點匹配算法通過兩個特征點之間的歐式距離確定匹配度，歐氏距離越短，兩個特征點匹配度越高，并通過Hessian 矩陣跡的正負號判斷對比度變化方向。若正負號不同，則將歐式距離設(shè)為0，排除兩個特征點匹配的可能。最后，當前幀與參照幀上匹配好的特征點會形成一個特征點對。

2.1.3 運動估計仿射模型

通過兩幀之間已匹配的特征點對，對初步檢測出的運動目標前景作進一步判斷。由于熱成像圖像缺少紋理和細節(jié)，本文選擇運動估計仿射模型與特征點軌跡聚類兩種方法排除攝像機移動導(dǎo)致的背景運動信息。

本文從計算速度和準確性兩方面考慮，選用六參數(shù)模型作為運動估計仿射模型。為了對攝像機的移動作出運動估計，本文選用高斯混合背景分離出背景區(qū)域中匹配的特征點對，計算六參數(shù)背景運動估計仿射模型，如式（5）所示。

2.1.4 特征點軌跡聚類方法

通過匹配的特征點對得到特征點運動軌跡，為了對特征點的運動軌跡進行聚類，本文對特征點運動軌跡分別計算距離屬性和方向?qū)傩?，如式?）、式（8）所示。

在通過運動估計仿射模型和特征點軌跡聚類方法進一步提取出特征點中的背景特征點之后，本文將包含特征點多數(shù)為背景特征點的前景區(qū)域從前景中排除。

2.2 融合模塊

為了保證該方法的效率和魯棒性，本文并不將運動信息直接融入到顯著性檢測算法中，而是將運動目標檢測圖與顯著性檢測圖進行融合，生成融入運動信息的顯著性檢測圖。該方法可讓本文動態(tài)熱成像攝像頭下的運動目標檢測方法（DTMD）與任意一種單幀的顯著性檢測方法相融合，用運動信息彌補單幀顯著性檢測算法的分割檢測不完全等缺點。

本文將運動目標檢測圖和顯著圖分別作交集與并集操作，利用輪廓檢測方法將兩圖交集的前景分割成一個個矩形前景區(qū)域。在每個矩形前景區(qū)域中計算運動目標檢測圖和顯著圖的并交比，當該數(shù)值過大時，說明至少有一種檢測方法在此區(qū)域中的檢測結(jié)果異常。將該前景區(qū)域排除，而其余前景區(qū)域中的兩圖并集將被保留，得到最終融合結(jié)果。

3 實驗與分析

本文實驗硬件平臺的CPU 型號為Intel Core i7，GPU 型號為GTX 1060，內(nèi)存為16G。

3.1 數(shù)據(jù)集

為驗證模型的效率和有效性，本文使用4 個測試數(shù)據(jù)集。其中，OSU［24］、KAIST［25］和FLIR 是3 個公開的數(shù)據(jù)集，而ATH 則是機場候機樓采集的實際數(shù)據(jù)集。對于OSU 數(shù)據(jù)集，本文選取其中irw01-irw06的序列圖像。這些序列圖像主要關(guān)注行人行走時的多種姿態(tài)，包括行人手中物體對于身體產(chǎn)生的部分遮擋情況，以及兩個行人相遇時身體相互遮擋的情況。該數(shù)據(jù)集由固定攝像頭拍攝，所以背景沒有變化，行人與背景之間也具有較高對比度。

KAIST 數(shù)據(jù)集和FLIR 數(shù)據(jù)集都是通過車載攝像頭在街道上采集的圖像數(shù)據(jù)，這些圖像數(shù)據(jù)往往會因為攝像機參數(shù)的不同而呈現(xiàn)出不同的成像效果。此外，與攝像機距離不同的行人在圖像中也會表現(xiàn)出不同的尺度大小?？紤]到機場巡檢機器人的實際工作場景，本文主要關(guān)注數(shù)據(jù)集中不同尺度的人體、騎行對象和人群聚集場景。

ATH 數(shù)據(jù)集為機場候機樓真實場景下采集得到的實際數(shù)據(jù)集。類似于KAIST 和FLIR 兩個數(shù)據(jù)集，ATH 數(shù)據(jù)集中同樣面臨著由于人體目標與攝像機之間因距離不同所造成的圖像尺度問題。然而，不同于其它標準數(shù)據(jù)集，ATH 數(shù)據(jù)集中包含了候機樓特有的登機口、座椅區(qū)以及窗口處等諸多場景下的樣本。此外，數(shù)據(jù)集中的人體目標包含站立、蹲坐、彎腰等多種姿態(tài)，并包含人體相互遮擋，或被座椅、立柱和衣著遮擋等多種遮擋場景?？梢娤啾扔跇藴蕼y試數(shù)據(jù)集，ATH 數(shù)據(jù)集更為真實，場景也更加復(fù)雜。

3.2 評價指標

為了評估該方法的性能，本文選擇分割模型中常用的評價指標F-measure 和mIOU。一般而言，模型在數(shù)據(jù)集上運行后的F-measure 和mIOU 值越高，意味著該模型有著更好的性能。如式（9）所示，F(xiàn)-measure 定義了顯著人體圖像分割的精確率和召回率加權(quán)調(diào)和平均值。

對于巡檢任務(wù)來說，可疑目標能否被正確發(fā)現(xiàn)比可疑目標身體全部區(qū)域是否都被正確檢測出來更加重要。這意味著在使用F-measure 度量模型性能時，顯著人體圖像分割的精確率應(yīng)該占據(jù)更大的比重。按照文獻［26］的建議，本文設(shè)置β2的值為0.3。精確率Precision 和召回率Recall的定義如式（10）、式（11）所示。

其中，TP表示正樣本被正確預(yù)測的數(shù)目，F(xiàn)P、FN分別表示負樣本被檢測成正樣本的數(shù)目以及將正樣本預(yù)測成負樣本的數(shù)目。

mIOU 定義如公式（12）所示，用于表示真實圖像與預(yù)測圖中正樣本的交并比。

3.3 實驗結(jié)果與分析

本文僅使用高斯混合背景模型從數(shù)據(jù)集中檢測運動目標效果，如圖2 所示。其中，左圖為原始輸入圖，右圖為高斯混合背景模型檢測圖。

Fig.2 Gaussian mixture background model detection results圖2 高斯混合背景模型檢測結(jié)果

由圖2 可以看出，雖然高斯混合背景模型可檢測出圖像中的運動目標，但是由于攝像機的運動使得檢測出的目標中包含大量未運動目標，如墻壁、燈牌等。本文提出的動態(tài)熱成像攝像頭下的運動目標檢測方法在數(shù)據(jù)集上的檢測效果如圖3 所示。其中，左圖為原始輸入圖，右圖為運動目標檢測圖。

Fig.3 DTMD detection results圖3 DTMD模型檢測結(jié)果

如圖3 所示，本文提出的運動目標檢測方法在熱成像場景下有效檢測圖像中運動目標的同時，可排除由于攝像機運動帶來的影響。

為驗證本文所提出的將運動信息融入顯著性檢測方法的有效性，選擇4 種單幀顯著性模型Hsaliency［27］、Amulet［28］、CPD［29］、SRM［30］在4 個數(shù)據(jù)集上進行實驗，并將動態(tài)熱成像攝像頭下的運動目標檢測方法（DTMD）與4 種模型融合進行對比實驗。其中，Amulet、CPD、SRM 是基于深度神經(jīng)網(wǎng)絡(luò)的模型。F-measure 與mIOU 結(jié)果對比如表1所示。

Table 1 Comparison of F-measure and mIOU results表1 F-measure與mIOU結(jié)果對比

由表1 可知，在融入運動信息后，單幀的顯著性模型在4 個數(shù)據(jù)集上的性能普遍有所提升，特別是在mIOU 評價指標上的表現(xiàn)。在OSU 數(shù)據(jù)集上由于攝像機未發(fā)生移動，數(shù)據(jù)集本身較為簡單，所以單幀顯著性檢測模型具有較好的性能。由于在融入的運動信息中包含少部分落葉等非人體運動信息，因此該模型融入運動信息后在評價指標上的表現(xiàn)略有下降，但在顯著性人體檢測上的表現(xiàn)會更加完整。Hsaliency 模型本身并不是基于深度神經(jīng)網(wǎng)絡(luò)的模型，所以在對比度較低的KAIST 數(shù)據(jù)集和FLIR 數(shù)據(jù)集上表現(xiàn)不佳，在融入運動信息后整體檢測效果得到提升。Amulet 雖然檢測速度較慢，但是檢測精度較高，在融入運動信息之后能夠進一步提升模型精度，并且檢測結(jié)果更加完整，特別是在ATH 機場實際數(shù)據(jù)集中。

CPD 模型和SRM 模型具有較快的檢測速度，但是分割出的目標往往出現(xiàn)檢測不完全的情況，融入運動信息后在運動效果明顯、圖像邊緣人體目標不完整等情形下的檢測效果明顯提升。以CPD 模型和SRM 模型為例的可視化效果如圖4 所示，其中左圖為原始輸入圖，右圖為運動目標檢測圖。

Fig.4 Visual detection results圖4 可視化檢測結(jié)果

如圖4 可知，融入運動信息后的模型能夠清晰、有效地檢測出視頻數(shù)據(jù)中的運動人體。融入運動信息可有效降低巡檢后臺工作人員對部分可視化檢測結(jié)果的歧義和誤解，增加機場的安全性。在檢測效率方面，本文提出的動態(tài)熱成像攝像頭下的運動目標檢測方法在擁有GPU 的實驗環(huán)境下以一幀幀圖像輸入的方式進行檢測，依舊能夠達到實時檢測速度。因此，本文所提出的融入運動信息的顯著人體檢測方法能夠滿足實際機場航站樓巡檢任務(wù)的實時性要求。

4 結(jié)語

針對被遮擋、多種姿態(tài)、出入攝像機邊緣等情形下的可疑目標人體，本文提出一種動態(tài)熱成像攝像頭下的運動目標檢測方法（DTMD）。實驗結(jié)果證明，該方法能夠在熱成像環(huán)境下有效排除攝像機移動帶來的影響，并檢測出運動目標。但該方法在熱成像環(huán)境下存在對細微運動的檢測精度不高，以及檢測出非人體運動目標等問題，并且無法檢測出未發(fā)生移動的顯著人體目標。本文通過融合模塊降低未發(fā)生移動的顯著人體目標和非人體運動目標檢測結(jié)果給融合結(jié)果帶來的負面影響，所提出的輕量級檢測方法能夠滿足機場航站樓巡檢任務(wù)的實時性要求。在未來的研究中，將在保證檢測方法運行效率的前提下，著重提升針對非人體運動目標和人體細微運動的檢測效果，以提高從連續(xù)幀中提取的運動信息對融合結(jié)果的增益。