基于微振動增強的偽裝人體檢測算法

黃飛龍，楊學志，吳克偉，沈晶，陳鯨

（1 合肥工業(yè)大學 計算機與信息學院，合肥 230009；2 工業(yè)安全與應急技術安徽省重點實驗室，合肥 230009；3 合肥工業(yè)大學 軟件學院，合肥 230009；4 合肥師范學院 電子信息與電氣工程學院，合肥 230061；5 安徽微波與通信工程技術研究中心，合肥 230061）

0 引言

人體的檢測在現實生活中有著許多重要的應用，例如交通監(jiān)控、自動駕駛、智能監(jiān)控、行人監(jiān)控等，這些場景都需要實現準確的人體檢測。人體的檢測一直是計算機視覺領域的研究熱點，許多基于人臉和人體姿態(tài)估計的人體檢測算法已經被提出來并得到了很好的完善。過去幾年，人們的重點關注在于行人的檢測，在公開可用的研究數據集中，最受歡迎的是INRIA 數據集。除此以外，顯著性目標的檢測也得到了很充分的研究，為行人的識別研究提供了很好的參考。然而，在一些場景下，當人體的外觀特征并不明顯的時候，僅僅依靠圖像的表層特征是無法檢測出來的。例如，在復雜環(huán)境中經過了一定程度偽裝的人體目標。偽裝人體就是經過迷彩服裝、顏料等手段，使自己的外觀顏色、紋理特征和背景高度融合，以至于人很難通過眼睛發(fā)現的人體目標。偽裝人體的檢測算法可以很好檢測出圖像特征不明顯的人體目標，對于邊防監(jiān)控、入侵檢測、災害救援活人檢測、軍事目標發(fā)現等方面具有重要的作用。

偽裝人體檢測是目前計算機視覺的一個具有挑戰(zhàn)性的任務。使用計算機視覺的檢測方法處理的數據通常是單張圖像或者是具有時間信息的視頻。近年來，已有一些偽裝人體檢測相關的研究，這些研究根據提取的視覺特征不同，可以分成4 類：亮度或顏色特征、紋理特征、梯度特征、深度特征。亮度和顏色特征是最基本的特征，利用亮度或者顏色特征來檢測偽裝人體目標，設計了一種加權區(qū)域合并的迭代方法，來檢測圖像序列中顏色非常接近的偽裝目標的方法［1］。這種方法的效果主要依賴于圖像之間的差異，如果檢測的目標不移動或緩慢移動，這種方法就不能檢測出偽裝人體目標；利用紋理特征進行偽裝檢測，提出了一種方法來檢測目標的偽裝部分，并將偽裝部分從給定圖像的環(huán)境中提取出來［2］。采用基于灰度共生矩陣的紋理特征和樹狀圖來檢測偽裝目標，但是這種方法非常耗時，因為其需要將給定的圖像分割成多個塊或更小的區(qū)域，在包含陰影效果和背景與目標包含相似紋理的圖像中，這種方法無法有效檢測出偽裝的目標。使用梯度特征進行偽裝人體檢測，提出了一種Darg算子來增強對應于三維目標凸面的陰影區(qū)域，從而將該區(qū)域從具有顏色和紋理等相似特征的平坦背景中分離出來［3］。Darg算子直接應用圖像的灰度函數，對目標上光滑的三維凸面做出響應，不會受到任何特定光源及其反射函數的限制，但是使用Darg算子檢測的結果高度依賴于閾值，選擇一個合適的閾值本身也是一個重要的問題。此外，這種方法不適用于包含凹面特性的背景和深色的目標。深度特征檢測偽裝人體目標，提出了強語義擴張網絡來檢測偽裝的人［4］。充分利用了卷積神經網絡的語義信息，并利用了空洞卷積來擴大接受野，以發(fā)現偽裝的人體目標。在一個標準的圖像數據集上給出了令人印象深刻的結果，但是如果在一些數據集中未知場景的偽裝人體不一定能檢測出來。

針對以上問題，本文提出了一種基于微振動增強的偽裝人體檢測算法。首先，提出了自己的偽裝人體視頻數據集和基于微振動特征的偽裝人體檢測模型，利用訓練集估計偽裝人體目標的最優(yōu)的呼吸率區(qū)間；其次，利用估計的最優(yōu)呼吸率區(qū)間增強了視頻中偽裝人體的微振動；最后，根據增強了微振動的視頻和提出的檢測模型實現偽裝人體目標的定位檢測，并通過圖像形態(tài)學去噪后處理降低檢測結果的噪聲。本文的振動特征用于偽裝人體檢測取得了比其它特征更好的效果，如圖1 所示。

圖1 不同特征的檢測效果Fig.1 Detection effect of different features

1 本文算法

1.1 提出的數據集

由于現有的偽裝數據集收集的偽裝圖像無法用于基于視頻的偽裝人體檢測。因此，使用帶有三腳架的佳能數碼相機收集了10 個被偽裝人員的300個穩(wěn)定的視頻。視頻微小振動檢測面臨的挑戰(zhàn)是長距離的目標，因此這項工作進一步在不同的拍攝距離上收集了不同比例的偽裝人類。拍攝距離為10 m、20 m、30 m 的視頻數分別為100 個，每個視頻的持續(xù)時間為15 s，分辨率為720× 360，幀速率為50 fps。在一天中的不同時間，在足夠的光照條件下采集視頻。視頻數據集分為訓練集和測試集，其中每種拍攝距離的50 個視頻用于訓練，其余視頻用于測試。測試集中不存在訓練集中的偽裝人員，可以驗證呼吸率區(qū)間估計的魯棒性。

這些視頻數據使用標注工具labelme 對第一幀圖像的偽裝人體目標進行像素級別的標注和外接包圍框，并帶有拍攝條件，包括：環(huán)境、振動類型、遮擋類型、高光和陰影類型、顏色深淺類型和拍攝距離。數據集部分視頻及其標注，如圖2 所示。

環(huán)境：視頻包括各種自然環(huán)境，例如：草（圖2（a）），灌木叢（圖2（b）），樹木（圖2（c）），樹葉（圖2（d））。

振動類型：視頻具有2 種人體振動類型，包括腹部向上（圖2（e）和圖2（g））和腹部向下（圖2（f）和圖2（h））。

遮擋類型：偽裝的人體沒有背景遮擋（圖2（e）和圖2（f））或有背景遮擋（圖2（g）和圖2（h））。

高光和陰影類型：在視頻中存在高光和陰影（圖2（b））或沒有高光和沒有陰影（圖2（a））。

顏色深淺類型：背景和偽裝的人體具有深色外觀（圖2（b））或淺色的外觀（圖2（i））。

拍攝距離：偽裝的人體距離為10 m（圖2（i）），20 m（圖2（j）），30 m（圖2（k））。

圖2 視頻數據集部分數據Fig.2 Part of the video data set

1.2 提出的方法

本文提出了基于微振動特征的偽裝人體檢測模型，根據視頻訓練集估計了更準確的偽裝人體呼吸率區(qū)間，根據估計的呼吸率區(qū)間增強視頻中偽裝人體振動信號，利用檢測模型和形態(tài)學去噪方法得到檢測結果。檢測框架如圖3 所示。

圖3 偽裝人體檢測框架Fig.3 Camouflage human detection framework

1.2.1 偽裝人體微振動檢測模型

人體的呼吸頻率是人體胸部和背部微振動的頻率。根據醫(yī)學統(tǒng)計，人體的呼吸率數值區(qū)間為0.20～0.33 Hz。因此，人體胸部和背部的振動頻率和人體的呼吸率是一樣的。給定包含偽裝人體的視頻，并將該視頻轉換到YIQ 色彩空間，其中通道Y是亮度通道。像素x在各個時間t的亮度可以記為序列f（x，t），則f（x，t）是振動信號；使用一維快速傅立葉變換（FFT）將時域信號f（x，t）轉換為頻域信號：fω（x，ω）＝fft（f（x，t）），頻域信號fω（x，ω）的模的最大值是其幅值，如公式（1）所示。

頻域信號的振動頻率與其幅值相對應，如公式（2）所示。

假設人體的呼吸頻率區(qū)間為H（a，b），則基于微振動特征的偽裝人體檢測模型如公式（3）所示。

R（x）表示偽裝人體檢測結果。

1.2.2 偽裝人體呼吸率估計

由于醫(yī)學統(tǒng)計的人體的呼吸頻率區(qū)間是在人體正常情況下測量的，而在本文的數據集中，偽裝人體的呼吸頻率高于正常人體的呼吸率區(qū)間，這可能是因為人體的偽裝姿勢會影響到呼吸。因此，需要在視頻數據集人體偽裝姿勢情況下估計呼吸頻率區(qū)間。本文使用視頻訓練集估計偽裝人體的呼吸頻率的區(qū)間，訓練集包含每個拍攝距離的50 個視頻。呼吸率區(qū)間估計過程如圖4 所示。在每個訓練的視頻真值分割圖中采樣200 個像素，并形成振動信號集Fp（x，t）＝{fp（xi，t）}，其中p表示偽裝人體的真值位置，i是訓練視頻的編號。呼吸率區(qū)間估計變成了發(fā)現信號集振動頻率和頻譜幅值的數學分布，振動信號集的振動頻率和頻譜幅值都服從正態(tài)分布，如公式（4）、（5）所示。

圖4 呼吸率區(qū)間估計示意圖Fig.4 An overview of respiration rate interval estimation

在本文的訓練集中，振動頻率的均值μH為0.447、標準差σH為0.133，頻譜幅值的均值μA為22.830，標準差σA為15.590。數據集中偽裝人體目標的呼吸率區(qū)間和頻譜幅值的閾值分別取為等式（6）、（7）。

其中，k是區(qū)間估計因子，當k＝1時，估計的區(qū)間包含95%的真值圖像的像素。

1.2.3 偽裝人體微振動增強

偽裝人體目標在視頻中表現出來的振動是微小的，很難直接分析到這種信號。偽裝人體的振動還會受到環(huán)境的干擾，例如背景中的草、樹葉等植物在風的作用下的晃動，需要抑制這些環(huán)境中植物的振動。微振動增強就好比一個顯微鏡，可以將特定頻率范圍的振動信號進行增強，抑制其它不感興趣頻率的振動，可以更好的捕捉到需要的信號。在這里不能使用標準的傅立葉變換方法，因為其僅適用于圖像中的整體相位的變化。

使用了基于相位變化的微振動增強方法來處理局部相位的變化［5］。本文基于其源碼修改，以實現偽裝人體的振動信號增強。為了測量圖像中的局部相位振動，使用了復數數域的可控金字塔，類似于將圖像劃分為不同空間結構的局部傅里葉變換。復數數域的可控金字塔將圖像分解為對應于不同圖像尺度和方向的不同子帶，每個子帶的每個像素位置都用局部幅度和局部相位來表示。用時間帶通濾波器進一步處理隨時間變化的相位信號，以提取感興趣振動的像素位置，這些經過時域帶通濾波的相位差乘以一個放大因子α。在圖像的局部相位放大處理之后，將所有的子帶求和以重建視頻，得到偽裝人體微振動增強的視頻。偽裝人體微振動增強的整個過程如圖5 所示。

圖5 偽裝人體微振動增強示意圖Fig.5 An overview of micro－vibration enhancement of camouflaged human

假設圖像尺度j的視頻信號為fj（x＋δ（t）），其中f表示尺度j的圖像的亮度平面，δ（t）表示偽裝人體的微振動位移。根據傅里葉級數展開式，fj（x＋δ（t））可以寫成一系列復數正弦信號Sjω（x，t）＝Ajωeiω（x＋δ（t））的和，而且這些復數正弦信號分別對應一個頻率ω，如公式（8）所示。

其中，Sjω（x，t）是子帶信號fj（x＋δ（t））的頻率為ω的基信號。因為Sjω（x，t）是正弦信號，其相位信息ω（x＋δ（t））包含了偽裝人體的微小振動的相位信息和直流分量ωx。在使用時域帶通濾波器去除直流分量ωx后，偽裝人體的微振動相位信息是Bω（x，t）＝ωδ（t），這在每一個視頻尺度和每一個子帶下都是一樣的，然后使用放大因子α對表示偽裝人體微振動相位信息進行放大處理，得到放大了相位信息的基信號，如公式（9）所示。

其中，（x，t）表示放大了相位信息的基信號。把所有放大了相位信息的基信號加起來，得到一個增強的子帶信號，如公式（10）所示。

1.2.4 偽裝人體檢測后處理

經過振動增強模塊，原視頻中偽裝人體的微小振動信號得到增強，對進一步進行偽裝人體檢測很有幫助。對增強信號后的視頻進行處理，計算出增強視頻的整個空間的頻率平面（x）和幅值平面（x），利用公式（3）表示的檢測模型，根據頻率平面（x）、幅值平面（x）、公式（6）、公式（7），得到了偽裝人體目標檢測的結果R（x）。

為了降低檢測結果的噪聲、填補目標的空洞，最后加入了一個圖像形態(tài)學去噪模塊對檢測結果進行后處理操作。使用大小為3×3 的結構元素，對檢測結果R（x）進行一次圖像開運算，以降低檢測結果的噪聲。一次圖像開運算是先對圖像進行一次膨脹操作，再對圖像進行了一次腐蝕操作，前者可以填補目標的空洞，后者可以去除檢測結果的噪聲。這個過程如圖6 所示。

圖6 偽裝人體檢測后處理過程示意圖Fig.6 An overview of the post－processing process of camouflaged human detection

基于微振動增強的偽裝人體檢測的框架可以使用算法1 進行描述。

算法1基于微振動增強的偽裝人體檢測

輸入：原始視頻信號f（x，t），估計的呼吸率區(qū)間ω＝（Ha，Hb），估計的幅值閾值τ

輸出：偽裝人體圖像分割結果R（x）

2 實驗結果與分析

2.1 評價指標

使用重疊度（IOU）來評價本文檢測算法的檢測能力。重疊度指標經常用在物體檢測任務上，用來評價檢測的物體區(qū)間和物體真實區(qū)間之間的匹配程度。本文實驗里，重疊度是檢測區(qū)間面積與物體真實區(qū)間面積的比例。如果檢測到的目標的區(qū)間面積、目標真實區(qū)間的面積分別是Sp、Sg，那么重疊度IOU的計算方式是公式（12）。

也使用了精確度（Precision）來評價本文的檢測模型。精確度指標是在分類模型里評價模型檢測出正確數據點的能力，定義為公式（13）。

IOU和Precision是機器學習目標檢測中廣泛使用的評價標準，兩個評價標準可以很好評價目標檢測的準確性，本文選擇了這兩個評價標準來進行性能度量。

2.2 算法時間效率

使用Matlab 2019 在處理器為i7Core、3.60 Ghz CPU 和8 G 內存的PC 上實現的。為了減少運行時間，將視頻原始圖像降采樣為360×180 的分辨率。輸入的振動信號是360×180×750，其中750 是幀率為50 fps 的15 s 的視頻幀數。一個視頻的平均處理時間為237 s，其中快速傅立葉變換、形態(tài)學去噪處理模塊、微振動增強模塊的運行時間分別為50 s，14 s和173 s。

2.3 消融實驗

2.3.1 呼吸率區(qū)間的影響

在本文的檢測框架里，主要估計了數據集的偽裝人體的呼吸率區(qū)間。為了證明使用估計的呼吸率比使用經驗值效果好，本文改變呼吸率的值做了3組實驗，見表1。當k＝1時，使用估計的呼吸率比經驗值有更好的檢測效果，這是因為估計的呼吸率比經驗值更好的符合數據集中偽裝人體的呼吸率。相比之下，IOU提高了0.143，Precision提高了0.141。當k等于其它值，例如k＝2，檢測效果反而下降。通過實驗，認定k＝1時估計的呼吸率最好。其它的實驗也使用了k＝1 的呼吸率區(qū)間。

表1 不同呼吸率區(qū)間的影響Tab.1 The effect of different breathing rate respiration rate interval

2.3.2 視頻微振動增強的影響

為了分析微振動增強對不同距離的人體檢測的影響，本文分別在微振動不增強視頻和微振動增強視頻的兩種情況下，驗證了10 m、20 m、30 m 的檢測結果，見表2，部分視覺檢測效果如圖7 所示?？梢园l(fā)現，在沒有增強的視頻中，對于20 m 和30 m 的較遠的目標，檢測的IOU和Precision都比10 m的要低；在增強的視頻中，對于20 m、30 m 的目標，檢測準確性大大提高，整體上IOU提高了0.24，Precision提高了0.278。可以得出一個結論，微振動增強有助于檢測出20 m 遠的小尺度目標。

表2 微振動增強對檢測結果的影響Tab.2 The effect of micro－vibration enhancement

圖7 微振動增強對檢測結果的影響Fig.7 The effect of micro－vibration enhancement

2.3.3 不同模塊的影響

為了驗證本文的檢測框架中微振動增強、幅值估計模塊、形態(tài)學去噪3 個模塊對偽裝人體檢測準確性的效益，本文設計了模塊的消融實驗，實驗的結果見表3。從本文方法1 與基線方法比較可知，視頻放大模塊對檢測結果提升明顯，IOU提升了0.102，Precision提升了0.120；本文方法2 與基線方法比較可知，視頻放大模塊結合幅值估計模塊可以大幅度提升檢測的效果，IOU提升了0.183、Precision提升了0.194。因為對放大的視頻使用快速傅里葉變換求各像素的振動頻率時，在非振動區(qū)域中得到的頻譜去除了一些沒有明顯波峰的數據，使得估計的像素振動頻率更準確；本文方法3 與本文方法2 比較，形態(tài)學去噪模塊對于提升檢測效果也有一定的作用，IOU提升了0.057，Precision提升了0.084。形態(tài)學去噪模塊之所以有作用，是因為其對初步的檢測結果消除了零散的噪聲，并填補了結果的空洞。

表3 不同模塊的影響Tab.3 The effect of different modules

2.4 對比實驗

為了證明本文的算法有效，還實現了基于梯度特征的檢測方法、基于紋理特征的檢測方法、基于深度特征的檢測方法，并與其檢測效果進行了比較，這幾個算法分別是梯度特征、紋理特征、深度特征等不同特征的先進方法。由于這幾個研究或是沒有公開其數據集，或是其數據集不適用于本文的算法，為了比較更加公平，把這些算法用在本文的數據集上進行測試。這幾種檢測方法的輸入數據是圖像，因此把所有驗證視頻的第一幀作為其輸入數據。檢測結果見表4，本文算法的檢測準確性是最高的，IOU達到0.526，Precision達到了0.738。

表4 對比實驗結果Tab.4 Comparison of the detection results

部分檢測效果如圖8 所示?？梢钥闯?，本文的檢測算法效果比較清晰，可以較好的保持偽裝人體目標的外形和邊緣輪廓，具有較高辨認度。這是因為本文增強并提取的是偽裝人體目標的微小振動特征，由人體目標的呼吸而產生，與人的呼吸一樣具有內在穩(wěn)定性，不受背景中紋理、陰影、顏色深淺的影響，較梯度特征法、紋理特征法具有更好的抗噪聲能力。本文使用視頻訓練集估計出偽裝人體的振動頻率區(qū)間，得到的結果可視為先驗知識，在未知場景中同樣適用，較深度特征法是更普遍通用的偽裝人體檢測框架。梯度特征法只是定位出一個目標點，檢測準確性比較低，會將圖像中紋理的邊緣錯檢測成偽裝人體。紋理特征法的檢測準確率也很低，并且檢測出來比較暗淡模糊，無法辨識偽裝目標。深度特征法雖然善于檢測正常的圖像，但是不擅長檢測有遮擋的偽裝人體，通常將背景的物體錯誤檢測成偽裝目標。

圖8 對比實驗檢測效果Fig.8 Comparison of detection results

3 結束語

本文針對顏色或亮度特征、紋理特征、梯度特征、深度特征等視覺表層特征無法有效檢測出沒有明顯移動的偽裝人體目標，提出了基于增強的微振動特征實現偽裝人體檢測的算法。在訓練集上估計偽裝人體目標的最優(yōu)的呼吸率區(qū)間，并通過放大振動的相位信息來增強視頻中偽裝人體的微振動，根據增強的微振動視頻和提出的檢測模型實現偽裝人體目標的定位檢測，并通過圖像形態(tài)學去噪后處理以降低檢測結果的噪聲。通過一系列的消融實驗和對比實驗，在提出的數據集上證明了本文檢測算法的先進性。與其它檢測特征的算法相比，本文算法可以在高光、深色、紋理不平坦等復雜背景中檢測出沒有明顯移動的偽裝人體目標。