自適應鐵路場景前景目標檢測

李興鑫，朱力強，余祖俊

(北京交通大學機械與電子控制工程學院，北京100044)

0 引言

隨著高速鐵路的迅速發(fā)展，安全保障問題越來越重要，異物(如人、動物、高空落石)侵入鐵路限界會給列車的安全運行帶來巨大的隱患.高速鐵路沿線均有安裝監(jiān)控相機，智能視頻分析技術廣泛應用于異物入侵監(jiān)測，如限界識別[1-2]、入侵異物識別[3-4].基于視頻分析的前景目標檢測是鐵路異物入侵判斷的必要步驟.常用的前景目標檢測方法是背景差分法，包括基于背景建模的傳統(tǒng)分割算法和數(shù)據(jù)驅動的深度背景差分算法.

傳統(tǒng)背景差分法的主要步驟是背景建模、前景提取和背景更新，核心是背景建模，統(tǒng)計概率模型是普遍應用的建模方式，分為參數(shù)模型和非參數(shù)模型.非參數(shù)模型不假設具體的分布，直接存儲像素的歷史樣本值構成背景模型.ELGAMMAL等[5]提出KDE基于核密度估計前景的概率，BARNICH等[6]提出ViBe計算當前像素到背景中樣本的距離，通過分割閾值判斷是否匹配到背景樣本，實現(xiàn)前景檢測，用簡單的距離度量代替了概率估計，計算更加簡單，但固定的閾值不適用于復雜的鐵路場景.HOFMANN等[7]，ST-CHARLES等[8]提出PBAS和SubSENSE設置調節(jié)因子動態(tài)地調節(jié)閾值，PBAS將當前像素到樣本距離的最小值作為調節(jié)閾值的控制量，SubSENSE在此基礎上增加了一個由分割結果提供的反饋變量和計算耗時的特征描述算子，在以上樣本匹配計算中，每個樣本的權重為1.JIANG等[9]提出WeSamBE在閾值調節(jié)的基礎上，依據(jù)重要性對每個樣本賦予不同的權值.CHEN等[10]提出SuperBE將以上的像素級算法替換為超像素級，且超像素只計算一次，平衡了精度和速度.結合深度卷積網絡(Convolutional Neural Network,CNN)和背景差分概念的相關研究越來越多[11]，BABAEE等[12]使用CNN實現(xiàn)逐像素的前背景分類，網絡輸入為當前圖像與背景圖像，逐像素的處理只考慮了局部信息，造成計算資源浪費，而基于編碼—解碼的CNN可實現(xiàn)前景目標端到端的分割[13-14]，融合多階段多尺度的特征提升了準確性.LONG等[14]只將當前圖像輸入網絡，WANG等[15]采用三維全卷積同時學習空間和時間上的多尺度特征.

針對不同場景，深度背景差分需要不同場景的數(shù)據(jù)集進行訓練，模型性能依賴訓練數(shù)據(jù)的多樣性和真值數(shù)據(jù)，難以滿足鐵路應用.傳統(tǒng)的背景差分使用限制少，常作為視頻分析的預處理過程，模型性能跟閾值密切相關，尤其是在鐵路等復雜場景下，但上述自適應算法的閾值調節(jié)能力不足.主要為：只利用像素級信息，沒有考慮空間信息；超像素級算法一定程度上減少了計算單元，但容易漏掉小目標.因此，提出一種基于自適應閾值調節(jié)的像素級目標檢測算法，通過設置的環(huán)境動態(tài)監(jiān)控變量動態(tài)地調節(jié)閾值，調節(jié)過程融合超像素的空間信息；同時，提出一種基于任意幀數(shù)的背景模型初始化方法，消除鬼影問題.

1 自適應目標檢測

背景差分算法的核心是背景建模，作為非參數(shù)的統(tǒng)計背景模型，直接用每個像素p的N個歷史樣本值構成的集合描述背景，即，bi(p)表示第i個樣本，背景模型采用保守的更新機制[6].

前景目標的分割通過比較觀察值I(p)匹配到的背景樣本的個數(shù)n(p)實現(xiàn)，即

式中：m表示需要達到的匹配個數(shù)(一般取值為2)；F(p)=0表示背景像素，F(xiàn)(p)=1表示前景；#{·}表示滿足匹配條件的樣本個數(shù)；dist(·)表示距離度量；R(p)表示分割閾值，直接影響分割結果.

一個全局固定的分割閾值不能滿足復雜場景下的檢測需求，尤其是含有抖動、動態(tài)背景的鐵路場景，在分割過程中易發(fā)生誤檢，故提出一種自適應的閾值調節(jié)機制，算法流程如圖1所示.

1.1 可靠的背景初始化

一幀初始化[7]通過在鄰域內反復采樣可快速初始化背景模型，但忽略了時間信息，初始幀存在的運動目標導致鬼影問題，即本來不存在目標的區(qū)域被檢測出目標，故需要結合時域信息對背景模型進行可靠地初始化.計算每個像素點在時間序列上的綜合偏移量O(p)，選擇綜合偏移量小的像素作為背景，即可排除前景像素.

式中：t表示不同的時刻；T表示用于初始化的幀數(shù)；o(p)t表示像素點在不同時刻的綜合偏移量；SNP(p)表示像素p鄰域內的像素集合；p′表示像素p鄰域集合內的像素點；I(p′)t表示鄰域像素值.

在集合O(p)中，選擇θ1個最小o(p)t值所對應的像素，以及每個被選像素隨機的θ2個鄰域像素組成背景集合(一般假設鄰域像素具有相似性)，就可以將運動的像素點篩除，避免鬼影問題，如圖2所示.組成背景模型的像素個數(shù)N是固定的，參數(shù)θ1,θ2的選擇遵循θ1+θ1×θ2=N和 1≤θ1≤N.用于初始化的幀數(shù)T越大，初始化越準確；T越小，初始化更快速.可根據(jù)實際需要在一幀到多幀初始化之間靈活切換，當T=1時，采用第1幀初始化.

圖1 自適應目標檢測算法流程圖Fig.1 Flow chart of adaptive object detection

圖2 可靠的背景初始化Fig.2 Reliable background initialization.

1.2 閾值自適應調節(jié)

鐵路場景常存在動態(tài)背景、相機抖動等情況，若分割閾值R是全局統(tǒng)一且固定的，會將一些背景誤檢為目標，故R需要自適應調節(jié).本文通過設置一些監(jiān)控變量自動對環(huán)境的動態(tài)進行跟蹤，平穩(wěn)區(qū)域偏向較低閾值，動態(tài)區(qū)域偏向較高閾值，實現(xiàn)閾值自適應調節(jié).以往的閾值調節(jié)以像素為單位，在此基礎上，本文算法增加超像素[16]提供的空間信息.超像素是一系列顏色統(tǒng)一、大小相似的圖像塊，如圖3所示.場景是固定的且大部分是背景，而超像素的計算比較耗時，折中考慮，超像素只計算1次，如圖1所示.即使存在前景目標，影響也只局限在目標的邊界部分，不影響目標內部區(qū)域.本文算法是一個像素級算法，利用超像素提供的空間信息進行閾值調節(jié)，與超像素級目標檢測算法[10]不同.

圖3 超像素分割結果Fig.3 Super-pixel segmentation results

動態(tài)環(huán)境使像素值波動，故將當前像素到背景樣本的最小距離D(B)與幀間差D(F)作為跟蹤背景動態(tài)的監(jiān)測變量.考慮整個時間和空間信息，監(jiān)測變量采用滑動平均或超像素區(qū)域內求均值，即

式中：α為學習率，取α=0.5；I(p)t表示像素p的像素值；bi(p)t表示像素p的第i個背景樣本值；d(B)(p)t為當前像素到背景樣本之間距離的最小值，d(F)(p)t為在超像素內取平均的幀間差(考慮空間信息)，兩者的計算需要歸一化，取滑動平均作為最終的結果，記為D(B)和D(F)；min表示最小距離；s(p)表示像素所屬的超像素；p″表示屬于超像素s(p)范圍的像素點；#s(p)表示超像素內像素的個數(shù).兩個監(jiān)測變量反映了環(huán)境的動態(tài)程度，當背景變化較大時，幅值上升，D(B)(p)t側重于像素偏離背景的程度，D(F)(p)t反映連續(xù)變化，偏向于變化的頻率.

以上監(jiān)測因子的設置沒有考慮前景的影響.當前景目標出現(xiàn)時，D(B)(p)t和D(F)(p)t的值也是偏大的，但閾值暫時不應調整；分割結果中，會出現(xiàn)由動態(tài)背景引起的在時間序列上來回閃爍的噪聲.這些問題可通過分割結果的反饋變量L(p)t解決，即

式中：X(p″)t是t-1時刻到t時刻分割結果的異或值，X(p″)t=0表示該點是穩(wěn)定的背景區(qū)域或前景區(qū)域，X(p″)t=1表示該點是動態(tài)的背景區(qū)域或是目標邊緣，通過簡單的后處理操作剔除目標邊緣.為綜合考慮時間信息和空間信息，采用超像素內求均值和滑動平均的操作，l(p)t表示超像素s(p)范圍內X(p″)t的均值.

再間接計算出閾值調節(jié)因子β(p)t，實現(xiàn)閾值R(p)t的自適應調節(jié).

式中：Rinit是閾值初始值；γ1、γ2為參數(shù)，γ1=0.8，γ2=0.25；ν1(p)t是融合連續(xù)幀間差和分割結果反饋的監(jiān)測變量；ν2(p)t直觀地反映了當前像素值與背景匹配的程度，通過相同的指數(shù)函數(shù)將其映射成同尺度的控制因子，用于控制β(p)t的增減；β(p)t是閾值自適應調節(jié)因子，β(p)t≥1，最終反映了環(huán)境的動態(tài)程度.β(p)t值在動態(tài)區(qū)域快速提升，隨著環(huán)境變化趨于平穩(wěn)時會抑制幅值的上升；在靜態(tài)背景區(qū)域會下降，環(huán)境越穩(wěn)定，下降越快.nt(p)表示t時刻匹配到的背景樣本個數(shù)，若匹配個數(shù)不變或有所增加，說明當前像素與背景之間能夠較好地匹配，則ν1(p)此次不考慮幀間差的變化.在閾值調節(jié)過程中，當前前景區(qū)域閾值暫時保持不變，即Xt(p)=0且F(p)t=1的區(qū)域.

2 實驗結果

實驗數(shù)據(jù)包括北京東郊環(huán)形鐵道測試基地5個場景的視頻序列，以及京滬高鐵2個場景的視頻序列，視頻內容描述如表1所述，涵蓋了典型的異物入侵情況.為驗證本文算法的有效性，與ViBe[6]、PBAS[7]、WeSamBE[9]、SuperBE[10]和 CNN[14]算法進行定量、定性比較分析，還分析了算法的運行速度.實驗中，針對每個場景視頻序列，在1組閾值范圍內找到每個算法的最佳閾值，CNN采用了原文所述的訓練方式.

2.1 定量評價

為定量評價算法的性能，考慮視頻相鄰幀之間的相似性和手工標注的復雜性，從原始視頻序列選擇1/7數(shù)量的圖像進行手工標注，將綜合準確率(F-Measure，MFM)和整體誤分類率(MWCR)作為衡量指標.

式中：TN是正確分類為背景的像素；TP是正確分類為前景的像素；FN是錯誤分類為背景的像素；FP是錯誤分類為前景的像素.

表1 視頻內容描述Table 1 Video content description

不同算法的綜合準確率和整體誤分類率如表2和表3所示，粗體字表示最佳性能.

表 2 綜合準確率(MFM)對比Table 2 Comparison ofMFM

表 3 整體誤分類率(MWCR)對比Table 3 Comparison ofMWCR

從表2和表3可以看出，基于自適應閾值調節(jié)的本文算法和PBAS的平均MFM和MWCR值優(yōu)于ViBe算法，超像素級SuperBE算法精度不高，CNN表現(xiàn)極端的原因是依賴于訓練過程，在測試場景中WeSamBE的調節(jié)效果不佳.表2中，本文算法在4個視頻上獲得了最佳性能，2個視頻上獲得了第二好性能，最終在7個視頻上取得了0.894 3的最佳準確率；表3中，本文算法在3個視頻上取得了最佳性能，另外3個視頻上取得了第二好性能，獲得了0.014 5的平均誤分類率.整體而言，本文算法的表現(xiàn)優(yōu)于其他算法.

2.2 定性評價

圖4可視化了不同算法的目標檢測結果，每組圖依次是原圖、真值、ViBe、PBAS、WeSamBE、SuperBE、CNN和本文算法.

圖4 本文算法與其他算法的對比結果Fig.4 Comparison results between proposed method and other methods

CNN的檢測結果依賴訓練數(shù)據(jù)：若訓練和測試數(shù)據(jù)中目標具有相似的姿態(tài)，則效果最好，如圖4(a)、(c)、(d)所示；若訓練集是小目標，而測試數(shù)據(jù)出現(xiàn)了大目標，則檢測效果差，如圖4(b)、(g)所示.異物可能是各種姿態(tài)的，所以傳統(tǒng)的差分算法更加可靠.SuperBE是超像素級的方法，誤檢是以超像素為單位的，相較于像素級算法精確度偏低，如圖4(e)所示；對大目標友好，對小目標不友好，如圖4(b)、(e)、(f)所示；圖4(h)、(i)中的錯誤，可能來源于特征響應的誤差.鐵路場景存在很多邊緣，相機輕微的抖動易造成誤檢.ViBe算法采用固定的閾值，導致噪聲較多；PBAS在部分視頻序列上的表現(xiàn)好于ViBe，但控制因子僅考慮了觀察值與背景的最小距離，閾值調節(jié)能力不足；WeSamBE的效果較差，樣本權值與閾值調節(jié)的耦合沒有起到積極作用；本文自適應閾值算法融合了豐富的時空信息，提升了檢測性能.

2.3 運行速度分析

不同算法的運行速度如表4所示，包括各算法在原始論文中使用的硬件平臺、速度和統(tǒng)一平臺上的測試，計算處理固定50 frame的時間并取均值.統(tǒng)一平臺配置為：win10，Intel(R)Xeon(R)CPU E5-2620 v4@2.10 GHz，python版本為3.6.5，C++代碼基于VS2017編譯運行，CNN網絡模型基于Keras2.2.4搭建并在CPU下測試，測試圖像為640×360的三通道圖像.

表4 運行速度Table 4 Running speed

從表4可以看出：在相同的條件下，本文算法的速度靠近ViBe的1/2；不同測試平臺下算法的運行速度差距較大，本文算法通過優(yōu)化，采用更好的硬件配置可滿足實時性.CNN模型參數(shù)多，需要計算特征圖，占用內存比傳統(tǒng)差分算法大；相較于其他傳統(tǒng)差分算法，本文算法的中間量偏多，故內存占用較高.

3 結論

針對復雜的鐵路場景，本文提出了基于自適應閾值的前景目標分割算法和靈活可靠的背景初始化算法，動態(tài)閾值能夠提升復雜場景下前景目標的檢測精度，初始化算法消除了鬼影問題.實驗證明，本文算法在速度和精度之間取得了較好的平衡，可應用于鐵路異物入侵監(jiān)測系統(tǒng)，為目標識別、入侵行為理解等提供預處理過程，為鐵路的運營安全提供支持.