基于運動和亮度顯著性的森林煙霧分割方法

趙楠 王曉薇

摘? 要：本文提出了一種基于運動和亮度顯著性檢測的煙霧區(qū)域分割方法，目的是解決傳統(tǒng)的運動檢測方法對于樹葉抖動、攝像機抖動等不顯著的運動區(qū)域比較敏感的問題。采用低秩結(jié)構(gòu)化稀疏分解方法提取前景區(qū)域，然后計算煙霧的顯著性，以便進一步分離。我們提出一種基于自適應(yīng)參數(shù)的群稀疏魯棒標(biāo)準(zhǔn)正交子空間學(xué)習(xí)（ROSL）的顯著性測量方法。實驗表明，該方法能夠很好地處理大范圍的煙霧視頻，并能獲得較好的煙霧檢測結(jié)果。

關(guān)鍵詞：煙霧分割;運動顯著性;亮度顯著性;群稀疏ROSL

中圖分類號：TP399? ? ?文獻標(biāo)識碼：A

A Forest Smoke Segmentation Method based on

Saliency of Motion and Brightness

ZHAO Nan， WANG Xiaowei

（Software College， Shenyang Normal University， Shenyang 110034， China）

17624050721@163.com; wangxwvv@gmail.com

Abstract： This paper proposes a smoke region segmentation method based on motion and brightness saliency detection， aiming at problems that traditional motion detection methods are sensitive to insignificant motion regions such as leaf shake and camera shake. The low-rank structured sparse decomposition method is used to extract foreground area， and then smoke saliency is calculated for further separation. We propose a saliency measurement method for group-sparse Robust Orthogonal Subspace Learning （ROSL） by virtue of adaptive parameters. Experiments show that the proposed method can work well on a wide range of smoke videos， and obtain better smoke detection results.

Keywords： smoke segmentation; motion saliency; brightness saliency; group-parse ROSL

Abstract： This paper proposes a smoke region segmentation method based on motion and brightness saliency detection， aiming at problems that traditional motion detection methods are sensitive to insignificant motion regions such as leaf shake and camera shake. The low-rank structured sparse decomposition method is used to extract foreground area， and then smoke saliency is calculated for further separation. We propose a saliency measurement method for group-sparse Robust Orthogonal Subspace Learning （ROSL） by virtue of adaptive parameters. Experiments show that the proposed method can work well on a wide range of smoke videos， and obtain better smoke detection results.

Keywords： smoke segmentation; motion saliency; brightness saliency; group-parse ROSL

1? ?引言（Introduction）

森林火災(zāi)探測與預(yù)防是一門重要的學(xué)科，因為它對人類的生命和財產(chǎn)有著重大的影響。然而由于人類活動的廣泛性和自然環(huán)境的多變性等因素的影響，森林火災(zāi)具有突發(fā)性并且時有發(fā)生[1]。森林火災(zāi)一旦發(fā)生，便會很快擴散蔓延，造成林木資源成片燒毀，森林中動植物受害，引發(fā)一系列不可預(yù)估的問題[2]。煙霧作為火災(zāi)或火焰爆發(fā)前的早期階段，應(yīng)及時探測到，為救援爭取更多時間。近年來，基于視覺的煙霧探測方法因其優(yōu)于常規(guī)的電離或光電探測方法而受到越來越多的關(guān)注?；谝曈X的煙霧檢測技術(shù)大多采用模式識別范式，通過運動檢測將候選煙霧區(qū)域從背景中分割出來[3]，或者對輸入圖像/視頻進行預(yù)處理并分塊[4]。這些技術(shù)高度依賴于識別出可靠煙霧信息的視覺特征。因此，識別候選煙霧區(qū)域是基于視覺的煙霧檢測的關(guān)鍵組成部分。在本文中，我們提出了一種基于運動和亮度顯著性的煙霧分割檢測方法，采用群稀疏ROSL方法[5]進行低秩背景和稀疏前景的分解，分別采用結(jié)構(gòu)化稀疏法和群稀疏法進行煙霧成分提取。

2? 基于運動和亮度顯著性的煙霧分割（Smoke segmentation based on motion and brightness saliency）

本文提出的方法采用低秩、結(jié)構(gòu)稀疏分解模型和全局顯著性計算方法對候選煙霧區(qū)域進行遮擋，然后計算煙霧顯著性，以評估煙霧區(qū)域的可能性。使用ROSL方法，通過運動顯著性檢驗從背景中得到前景異常值，在實驗室顏色空間中對煙霧的亮度值進行了分析，亮度顯著性計算進一步確定了顯著煙霧區(qū)域，采用群稀疏ROSL方法對煙霧區(qū)域進行最終判定。

2.1? ?候選煙霧區(qū)域分離

通過將觀察到的視頻分解為前景和背景，可以與其他運動物體一起提取出粗糙的候選煙霧區(qū)域。分解模型可以表示為：

X是視頻的觀察矩陣（n幀，每幀m像素），B和E分別表示背景和前景矩陣。對B和E的分解性質(zhì)進行了研究，通常假設(shè)背景圖像之間是線性相關(guān)的，形成一個低秩矩陣，而前景被認為是稀疏的異常值。因此，低秩背景和稀疏前景的分解可以通過最小化矩陣B的秩和矩陣E的非零項的分數(shù)來解決。SHU等人提出了一種ROSL方法，將普通標(biāo)準(zhǔn)正交子空間下的低秩矩陣B表示為：

背景矩陣的低秩表示通常能有效地吸收某些自然變化?？紤]到煙霧區(qū)域的微弱痕跡應(yīng)保留在背景中，對下采樣圖像序列進行稀疏誘導(dǎo)范數(shù)法，提取出一致且顯著的煙霧區(qū)域。在這里，我們對顯著煙霧區(qū)域檢測的算法為：

2.2? ?顯著性計算

2.2.1? ?全局顯著性計算

人類視覺對像素值較大的前景非常敏感，而能夠保持在顯著區(qū)域的像素值較小的區(qū)域必須滿足高斯分布。為了實現(xiàn)煙霧顯著性圖，我們首先計算煙霧候選區(qū)域的全局顯著性圖，這里使用全局閾值來過濾前景中的噪聲：

2.2.2? ?運動顯著性計算

初始運動顯著性圖的公式如下：

煙霧通常會緩慢移動，從而使某些像素屬于同一移動煙霧區(qū)域。它們在局部上具有相似的特征，這使得A像素在B幀中其相鄰像素都是顯著的情況下，喪失顯著性的可能性很大。為了減少像素丟失對運動對象的影響，我們通過進一步考慮空間信息來優(yōu)化初始運動顯著性的結(jié)果，使用高斯函數(shù)對像素點進行召回，如下所示：

在不丟失顯著圖像素的情況下，本文將設(shè)置為，這樣就可以調(diào)出距離為的顯著圖附近的丟失像素。

為了去除一些絕對值較小的顯著性像素，采用自適應(yīng)閾值選擇措施，假設(shè)顯著性映射中的像素滿足高斯分布，還需要剔除一組超出人類視覺感知范圍的值更小的像素。因此，去除噪聲的自適應(yīng)閾值如下：

2.2.3? ?亮度顯著性計算

為了進一步確認早期煙霧顯著性圖，有許多顏色模型來描述煙霧以增強煙霧區(qū)域，而不是分割從而抑制非增強區(qū)域。在著火的初期，悶燒總是在火焰之前發(fā)生。煙霧成分主要是焦油球，其吸光度比煙灰顆粒弱，因此其顏色大部分為灰白色，在實驗室空間中，“L”的亮度維度可以很好地匹配人類對亮度的感知。因此，在進行總體顯著性運動檢查之后，我們進一步增強了實驗室顏色空間中的煙霧顯著性運動區(qū)域，提出了一種基于L維亮度分析的煙霧增強算法。

灰色的亮度值從L=80到H=220可以增強煙霧區(qū)域與其他暗區(qū)的聯(lián)系。我們將這個范圍從L*=0到H*=255非線性地重新映射成一個新的范圍。

隨著的增加，黑暗區(qū)域和明亮煙霧之間的對比度變得更強。我們設(shè)置。通過這種增強，可以消除外部的亮度，同時看起來輸出圖像的對比度得到改善。我們還通過將替換為相應(yīng)的亮度值，以獲得亮度顯著性圖。

經(jīng)過此過程，我們可以通過將亮度顯著性與上述前景的運動顯著性相關(guān)聯(lián)來獲得煙霧顯著性：

由于我們已經(jīng)得到了全局顯著性圖，在全局顯著性區(qū)域內(nèi)，通過分別計算運動顯著性圖和亮度顯著性圖的像素值來計算運動顯著性圖和亮度顯著性圖的平均顯著性值和。最終煙霧的平均顯著性值為這兩個平均顯著性值的和：

2.3? ?群稀疏ROSL用于顯著煙霧區(qū)域分割

通過煙霧顯著性計算，篩選出符合人眼視覺系統(tǒng)的顯著煙霧區(qū)域。為了更廣泛地提取煙霧區(qū)域，采用了一種帶有自適應(yīng)正則化參數(shù)的群稀疏ROSL方法，確保所有遵守運動和亮度顯著性的煙霧區(qū)域都可以捕獲到異常值矩陣。我們設(shè)對應(yīng)的B為：

表示第i域相對于所有區(qū)域中最小值的平均顯著性值。我們設(shè)，對最終的煙霧檢測進行群稀疏ROSL：

本文利用IALM求解凸優(yōu)化問題。為了解決群稀疏問題，我們利用一組軟閾值運算符對拉格朗日函數(shù)進行最小化。軟閾值（GS[·]）運算符表示為：

我們測試了視頻的不同幀，以上所有這些步驟保證了一個完整的顯著且濃密的煙霧區(qū)域，而且可能性很高，并且不受背景運動的干擾。

3? 實驗及結(jié)果分析（Experiments and results analysis）

在本節(jié)中，通過實驗證明了我們的方法能夠有效地進行顯著煙霧分割，從較高的準(zhǔn)確率和較低的誤報率的意義上看，能夠更好地進行煙霧檢測。

3.1? ?煙霧分割

我們專注于森林早期煙霧檢測，煙霧視頻是從公共視頻剪輯中收集或自己拍攝的。利用七個具有不同挑戰(zhàn)的視頻進行實驗，評估了所提出的煙霧分割方法的性能。

我們將所提出的方法與其他常用的方法進行比較，包括LIU的方法[6]、JIA的方法[7]、ROSL[5]、GMM[8]、ViBe[9]。通過實驗得知，Liu的方法和本文提出的方法能夠容忍更多的背景運動，而其他方法由于攝像機抖動而在前景中留下過多的背景信息。Jia的方法通過增強煙霧亮度圖像來識別煙霧區(qū)域，利用增強后的圖像和運動能量對疑似煙霧區(qū)域進行估計，更多的非煙霧明亮區(qū)域被過濾掉。但是，由于攝像機抖動等原因，對于動態(tài)背景的場景來說，魯棒性不強。在使用結(jié)構(gòu)化稀疏和運動顯著性檢查方面，LIU的方法要優(yōu)于JIA的方法。此外，亮度顯著性計算使分割更加關(guān)注類煙區(qū)域，從而在檢測出煙霧之前可以過濾掉其他一些物體。研究表明，其他方法在剛體檢測方面有一定的優(yōu)勢，但在復(fù)雜的森林環(huán)境和煙霧透明變化區(qū)域的檢測中都不能很好地實現(xiàn)。