基于最優(yōu)質(zhì)量傳輸光流法和神經(jīng)網(wǎng)絡(luò)的火焰和煙霧檢測(cè)

王衛(wèi)兵　徐倩　韓再博

摘要：針對(duì)傳統(tǒng)光流法不適用于氣體和液體等圖像檢測(cè)的問題，提出了使用最優(yōu)質(zhì)量傳輸光流作為復(fù)雜過程的低維描述符用于火焰和煙霧檢測(cè)的方法。檢測(cè)過程可以抽象成一種關(guān)于時(shí)空像素鄰域的監(jiān)督式貝葉斯分類問題，其特征矢量是由最優(yōu)質(zhì)量傳輸光流速度和R、G、B顏色通道構(gòu)成的，并采用單隱層神經(jīng)網(wǎng)絡(luò)分類器進(jìn)行特征提取，最后通過分析像素概率來判斷屬于火焰或者是煙霧。實(shí)驗(yàn)結(jié)果表明，該方法成功的區(qū)分了煙霧和顏色相似的白云，同樣區(qū)分了火焰和與火焰顏色相似的背景，具有較強(qiáng)的魯棒性。

關(guān)鍵詞：最優(yōu)質(zhì)量傳輸，神經(jīng)網(wǎng)絡(luò)，視頻檢測(cè)，監(jiān)督式分類

中圖分類號(hào)：TP183 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1007-2683（2017）01-0086-05

0 引言

目前，火焰檢測(cè)大多是通過使用點(diǎn)式光電感煙探測(cè)技術(shù)來執(zhí)行的。這些方法在大的，開放空間和有固定延時(shí)的情況下檢測(cè)效果不好，這是因?yàn)槿紵Ｗ铀竭_(dá)傳感器所用時(shí)間的影響。文僅使用像素的顏色信息最為特征來檢測(cè)。文中的檢測(cè)方法使用傅里葉描述符來描述火焰的邊界。在文中，使用小波分析來解決FFT執(zhí)行時(shí)窗口的選擇問題。這種方法依賴于小波能量，尋找小波能量最低且對(duì)噪聲是敏感的點(diǎn)。文中，作者提出一種系統(tǒng)，這種系統(tǒng)建模火焰像素作為一種固定空間像素小波系數(shù)的隱馬爾科夫模型，這種固定空間像素是在三中狀態(tài)之間變化的變量。此外，他們使用邊界區(qū)域光滑作為分類變量。這兩個(gè)屬性相結(jié)合作為一個(gè)弱分類器。在文中非煙區(qū)域使用背景估計(jì)和顏色信息進(jìn)行濾波。然后，計(jì)算Lucas-Ka-nade光流并且使用流的統(tǒng)計(jì)信息來訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

這些方法有一個(gè)共同點(diǎn)，就是不試圖區(qū)分類獨(dú)立的像素。本文為了檢測(cè)火焰和煙霧，同樣不去使用獨(dú)立的像素，以利于與火焰、火災(zāi)煙霧顏色相近的實(shí)物的區(qū)分?；谠撝饕芯磕康?，提出了基于最優(yōu)質(zhì)量傳輸光流法的檢測(cè)算法，并結(jié)合神經(jīng)網(wǎng)絡(luò)，對(duì)火焰和煙霧進(jìn)行檢測(cè)。

1 分類器特征選擇

目前大多數(shù)的檢測(cè)方法都是基于啟發(fā)式模型，這種模型描繪火或者煙的大約特征，但這往往不是最優(yōu)的。一個(gè)最基本的方法是從描述煙或者火的訓(xùn)練數(shù)據(jù)中學(xué)習(xí)，訓(xùn)練一個(gè)分類器如神經(jīng)網(wǎng)絡(luò)等。訓(xùn)練和測(cè)試的原理如圖1所示。

計(jì)算一個(gè)圖像序列的光流，而不是簡(jiǎn)單的幀差，這允許考慮成像過程所期望的屬性；接下來會(huì)討論原因，基于最優(yōu)質(zhì)量傳輸?shù)墓饬鞅挥?jì)算用于火的分類，Horn-Schunck光流用于煙霧區(qū)域的分類。

圖1（a）通過人工標(biāo)記樣本圖像序列創(chuàng)建訓(xùn)練數(shù)據(jù)。樣本含有時(shí)空像素鄰域，這個(gè)鄰域被標(biāo)記是否含有火，煙或者二者都沒有。通過系數(shù)矩陣有限差分求解器來計(jì)算最優(yōu)質(zhì)量傳輸光流。特征矢量是由含有R、G、B顏色通道和光流速度形成的，且特征矢量通過一個(gè)反向傳播神經(jīng)網(wǎng)絡(luò)分類器進(jìn)行分類處理。

圖1（b）在一個(gè)新的視頻幀中使用訓(xùn)練的分類器權(quán)重為每個(gè)像素鄰域創(chuàng)建特征適量測(cè)試分類器。最終的輸出含有每個(gè)像素類成員的概率（煙、火都沒有）。

1.1 最優(yōu)質(zhì)量傳輸

最優(yōu)質(zhì)量傳輸問題起初是由Gaspar Monge在1781年提出的，且關(guān)注尋找將一堆土從一個(gè)地點(diǎn)移動(dòng)到另一個(gè)地點(diǎn)最優(yōu)的方式，其意義在于最小化傳輸成本。這個(gè)問題在Kantorovich研究中被給出一種數(shù)學(xué)構(gòu)造，這就是熟知的Monge-Kantorovich問題。

我們現(xiàn)在給出Monge-Kantorovich問題的構(gòu)造。令Ω₀和Ω₁是R^d的兩個(gè)子域，擁有光滑的邊界，每個(gè)有一個(gè)正的密度函數(shù)，分別是μ₀和μ₁。我們假設(shè)

這項(xiàng)總的相同質(zhì)量是與Ω₀和Ω₁有關(guān)的。我們認(rèn)為微分同胚映射u是從（Ω₀，μ₀）到（Ω₁，μ₁），微分同胚映射的意義是映射一個(gè)密度到其他的密度

（1）

也許有許多這樣的映射，并且從某種意義上來說我們想要選擇一種最優(yōu)的。因此，定義LPKantorovich-Wasserstein度量標(biāo)準(zhǔn)如下：

（2）

（3）式中|Hω|表示ω的海森行列式。

因此，Kantorovich-Wasserstein度量定義兩個(gè)質(zhì)量密度的距離，通過考慮式（2）給出的公式計(jì)算從一個(gè)域到另一個(gè)域最便宜的方式，最優(yōu)傳輸映射在p=2是情況下，是某一種函數(shù)的梯度。這個(gè)結(jié)果的新穎之處在于，它像平面上的Riemann映射理論，這個(gè)過程指出一個(gè)特定的偏愛幾何學(xué)的映射。

1.2 光流法

光流是一種計(jì)算方法來計(jì)算在很短時(shí)間差內(nèi)一組圖像間運(yùn)動(dòng)。主要的思想是每個(gè)圖像的灰度值在兩幀圖像間是不變的。這導(dǎo)出光流約束方程

（4）

（5）

注意方程（5）的一個(gè)潛在的假設(shè)是亮度恒定。在這種假設(shè)下，一個(gè)物體的亮度從一幀到另一幀是恒定的。這個(gè)假設(shè)適用于一個(gè)朗伯表面剛性物體但不是用于氣體和液體材料。在計(jì)算機(jī)視覺中，這些通過所謂的動(dòng)態(tài)紋理建模。煙和火的典型的動(dòng)態(tài)紋理具有內(nèi)在動(dòng)態(tài)，所以不能通過標(biāo)準(zhǔn)光流方法來進(jìn)行捕獲。同時(shí)，煙/火區(qū)域流的速度比周圍地區(qū)的速度快的多，通過公式（5）給出的模型可能又會(huì)產(chǎn)生很多錯(cuò)誤結(jié)果。

這篇文章的目標(biāo)是獲得更好的光流場(chǎng)模型用于火和煙霧檢測(cè)。這樣做的一個(gè)方法是基于在這些過程中物理屬性的光流。一個(gè)簡(jiǎn)單的屬性是火和煙大約使亮度守恒作為一個(gè)廣義質(zhì)量并且以文中的最優(yōu)方法進(jìn)行移動(dòng)。因此，一個(gè)恰當(dāng)?shù)臄?shù)學(xué)上的光約束不是強(qiáng)度守恒而且質(zhì)量守恒或者亮度守恒。這個(gè)模型被寫為

（6）

理由如下：

這意味著區(qū)域強(qiáng)度的總的變化率僅通過一個(gè)光流表示（邊界上進(jìn)入或者出去的）。這是一個(gè)守恒定律。但是通過散度定理

這是一個(gè)精確無窮小亮度（質(zhì)量）守恒條件。

下面是前面部分的解釋，本文提出了用于動(dòng)態(tài)紋理分割的光流：

第一項(xiàng)是優(yōu)化問題，代表移動(dòng)圖像的總質(zhì)量，第二項(xiàng)是質(zhì)量守恒光流方程。

2 神經(jīng)網(wǎng)絡(luò)分類分類器

煙霧檢測(cè)可以抽象為兩種模型，其檢測(cè)結(jié)果由給定的像素決定屬于有煙的情況或是無煙的情況。神經(jīng)網(wǎng)絡(luò)的最小二乘計(jì)算模型滿足貝葉斯判別式。輸出的結(jié)果是關(guān)于一個(gè)像素屬于某一特定類的概率，因此決定像素屬于有煙情況或是無煙情況的閾值是使用者根據(jù)其期望設(shè)定的。根據(jù)貝葉斯定理，多個(gè)事件的后驗(yàn)概率公式可以寫成如下形式：

（8）

上式中的x由C_k類滿足判別式y(tǒng)_k（x，w）具有最大值時(shí)確定。如果x屬于C_k則目標(biāo)值t_k（x）=l，否則都為零。神經(jīng)網(wǎng)絡(luò)每次輸出的誤差如下式所示：

（9）

當(dāng)樣本數(shù)量趨近無限大時(shí)，在文中可以看出，反向傳播算法最小化下面的式（10）來縮小由神經(jīng)網(wǎng)絡(luò)來產(chǎn)生的誤差

（10）式中的n代表類的數(shù)量。上式表明當(dāng)數(shù)據(jù)點(diǎn)的數(shù)量趨近與無窮時(shí)，輸出的結(jié)果的判別式等價(jià)于后驗(yàn)概率中）y_k（x，ω）≈P（C_k|x）。因此，把x指定給類C_k，也就是映射具有最大值的判別式函數(shù)，相當(dāng)于把x指定為具有最大后驗(yàn)概率的這個(gè)類。

根據(jù)貝葉斯原理，確定判別式的形式。后驗(yàn)概率如下式：

（11）

將文中a_k=ln（p（x|C_k）p（C_k））的替換，式（11）也稱為softmax函數(shù)。此式恰恰是神經(jīng)網(wǎng)絡(luò)使用的激勵(lì)函數(shù)。

假設(shè)類的條件概率密度p（x|C_k）屬于分布的限制指數(shù)族，則采用下面的形式：

（12）

將上式的密度代入式（11），得到的等式是關(guān)于a_k（x）與x成線性關(guān)系：

（13）

因此，判別式采用激勵(lì)函數(shù)的形式，當(dāng)非線性函數(shù)φ（x）的線性組合為變量時(shí)如下：

（14）式中f（·）為激勵(lì)函數(shù)。

在神經(jīng)網(wǎng)絡(luò)中的非線性函數(shù)組成了隱藏單元，這些非線性函數(shù)是根據(jù)具體情況選擇的，而且它們是關(guān)于輸入的線性組合的函數(shù)。

（15）其中h（·）是一個(gè)柔性最大值（softmax）函數(shù)。本文所使用的神經(jīng)網(wǎng)絡(luò)是完全被連接的，并且由一個(gè)含有20個(gè)隱藏單元的單隱層構(gòu)成的，這個(gè)隱藏單元在隱藏層和輸出使用softmax非線性。

3 實(shí)驗(yàn)結(jié)果

為了獲得如下結(jié)果，只需要6幀圖片來訓(xùn)練神經(jīng)網(wǎng)絡(luò)分類器。包括手動(dòng)描繪的有火、無火、有煙和無煙的區(qū)域。樣本的數(shù)量要小并且出自同一視頻中。通過提供更多明顯的樣本，例如來自不同的視頻資源的有用和沒用的數(shù)據(jù)樣本?？梢允狗诸惼鳈z測(cè)更多的視頻。

神經(jīng)網(wǎng)絡(luò)分類器的輸出結(jié)果為每個(gè)像素的后驗(yàn)概率p（C_k|x），這里的類C_k指的是有火或煙和無火或煙，x是給定像素的特征向量，圖2中顯示了分類器的一個(gè)樣本輸出中一幀圖像的所有像素。根據(jù)閾值可以選擇像素的類，圖2顯示的是煙，圖3顯示的是火。

對(duì)圖2所示的圖片進(jìn)行特征向量提取和相鄰時(shí)空像素最優(yōu)質(zhì)量傳輸光流速度值計(jì)算，并提供給神經(jīng)網(wǎng)絡(luò)分類器。輸出的每個(gè)像素的概率屬于煙的類。如圖2（b）所示，這種選擇是根據(jù)閾值概率做出的。可見白煙是從白墻中區(qū)分出來的。

將圖3所示的一組圖像序列提供給神經(jīng)網(wǎng)絡(luò)分類器，這個(gè)分類器已經(jīng)通過有火和無火的圖像訓(xùn)練過。這時(shí)，分類器通過給定的閾值概率來標(biāo)記圖像中火焰。

4 結(jié)論

基于視頻的火焰和煙霧檢測(cè)是一種非常關(guān)鍵且重要的檢測(cè)方法，它允許一個(gè)相機(jī)覆蓋較大的檢測(cè)面積，且很容易集成到現(xiàn)有的視頻監(jiān)控系統(tǒng)中。對(duì)于視頻火焰和煙霧檢測(cè)，為解決傳統(tǒng)光流法不適用于氣體和液體等圖像檢測(cè)的問題，本文提出了一種基于最優(yōu)質(zhì)量傳輸光流計(jì)算方法，該方法將檢測(cè)過程抽象為一種關(guān)于時(shí)空像素鄰域的監(jiān)督式貝葉斯分類問題，其特征矢量由最優(yōu)質(zhì)量傳輸光流速度和R、G、B顏色通道構(gòu)成，并采用單隱層神經(jīng)網(wǎng)絡(luò)分類器進(jìn)行特征提取，最后通過分析像素概率來判斷屬于火焰或者是煙霧。這種方法涉及到轉(zhuǎn)換過程的物理性質(zhì)，這種性質(zhì)通過訓(xùn)練一個(gè)分類器來檢測(cè)火焰和煙霧，而不是傳統(tǒng)的通過創(chuàng)建一個(gè)啟發(fā)式的檢測(cè)方法。實(shí)驗(yàn)結(jié)果表明，該方法成功的區(qū)分了煙霧和顏色相似的白云，同樣區(qū)分了火焰和與火焰顏色相似的背景，具有較強(qiáng)的魯棒性。

（編輯：溫澤宇）