改進(jìn)局部三值模式的煙霧識(shí)別和紋理分類*

李 鋼，袁非牛，夏 雪，章 琳，5，雷幫軍

1.江西財(cái)經(jīng)大學(xué) 信息管理學(xué)院，南昌330032

2.水電工程智能視覺監(jiān)測湖北省重點(diǎn)實(shí)驗(yàn)室（三峽大學(xué)），湖北 宜昌443002

3.宜春學(xué)院 數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院，江西 宜春336000

4.上海師范大學(xué) 信息與機(jī)電工程學(xué)院，上海201418

5.江西科技師范大學(xué) 數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院，南昌330038

1 引言

火災(zāi)發(fā)生時(shí)，煙霧出現(xiàn)通常比火焰更早、更明顯，是火災(zāi)初期的重要表征。準(zhǔn)確且快速地檢測煙霧有助于盡早做出火災(zāi)預(yù)警，更好地保障人們的生命和財(cái)產(chǎn)安全。傳統(tǒng)的煙霧檢測方法主要是利用傳感器檢測煙霧，監(jiān)測區(qū)域范圍小且封閉，易受到煙霧擴(kuò)散緩慢而延遲報(bào)警?；谝曨l的煙霧檢測利用了煙霧的視覺特征（如紋理、顏色、運(yùn)動(dòng)等），能夠監(jiān)測更大的區(qū)域，具有響應(yīng)速度快、成本低、不易受環(huán)境影響等優(yōu)點(diǎn)，已成為早期火災(zāi)預(yù)警的發(fā)展趨勢(shì)。煙霧識(shí)別作為煙霧檢測的重要環(huán)節(jié)，如何在提高煙霧識(shí)別檢測率的同時(shí)降低誤報(bào)率是當(dāng)前的主要技術(shù)難題。

變換域特征提取方法和局部模式特征提取方法是兩種常用的煙霧特征提取方法[1]，為獲得更好的煙霧檢測識(shí)別效果，可以結(jié)合這兩種方法來提取特征。小波變換能提取圖像的高頻和低頻信息，具有多分辨率特性，文獻(xiàn)[2-3]都通過使用煙霧的擴(kuò)散特性和小波高頻能量提取煙霧特征來實(shí)現(xiàn)煙霧檢測。Gabor 小波作為一種小波變換，具有空間局部性、方向性、多尺度和光照不敏感等特性，文獻(xiàn)[4]構(gòu)建了一個(gè)多層Gabor網(wǎng)絡(luò)來提取圖像特征實(shí)現(xiàn)煙霧識(shí)別，文獻(xiàn)[5]通過設(shè)計(jì)聚合Gabor 核和改進(jìn)局部二值模式（local binary pattern，LBP）進(jìn)行圖像煙霧識(shí)別。局部模式特征提取方法在煙霧檢測識(shí)別領(lǐng)域也有很好的表現(xiàn)。文獻(xiàn)[6-7]都采用了LBP提取煙霧的紋理特征實(shí)現(xiàn)煙霧識(shí)別，文獻(xiàn)[8]采用了局部三值模式（local ternary pattern，LTP）提取煙霧的紋理信息來實(shí)現(xiàn)煙霧識(shí)別。相對(duì)于LBP，LTP對(duì)光照變化和噪聲干擾具有更好的魯棒性。較少使用LTP進(jìn)行煙霧檢測識(shí)別，可能是因?yàn)長TP需要設(shè)定一個(gè)自定義閾值，不能很好地適用于所有樣本圖像。

針對(duì)傳統(tǒng)LTP 的固定閾值不能適合所有圖像的問題，本文提出了一種改進(jìn)的局部三值模式——基于置信水平的局部三值模式（local ternary pattern based on confidence level，CLLTP），通過置信水平來動(dòng)態(tài)調(diào)整LTP的閾值，提高LTP的適應(yīng)性。為提高煙霧識(shí)別的檢測率和降低誤報(bào)率，本文結(jié)合局部模式（CLLTP）和變換域（Gabor 特征圖）提出了基于CLLTP 的組合特征模型（multi-CLLTP，M_CLLTP）。該模型提取了Gabor 特征圖的CLLTP（local Gabor ternary pattern based on confidence level，CLLGTP）特征，增加了模型特征的多方向、多尺度等特性，通過利用Gabor 特征圖的信息熵計(jì)算CLLGTP 特征的權(quán)重，生成加權(quán)的CLLGTP（weighted CLLGTP，WCLLGTP）特征，增強(qiáng)了模型的特征表達(dá)能力。該模型還提取了邊緣特征圖的CLLTP（local edge ternary pattern based on confidence level，CLLETP）特征，進(jìn)一步提高了模型的特征表達(dá)能力。

煙霧通常被視為是一種紋理，故煙霧識(shí)別被視為是紋理分類，煙霧識(shí)別的方法也可用于實(shí)現(xiàn)紋理分類。因此，煙霧識(shí)別采用了紋理分類相同的實(shí)現(xiàn)框架，主要包括特征提取和圖像分類兩個(gè)階段[1]。為說明M_CLLTP模型對(duì)煙霧和其他紋理的適用性，本文分別在煙霧和紋理數(shù)據(jù)庫上進(jìn)行了對(duì)比實(shí)驗(yàn)。

2 相關(guān)知識(shí)

2.1 局部三值模式

局部三值模式（LTP）部分繼承了LBP 對(duì)光照不敏感的優(yōu)點(diǎn)，比LBP具有更好的抗噪性。LTP通過預(yù)設(shè)一個(gè)固定閾值，可在一定程度上消除噪聲的影響。LTP的三值化函數(shù)如下：

其中，v為鄰域像素gi與其中心像素gc的差值，即v=gi-gc，t為自定義的固定閾值。3×3局部窗口中的LTP編碼公式如下：

根據(jù)式（2），LTP 特征的維數(shù)將達(dá)到38。為降低特征維數(shù)，可將LTP 編碼分解為兩個(gè)類似LBP 的編碼，即局部三值正、負(fù)模式LTUP（local ternary upper pattern）和LTLP（local ternary lower pattern），并將生成的兩個(gè)類似LBP的特征向量連接，得到29維的LTP特征。

2.2 Gabor核函數(shù)

Gabor 變換為加窗的傅里葉變換，利用Gabor 變換可以在頻域的不同尺度、不同方向上提取相關(guān)特征。具有對(duì)稱高斯包絡(luò)的Gabor核函數(shù)如下：

其中，(x,y)為所給圖像的坐標(biāo)位置，u表示指定的方向，v表示指定的尺度，σ為決定Gabor 濾波器帶寬的系數(shù)，j 為虛數(shù)符號(hào)。本文中u∈{0,1,…,7}，v∈{0,1,…,4}，φu=u×π/8，kv=2-(2+v)/2π，σ=π/2。由此，Gabor核函數(shù)可得到40種復(fù)數(shù)響應(yīng)值。

2.3 Canny邊緣檢測

Canny算子在圖像處理領(lǐng)域已得到廣泛應(yīng)用，對(duì)不同邊緣的檢測都有良好的表現(xiàn)。Canny 算子進(jìn)行邊緣檢測主要包括4步：先用二階高斯濾波器平滑圖像，減少噪聲干擾；再利用一階偏導(dǎo)的有限差分方法對(duì)平滑后的圖像進(jìn)行運(yùn)算，生成圖像的梯度幅值和方向；然后對(duì)梯度幅值進(jìn)行非極大值抑制；最后采用雙閾值去除偽邊緣得到最終邊緣。

采用Canny算子檢測邊緣的過程中，通常需要自定義3個(gè)參數(shù)：平滑圖像時(shí)的二階高斯濾波器的方差參數(shù)σC，去除偽邊緣時(shí)的高閾值TH和低閾值TL。

3 基于CLLTP的組合特征模型

3.1 特征提取總體框架

為提取每幅原始圖像的最終特征，本文設(shè)計(jì)了基于CLLTP的組合特征模型（M_CLLTP）。圖1給出了該模型的處理框圖，主要包含以下4個(gè)步驟：

（1）提取CLLTP 特征。利用CLLTP 直接提取原圖的CLLTP特征。

Fig.1 Processing framework of M_CLLTP model圖1 M_CLLTP模型的處理框圖

（2）提取WCLLGTP 特征，即提取Gabor 特征圖的加權(quán)的CLLTP 特征。利用Gabor 核（虛部）對(duì)原圖進(jìn)行卷積生成40幅Gabor特征圖，提取Gabor特征圖的CLLGTP特征；通過計(jì)算這40幅Gabor特征圖的信息熵來計(jì)算每個(gè)CLLGTP特征的權(quán)重，再對(duì)CLLGTP特征進(jìn)行加權(quán)得到WCLLGTP特征。

（3）提取CLLETP 特征，即提取邊緣特征圖的CLLTP 特征。利用自適應(yīng)的Canny 算子提取原圖的邊緣特征生成二值的邊緣特征圖，再提取邊緣特征圖的CLLTP特征，即得到CLLETP特征。

（4）生成M_CLLTP 特征。串聯(lián)CLLTP 特征、WCLLGTP 特征和CLLETP 特征，生成圖像的M_CLLTP特征。

圖1 中，提取的3 種特征CLLTP、WCLLGTP 和CLLETP分別表示原圖的紋理特征、具有多尺度多方向的深層次的紋理特征和含邊緣信息的特征。煙霧被視為是一種紋理，直接提取原圖的CLLTP特征，就是提取原圖的紋理特征。Gabor 特征圖是原圖與Gabor 核卷積后所得，保留著大量的紋理信息，表達(dá)了原圖中更深層次的紋理特征，且具有多尺度、多方向特性。因此，在Gabor特征圖上提取的CLLGTP特征可以被視為是含有多尺度、多方向的深層次的紋理特征。WCLLGTP特征是加權(quán)的CLLGTP特征，可以增強(qiáng)CLLGTP 特征的表達(dá)能力。邊緣特征圖是對(duì)原圖進(jìn)行邊緣檢測所得，描述了圖像中物體的邊緣。煙霧邊緣通常模糊且彎曲，而人造物體多含有直線特征，因此可以利用這一特點(diǎn)，通過提取邊緣特征圖的CLLETP 特征來幫助識(shí)別煙霧。由于邊緣特征圖是二值的，所含信息量較原圖大大減少，故CLLETP特征在煙霧識(shí)別中只能作為輔助特征。

3.2 CLLTP模式

文獻(xiàn)[9-10]研究發(fā)現(xiàn)，在時(shí)間域上，不同場景的差分圖像在同一位置上的像素值分布基本服從正態(tài)分布；在空間域上，背景圖中的噪聲在差分圖像中的局部區(qū)域也服從正態(tài)分布。因此，為解決傳統(tǒng)LTP使用固定閾值無法適用于所有圖像樣本的問題，根據(jù)差分圖像中像素值的出現(xiàn)概率基本服從正態(tài)分布，本文提出基于置信水平的局部三值模式（CLLTP）。該模式采用差分圖像像素值概率分布的置信水平來動(dòng)態(tài)設(shè)定三值化函數(shù)的閾值，以優(yōu)化傳統(tǒng)LTP 的特征。

CLLTP 利用3×3 的局部窗口生成8 幅差分圖像后，將8幅差分圖像作為一個(gè)整體，計(jì)算不同像素值出現(xiàn)的概率；再通過設(shè)置置信水平閾值TCL(0＜TCL＜1)來計(jì)算三值化函數(shù)的高低閾值；最后利用重新定義的三值化函數(shù)計(jì)算LTUP和LTLP編碼來生成LTP特征。由于LTP 沒有旋轉(zhuǎn)模式，故LTUP 和LTLP 編碼時(shí)，本文僅采用了映射模式U2來降低LTUP和LTLP特征的維數(shù)。對(duì)于3×3 局部窗口的CLLTP 特征，利用U2映射模式后，CLLTP特征的維度為108維。

設(shè)有序集DA包含8 幅差分圖像的所有像素值，按小到大排序，初始為全集；集合PA存放DA中像素值對(duì)應(yīng)的概率值，與DA中的元素一一對(duì)應(yīng)；有序集IS和IC分別存放置信區(qū)間和候選置信區(qū)間中像素值對(duì)應(yīng)的序號(hào)（即像素值在DA中的位置序號(hào)），都按小到大排序，且初始都為空集；DA的第i個(gè)元素用DA(i)表示，PA、IS和IC類似；概率值PA(i)表示DA的第i個(gè)元素出現(xiàn)的概率；|IS|表示IS的元素?cái)?shù)量。計(jì)算LTP高低閾值的步驟如下：

步驟1設(shè)在PA中找到第一個(gè)最大概率為PA(k)，k為序號(hào)。

步驟2將像素值DA(k)加入置信區(qū)間，即將序號(hào)k選入IS中，IS=IS?{k}；然后計(jì)算置信水平值，即計(jì)算置信區(qū)間中各像素值的概率和pCL，公式為pCL=。此時(shí)如果pCL≥TCL，則轉(zhuǎn)到步驟4。

步驟3將DA(k)相鄰的像素值DA(k-1)和DA(k+1)選入候選置信區(qū)間，同時(shí)刪除候選置信區(qū)間中已選入置信區(qū)間的像素值，即有IC=IC?{k-1,k+1}-IS。此時(shí)IC僅包括與置信區(qū)間兩側(cè)相鄰的兩個(gè)像素值的序號(hào)，比較這兩個(gè)序號(hào)對(duì)應(yīng)概率的大小，選擇概率大的序號(hào)作為新的k值，即如果PA(IC(1))＞PA(IC(2))，則k=IC(1)，否則k=IC(2)，然后轉(zhuǎn)到步驟2。

步驟4以IS中最后一個(gè)和第一個(gè)元素為序號(hào)在DA中取得對(duì)應(yīng)的像素值，分別設(shè)為LTP 的高、低閾值，即高閾值tH=DA(IS(|IS|))，低閾值tL=DA(IS(1))。

得到LTP 的高低閾值后，重新定義的三值化函數(shù)為：

由上述計(jì)算步驟可知，高低閾值tH和tL是置信區(qū)間的兩個(gè)端點(diǎn)，理論上反映了差值v在[tL,tH]上的可信程度，且兩個(gè)閾值是根據(jù)原圖的差分圖像計(jì)算而得，具有很強(qiáng)的適應(yīng)性。因此，理論上基于置信水平閾值的CLLTP比基于固定閾值的LTP具有更高的可信度，所提特征具有更好的表達(dá)能力。

本文中，只使用了3×3 的局部窗口。對(duì)于利用n×n的局部窗口計(jì)算CLLTP，只需要將全部4(n-1)幅差分圖像作為一個(gè)整體，計(jì)算不同像素值出現(xiàn)的概率即可，其他計(jì)算過程完全相同。顯然，不同大小的局部窗口對(duì)CLLTP計(jì)算量的影響不大。

3.3 CLLGTP特征

在CLLTP的基礎(chǔ)上，本文提出了基于Gabor特征圖的CLLTP，即CLLGTP。在利用Gabor函數(shù)的虛部響應(yīng)生成40個(gè)Gabor核后，用Gabor核卷積原圖得到40 幅Gabor 特征圖，并利用CLLTP 方法生成40 個(gè)CLLGTP特征。此過程中，由于Gabor特征圖的像素值不是整數(shù)，且存在正負(fù)，因此為便于利用CLLTP方法提取Gabor 特征圖的特征，本文采用近似Gabor 差分圖像代替原始Gabor 差分圖像：在Gabor 特征圖的3×3局部窗口上計(jì)算得到8幅原始的Gabor差分圖像后，將這8 幅原始的Gabor 差分圖像作為一個(gè)整體，歸一化所有像素值到[0，1]之間，并按間隔0.001 進(jìn)行量化生成8幅全為整數(shù)的近似Gabor差分圖像。

3.4 WCLLGTP特征

為了提高CLLGTP 特征的表達(dá)能力，本文提出采用Gabor 特征圖的信息熵計(jì)算CLLGTP 特征的權(quán)值，并對(duì)CLLGTP 特征加權(quán)生成WCLLGTP 特征。由于Gabor特征圖的像素值不是整數(shù)，因此本文提出了計(jì)算Gabor特征圖信息熵的改進(jìn)方法。

首先將Gabor 特征圖轉(zhuǎn)換成全為整數(shù)的近似Gabor特征圖。設(shè)GIj為第j(j=1,2,…,40)幅Gabor特征圖，生成近似Gabor特征圖(AGIj)的公式如下：

其中，int(·)為取整函數(shù)，TZ為縮放因子（默認(rèn)為1）。

分別計(jì)算每個(gè)近似Gabor特征圖的信息熵，利用信息熵計(jì)算出每個(gè)CLLGTP特征的權(quán)值；將CLLGTP特征向量與對(duì)應(yīng)的權(quán)值相乘，即可得到WCLLGTP特征。計(jì)算第j幅近似Gabor 特征圖的信息熵Ej和對(duì)應(yīng)CLLGTP特征的權(quán)值wj的公式分別如下：

其中，N(N≥1)為近似Gabor 特征圖中不同像素值的種類數(shù)量，c為歸一化系數(shù)，pi表示近似Gabor 特征圖中第i種像素值出現(xiàn)的概率。

為了讓W(xué)CLLGTP 特征兼容地表示CLLGTP 特征，本文將歸一化系數(shù)c定義如下：

當(dāng)縮放因子TZ足夠小時(shí)，40 幅近似Gabor 特征圖像素值可全為0，像素值的種類數(shù)量全為1，信息熵全為0，所得權(quán)值將全為1。此時(shí)WCLLGTP 特征與CLLGTP 特征相同，即實(shí)現(xiàn)用WCLLGTP 特征表示CLLGTP特征。

3.5 CLLETP特征

為進(jìn)一步提高煙霧特征的表達(dá)能力，根據(jù)煙霧邊緣模糊、彎曲等特性，本文提出了基于邊緣特征圖的CLLTP，即CLLETP。

利用傳統(tǒng)的Canny 算子檢測邊緣得到邊緣圖像時(shí)，通常需要預(yù)設(shè)高、低閾值和高斯濾波方差參數(shù)。該情況下，一方面很難設(shè)定合理的雙閾值和高斯濾波方差參數(shù)，另一方面若對(duì)所有圖像采用單一閾值，容易檢測出假邊緣或丟失局部邊緣。因此，為降低設(shè)定高斯濾波方差參數(shù)的難度，本文采用了固定的高斯濾波方差參數(shù)(σC=2)；為提高雙閾值的適用性，本文將非極大值抑制后的梯度幅值圖像歸一化到[0，1]，得到新的梯度幅值圖像，然后以該梯度幅值圖像為基礎(chǔ)，利用Otsu 算法計(jì)算雙閾值并進(jìn)行去除偽邊緣等操作，最終得到完整邊緣。

為便于利用Otsu 算法計(jì)算雙閾值，本文將新的梯度幅值圖像轉(zhuǎn)換為灰度級(jí)圖像。假設(shè)存在兩個(gè)灰度值閾值k1和k2，可將梯度幅值灰度圖像的灰度值分為3 類：C1、C2和C3。其中C1表示一定是非邊緣點(diǎn)類，C3表示一定是邊緣點(diǎn)類，C2介于C1和C3之間。

計(jì)算Cj(j=1,2,3)類的零階矩和一階矩，公式分別如下：

其中，i(i=0,1,…,255)為灰度圖像的灰度值，pi為灰度值i在圖像中出現(xiàn)的概率，k0=-1，k3=255。

令μr=ω1μ1+ω2μ2+ω3μ3，并計(jì)算3 個(gè)類C1、C2和C3的類間方差為：

此時(shí)，可求得使類間方差δ2獲得最大值時(shí)的k1和k2，分別用k′1和k′2表示，進(jìn)一步可求得歸一化后的梯度賦值圖像的低閾值TL=k′1/255 和高閾值TH=k′2/255。

4 實(shí)驗(yàn)結(jié)果及分析

4.1 實(shí)驗(yàn)說明

實(shí)驗(yàn)使用Matlab 2015b作為編譯器，實(shí)驗(yàn)設(shè)備為使用i7 7700HQ 的筆記本電腦。為驗(yàn)證本文方法的可行性和有效性，本文在煙霧數(shù)據(jù)庫和兩個(gè)紋理數(shù)據(jù)庫上分別進(jìn)行了對(duì)比實(shí)驗(yàn)。

煙霧數(shù)據(jù)庫[4-5，7-8]有4 個(gè)數(shù)據(jù)集（Set1、Set2、Set3和Set4），每個(gè)數(shù)據(jù)集都包含了數(shù)量不等的煙霧和非煙霧圖像，所含圖像數(shù)量（=煙霧圖像數(shù)+非煙霧圖像數(shù)）分別為1 383（=552+831）、1 505（=688+817）、10 712（=2 201+8 511）和10 617（=2 254+8 363）。煙霧數(shù)據(jù)庫中所有圖像轉(zhuǎn)換為灰度圖像，并縮放到48×48。

兩個(gè)紋理數(shù)據(jù)庫分別為Brodatz[11]和KTH-TIPS2-a[12]。Brodatz 庫有999 幅灰度圖像，圖像大小為213×213，共有111個(gè)類別，每個(gè)類別含有9幅圖像。KTHTIPS2-a 庫有4 395 幅彩色圖像，圖像大小為200×200，含有4個(gè)數(shù)據(jù)集，每個(gè)數(shù)據(jù)集有數(shù)量不等的11個(gè)類別，每個(gè)類別均含有4種光照方向和3種位置姿態(tài)的圖像，所有圖像都被轉(zhuǎn)換成灰度圖像。

實(shí)驗(yàn)所用的評(píng)價(jià)指標(biāo)有檢測率（DR（detection rate）、真正率、召回率）、誤報(bào)率（FAR（false alarm rate）、假正率）和F1 分?jǐn)?shù)（F1-score，F(xiàn)1）等3 種，其中F1 為精確率（precision rate，PR）和召回率（DR）加權(quán)調(diào)和平均的F1 分?jǐn)?shù)，主要用來衡量分類方法的有效性，其值越大表明該分類方法的有效性越高。3個(gè)指標(biāo)的表達(dá)式分別如下：

其中，TP、FP、TN和FN分別表示真正樣本數(shù)、假正樣本數(shù)、真負(fù)樣本數(shù)和假負(fù)樣本數(shù)；PR為精確率，PR=TP/(TP+FP)×100%。

4.2 煙霧識(shí)別實(shí)驗(yàn)

煙霧識(shí)別實(shí)驗(yàn)中，置信水平閾值TCL=0.19，縮放閾值TZ=1，實(shí)驗(yàn)使用了DR、FAR和F1 等3 個(gè)指標(biāo)，實(shí)驗(yàn)期望的結(jié)果是保證較高DR和F1 的同時(shí)具有較低的FAR。為提高訓(xùn)練和測試的效率，實(shí)驗(yàn)利用了主成分分析法（principal component analysis，PCA）對(duì)本文所提特征進(jìn)行降維，并采用了徑向基核函數(shù)（radial basis function，RBF）的支持向量機(jī)（support vector machine，SVM）訓(xùn)練數(shù)據(jù)集Set1，測試數(shù)據(jù)集為Set2、Set3和Set4。

4.2.1 實(shí)驗(yàn)1：不同特征方案的對(duì)比實(shí)驗(yàn)

為說明本文方法的有效性，同時(shí)找出最佳的特征組合方案，本文設(shè)計(jì)了7個(gè)不同的特征組合方案，分別是CLLTP、CLLGTP、WCLLGTP、CLLTP+CLLGTP（簡稱G 組合）、CLLTP+CLLGTP+CLLETP（簡稱GE組合）、CLLTP+WCLLGTP（簡稱W組合）和CLLTP+WCLLGTP+CLLETP（簡稱WE組合）。表1列出了7個(gè)方案的實(shí)驗(yàn)結(jié)果，粗體為對(duì)應(yīng)指標(biāo)的最優(yōu)值。為便于比較，實(shí)驗(yàn)計(jì)算了3個(gè)測試集上各指標(biāo)的均值。

由表1中各個(gè)方案的實(shí)驗(yàn)結(jié)果可得：

（1）比較G 組合和CLLTP，G 組合在表1 所列的12 個(gè)指標(biāo)值上都要好于CLLTP。比較G 組合和CLLGTP，在3 個(gè)測試集上，G 組合在Set3 和Set4 上DR小于CLLGTP，其他7個(gè)指標(biāo)值都不差于CLLGTP；在3個(gè)均值上，與CLLGTP相比，G組合的DR均值小0.4個(gè)百分點(diǎn)，而G組合的FAR均值低0.81個(gè)百分點(diǎn)，F(xiàn)1 均值高1.0 個(gè)百分點(diǎn)。表明G 組合比單獨(dú)采用CLLTP、CLLGTP 具有更高的有效性，誤報(bào)率降低明顯，獲得較好的效果。

Table 1 Experimental results of 7 feature schemes on smoke database表1 煙霧庫上7個(gè)方案組合的實(shí)驗(yàn)結(jié)果 %

（2）比較CLLGTP 和WCLLGTP 發(fā)現(xiàn)，在3 個(gè)測試集上，WCLLGTP 在Set3 和Set4 上的DR小于CLLGTP，其他7 個(gè)指標(biāo)值都不小于CLLGTP；與CLLGTP 相比，WCLLGTP 的DR均值小0.3 個(gè)百分點(diǎn)，而WCLLGTP的FAR均值低0.83個(gè)百分點(diǎn)，F(xiàn)1均值高0.9 個(gè)百分點(diǎn)。分別比較G 組合和W 組合、GE組合和WE組合，W組合和WE組合在表1所列的12個(gè)指標(biāo)值上分別都好于G組合和GE組合。這表明，不管是單獨(dú)使用，還是組合使用WCLLGTP 特征，WCLLGTP特征的表現(xiàn)都要好于CLLGTP特征，具有更好的效果和更高的有效性。

（3）比較G 組合和GE 組合，除Set2 的FAR、Set4的DR和F1外，GE組合在3個(gè)測試集上的其他6個(gè)指標(biāo)值和3 個(gè)均值都不差于G 組合。比較W 組合和WE組合，除Set3的FAR外，WE組合在3個(gè)測試集上的其他8 個(gè)指標(biāo)值和3 個(gè)均值都不差于W 組合。表明增加邊緣特征圖的CLLETP 特征能夠進(jìn)一步提高特征的整體效果和有效性。

（4）在表1 所列的12 個(gè)指標(biāo)值上，WE 組合具有最多的最優(yōu)指標(biāo)值（10 個(gè)），且在3 個(gè)指標(biāo)均值上都是最優(yōu)。這表明WE 組合獲得的效果最好，更具有效性。

根據(jù)上述分析，采用Gabor 特征圖的WCLLGTP特征和邊緣特征圖的CLLETP 特征能夠提高煙霧特征的識(shí)別效果。因此，本文將CLLTP+WCLLGTP+CLLETP（WE 組合）方案定為M_CLLTP 模型的最佳方案，為便于后面實(shí)驗(yàn)（含紋理分類實(shí)驗(yàn)）的描述，本文將該方案簡稱為本文方法，即M_CLLTP特征提取方法。

4.2.2 實(shí)驗(yàn)2：煙霧數(shù)據(jù)庫對(duì)比實(shí)驗(yàn)

實(shí)驗(yàn)2 選擇了當(dāng)前較為流行的18 種方法與本文方法比較，所有方法都采用了RBF（radial basis function）核的SVM（support vector machine）分類器，實(shí)驗(yàn)結(jié)果如表2所示。其中Gb基礎(chǔ)[4]、Gb完整[4]、LAGBP（local aggregated Gabor binary pattern）[5]、HLTPMC（high-order LTP based on magnitudes of derivatives and values of center pixels）[8]、HLTPMC+LPP（HLTPMC with locality preserving projection）[8]和LBP_HDLBP（concatenation of LBP and HDLBP（Hamming-distance-based LBP））[13]這6種方法是專為煙霧庫而設(shè)計(jì)的特征提取方法，實(shí)驗(yàn)結(jié)果分別來源于文獻(xiàn)[4]、文獻(xiàn)[4]、文獻(xiàn)[5]、文獻(xiàn)[8]、文獻(xiàn)[8]和文獻(xiàn)[13]。CLBP（completed LBP）[14]、LTrP（local tetra pattern）[15]、PLBP（pyramid LBP）[16]和LDP4（4th-order local derivative pattern）[17]是經(jīng)典的紋理特征提取方法，都存在U2（uniform）、RI（rotation invariant）和RIU2（RI and U2）3種映射模式，即有12種方法，實(shí)驗(yàn)結(jié)果來源于文獻(xiàn)[13]。表2中粗體表示對(duì)應(yīng)指標(biāo)值優(yōu)于本文方法。為便于比較，實(shí)驗(yàn)計(jì)算了表2中所有方法在3個(gè)測試集上的各指標(biāo)均值。

由表2中數(shù)據(jù)可得：

（1）比較表2所列的12個(gè)指標(biāo)值顯示，除LAGBP、CLBP（RIU2）、LTrP（RI）、LTrP（U2）和LDP4（U2）5種方法外，其他13種方法的12個(gè)指標(biāo)值都不優(yōu)于本文方法，表明本文方法完勝這13種方法。

（2）在3 個(gè)測試集上，LAGBP 在Set2 的DR、Set3的FAR和F1、Set4的F1 4個(gè)指標(biāo)值上優(yōu)于本文方法，其他5 個(gè)指標(biāo)值均差于本文方法；在3 個(gè)均值上，與LAGBP相比，本文方法的DR均值高0.3個(gè)百分點(diǎn)，而FAR和F1的均值都僅差0.1個(gè)百分點(diǎn)。在3個(gè)測試集上，CLBP（RIU2）的3 個(gè)DR都好于本文方法，其他6個(gè)指標(biāo)值都差于本文方法；在3 個(gè)均值上，與CLBP（RIU2）相比，本文方法的DR均值低1.0個(gè)百分點(diǎn)，而FAR和F1 的均值分別低4.57 個(gè)百分點(diǎn)和高5.7 個(gè)百分點(diǎn)。在3 個(gè)測試集上，LTrP（RI）和LTrP（U2）兩種方法的3 個(gè)FAR都好于本文方法，其他6 個(gè)指標(biāo)值都差于本文方法；在3 個(gè)均值上，與LTrP（RI）和LTrP（U2）相比，本文方法的FAR均值分別高0.26 個(gè)百分點(diǎn)和0.86 個(gè)百分點(diǎn)，但DR均值分別高2.8 個(gè)百分點(diǎn)和37.1個(gè)百分點(diǎn)，F(xiàn)1均值分別高1.1個(gè)百分點(diǎn)和22.1個(gè)百分點(diǎn)。LDP4（U2）在表2所列的12個(gè)指標(biāo)值上，只有Set3 和Set4 的FAR好于本文方法，其他10 個(gè)指標(biāo)值都差于本文方法。綜上所述，本文方法在3個(gè)測試集上的多數(shù)指標(biāo)值都優(yōu)于這5種方法，在3個(gè)指標(biāo)均值上的優(yōu)勢(shì)也更大，表明本文方法獲得了較好的效果，具有很好的有效性，要略勝于這5種方法。

Table 2 Experimental results of M_CLLTP method and other methods on smoke database表2 煙霧庫上M_CLLTP方法與其他方法的實(shí)驗(yàn)結(jié)果 %

為了說明本文方法的效率，可以從特征提取和分類測試兩方面來描述。

（1）本文方法共提取了42 幅圖像（包括1 幅原圖、40 幅Gabor 特征圖和1 幅邊緣特征圖）的局部模式特征；除Gb基礎(chǔ)、Gb完整和LAGBP這3種方法使用了Gabor核外，其他15種方法都是在原圖上提取特征。因此，本文方法提取特征的計(jì)算量比這15 種方法大，這是采用Gabor 核的必然結(jié)果。LAGBP 與本文方法都使用了一次Gabor 核卷積運(yùn)算，但LAGBP方法采用的聚合Gabor核只有14個(gè)核，因此本文方法提取特征的計(jì)算量比LAGBP方法大。Gb基礎(chǔ)和Gb完整兩種方法都采用了兩層Gabor網(wǎng)絡(luò)，每一層網(wǎng)絡(luò)中的每幅輸入圖像都將生成12 幅濃縮的Gabor 特征圖，第二層網(wǎng)絡(luò)需要對(duì)第一層網(wǎng)絡(luò)所得的Gabor特征圖再次使用Gabor 核卷積，生成144 幅濃縮的Gabor特征圖。因此，本文方法提取特征的計(jì)算量小于這兩種方法。本文方法在煙霧數(shù)據(jù)庫的圖像（24 217幅）上提取特征的耗時(shí)為354 s。

（2）為了說明本文方法在分類測試時(shí)的效率，本文選擇了LAGBP、CLBP（RIU2）、LTrP（RI）、LTrP（U2）和LDP4（U2）5種方法進(jìn)行比較。這5種方法都存在優(yōu)于本文方法的指標(biāo)值，都采用了RBF核的SVM，且都是在Matlab 環(huán)境下執(zhí)行。表3 列出了3 個(gè)測試集上本文方法和這5種方法的測試耗時(shí)。本文方法在3個(gè)測試集上的耗時(shí)分別為0.174 s、1.225 s 和1.199 s，耗時(shí)均第二少。

Table 3 Testing time on 3 test datasets表3 3個(gè)測試集上的測試耗時(shí) s

4.3 紋理分類實(shí)驗(yàn)

4.3.1 實(shí)驗(yàn)3：Brodatz紋理庫對(duì)比實(shí)驗(yàn)

實(shí)驗(yàn)3 中，本文方法的置信水平閾值TCL=0.33，縮放閾值TZ=1，實(shí)驗(yàn)只使用了召回率指標(biāo)（DR）。為便于與其他方法比較，實(shí)驗(yàn)3 使用了與文獻(xiàn)[11]同樣的配置，采用了KCHI2核的SVM，在每個(gè)類別中隨機(jī)選擇3 幅圖像用于訓(xùn)練，另外6 幅圖像用于測試，將100次重復(fù)實(shí)驗(yàn)的召回率均值作為最后的實(shí)驗(yàn)結(jié)果。參與比較的方法有LBP、HLTPMC+LPP[8]、PRICoLBP（pairwise rotation invariant co-occurrence LBP）[11]、CLBP[14]、LBPHF_S（sign LBP histogram Fourier）[18]和LBPHF_S_M（concatenation of sign LBP histogram Fourier and magnitude LBP Fourier）[18]。實(shí)驗(yàn)結(jié)果如表4所示，本文方法獲得了最高的召回率均值為97.00%。

Table 4 Experimental results on Brodatz表4 Brodatz庫上的實(shí)驗(yàn)結(jié)果

4.3.2 實(shí)驗(yàn)4：KTH-TIPS2-a紋理庫對(duì)比實(shí)驗(yàn)

實(shí)驗(yàn)4中，本文方法的置信水平閾值TCL=0.46，縮放閾值TZ=1，實(shí)驗(yàn)只使用了召回率指標(biāo)（DR）。為提高實(shí)驗(yàn)效率，本文使用了PCA方法對(duì)M_CLLTP特征進(jìn)行了降維。為便于與LBP、DMD（dense micro-block difference）[12]、MLEP（dynamic texture local energy pattern）[19]、LHS（local higher-order statistics）[20]、COVLBPD（covariance and LBP difference descriptor）[21]和scLBP（sorted consecutive LBP）[22]等方法比較，實(shí)驗(yàn)4使用了與文獻(xiàn)[12]相同的配置，分類器采用了VLFeat的線性核SVM，隨機(jī)選擇3個(gè)數(shù)據(jù)集用于訓(xùn)練，剩余1 個(gè)數(shù)據(jù)集用于測試，100 次重復(fù)實(shí)驗(yàn)的召回率均值作為最后的實(shí)驗(yàn)結(jié)果。表5列出了實(shí)驗(yàn)4的結(jié)果，本文方法獲得了最高的召回率均值，為80.07%。

Table 5 Experimental results on KTH-TIPS2-a表5 KTH-TIPS2-a庫上的實(shí)驗(yàn)結(jié)果

兩個(gè)紋理庫上的對(duì)比實(shí)驗(yàn)顯示，本文方法獲得了最好的實(shí)驗(yàn)結(jié)果，表明本文方法具有很好的紋理辨識(shí)能力。

5 結(jié)束語

為提高煙霧圖像識(shí)別的檢測率和降低誤報(bào)率，本文提出了一種基于改進(jìn)局部三值模式的組合特征模型（M_CLLTP）。該模型首先基于差分圖像像素值的概率分布提出了置信水平局部三值模式（CLLTP），解決了傳統(tǒng)LTP 的固定閾值不能適合所有樣本圖像的問題。通過利用具有多方向多尺度特性的Gabor核卷積原圖生成Gabor 特征圖，并提取CLLGTP 特征，再與CLLTP特征串聯(lián)，能夠獲得較好的效果。利用加權(quán)后的WCLLGTP 特征代替未加權(quán)的CLLGTP特征后，煙霧特征的識(shí)別效果得到顯著提高。再次通過融合邊緣圖像的CLLETP特征，本文方法所提的煙霧特征的表達(dá)能力得到再次提高，效果更好。煙霧識(shí)別和紋理分類的對(duì)比實(shí)驗(yàn)顯示，本文方法獲得了較好的效果，表明本文方法對(duì)煙霧和紋理具有很好的辨識(shí)能力，非常適用于煙霧檢測。下一步研究將考慮借鑒深度學(xué)習(xí)的思想設(shè)計(jì)Gabor 卷積網(wǎng)絡(luò)來進(jìn)一步提高煙霧檢測識(shí)別的準(zhǔn)確率，同時(shí)降低誤報(bào)率。