基于運動與模糊特征的紅外a熱成像煙霧檢測

李咸靜，郝爭輝

基于運動與模糊特征的紅外a熱成像煙霧檢測

李咸靜1，郝爭輝2

（1. 長治學(xué)院計算機系，山西 長治 046000；2. 山西國科晉云信息產(chǎn)業(yè)有限公司，山西 太原 030002）

在焦化企業(yè)生產(chǎn)過程中會產(chǎn)生大量煙霧，排放、泄漏會對自然環(huán)境造成污染危及生命生產(chǎn)安全。針對熱成像視頻對比度低、紋理度差等特點，本文采用煙霧具有運動與模糊特性來進行檢測。提出計算每幀圖像的噪點度來改進Vibe檢測算法的固定閾值，從而可更完整地將移動目標(biāo)區(qū)域檢測出來。將整幅圖像劃分為塊區(qū)域圖像；結(jié)合運動區(qū)域來提取該區(qū)域內(nèi)的模糊與噪點比值、FFT計算模糊度所計算特征訓(xùn)練生成煙霧分類器；對實驗視頻進行檢測，平均準(zhǔn)確率達(dá)到94.53%。結(jié)果表明，本文所提算法對焦化企業(yè)紅外熱成像視頻煙霧檢測的準(zhǔn)確性和實時性，具有良好的抗干擾能力。

改進Vibe模糊煙霧特征；紅外熱成像；煙霧檢測

0 引言

隨著煤焦能源工業(yè)領(lǐng)域快速發(fā)展及國家日趨加大對環(huán)境保護的關(guān)注程度，焦化企業(yè)生產(chǎn)過程中所產(chǎn)生的煙霧含有大量的有害顆粒物質(zhì)，排放、泄漏會對自然環(huán)境造成污染，甚至造成安全事故。對于焦化企業(yè)的污染廢氣排放國家一直有著嚴(yán)格規(guī)范的制度，為嚴(yán)格監(jiān)控焦化企業(yè)在生產(chǎn)中煙霧的排放情況，需要尋找一個行之有效的自動化檢測方法，方便監(jiān)管人員進行管理，提升檢測管理效率，保護生態(tài)環(huán)境。傳統(tǒng)的方法利用物理傳感器來檢測煙霧，采用溫度、煙霧或紫外線等傳感器實時采集監(jiān)控某區(qū)域范圍內(nèi)的物理監(jiān)控信號狀態(tài)，達(dá)到檢測煙霧的效果，此類方法很大程度上依賴檢測環(huán)境的變化，在較小空間或封閉的室內(nèi)可以大幅度地提高檢測效果，然而在空曠的廠區(qū)檢測效果較差，精度不高。隨著人工智能技術(shù)的快速發(fā)展，使用視頻監(jiān)控進行智能煙霧檢測將是未來重要的檢測手段，且基于視頻的智能煙霧檢測技術(shù)可有效避免傳統(tǒng)傳感器檢測方式帶來的缺點，而且響應(yīng)速度快，檢測范圍更廣。對視頻煙霧進行識別檢測，利用煙霧視頻提取煙霧特征如顏色、紋理、運動等，對檢測煙霧進行了大量的研究。張斌等[1]提取出煙霧顏色RGB特征，劉通等[2]提出了煙霧YdUaVa顏色特征提取模型，宋少杰[3]建立了煙霧多顏色空間融合模型。T. Ojala等[4]在1995年提出的圖像局部紋理特征描述算子LBP（Local Binary Patterns），經(jīng)常用來對煙霧紋理特征進行描述，具有對光照變化不敏感、局部旋轉(zhuǎn)不變、灰度不變性等優(yōu)勢特點[5]。Yuan F. N.等[6]針對圖像的紋理特征，提出了局部和全局紋理特征，在對煙霧進行檢測時提高了識別率。傳統(tǒng)方法在研究中基于像素級別在進行設(shè)置時采用統(tǒng)一閾值在檢測時難于平衡處于不同距離下的煙霧，使得檢測結(jié)果易出現(xiàn)漏報或誤報等情況。在進行視頻動態(tài)特征提取方面，鄧實強等[7]在YUV顏色空間進行可疑煙霧塊提取后，進行灰度共生矩陣與小波變換分析煙霧所具有的時空動態(tài)特征，最后通過BP（Back Propagation）神經(jīng)網(wǎng)絡(luò)判別煙霧。Wang Y.等[8]在HSV（Hue, Saturation, Value）顏色空間中對候選煙霧區(qū)域進行濾波。從候選區(qū)域提取LBMP（Local Binary Match Pattern）、小波能量和煙霧生長速率特征。最后，將多特征融合并輸入隨機森林分類器進行煙霧檢測。殷夢霞等[9]使用改進的三幀差分法對視頻圖像進行疑似煙霧區(qū)域分割，然后提取疑似區(qū)域煙霧圖像的紋理、顏色、能量等特征，最后用支持向量機進行煙霧特征識別訓(xùn)練。然而如果視頻中存在緩慢移動的目標(biāo)可能干擾識別，會造成漏報。王媛彬[10]在煤礦場景下對煙霧進行識別檢測研究，提出模糊邏輯的圖像增強方法以改善所獲取的圖像質(zhì)量，再通過混合高斯模型實現(xiàn)對疑似運動目標(biāo)區(qū)域的提取。在充分分析煙霧圖像特征的基礎(chǔ)上，利用加權(quán)的方法將煙霧圖像特征融合起來，實現(xiàn)對煙霧的在線檢測。然而由于礦井下強光照射較多，使得產(chǎn)生較多疑似煙霧區(qū)域的干擾，最終導(dǎo)致誤檢率較高。馬永杰等[11]添加鬼影抑制模塊，使用Otsu（Nobuyuki Otsu）算法計算出最佳閾值分割當(dāng)前幀，在傳統(tǒng)ViBe（Visual Background Extractor）算法的基礎(chǔ)上對前景像素點二次判別。此方法能夠較好適應(yīng)視頻中前景目標(biāo)運動變化較大的情況，更好地抑制原有ViBe檢測時出現(xiàn)的鬼影現(xiàn)象，并具有較高穩(wěn)定性的檢測率。湯旻安等[12]通過結(jié)合哈希算法與差分運算來獲取真實的背景圖像，使用背景復(fù)雜度因子來自適應(yīng)改變閾值，通過連通域圖像的像素個數(shù)對圖像進行二次判斷以區(qū)分前景與背景。改進后的算法可以較好地消除鬼影現(xiàn)象，對復(fù)雜場景的變動具有一定的魯棒性。

針對使用紅外視頻監(jiān)控?zé)熿F的場景，文中主要對紅外視頻中煙霧運動與模糊兩大特征來進行檢測。

首先使用自適應(yīng)閾值ViBe算法首先對焦化企業(yè)排放煙霧紅外熱成像視頻進行運動區(qū)域檢測（所檢測出的運動區(qū)域包含有煙霧及其它運動物體），然后對整幅圖像進行區(qū)域的塊劃分，對塊區(qū)域圖像進行模糊和噪點比值計算及進行FFT（Fast Fourier Transform）模糊檢測，得到區(qū)域塊模糊度值；最后結(jié)合檢測出的運動區(qū)域及塊區(qū)域圖像模糊度來進行煙霧檢測。

1 檢測方法原理

ViBe背景建模是一種像素級的背景建模、前景檢測算法。其大體思想就是對某一像素點與其所在鄰域內(nèi)的像素點進行采樣，得到該點像素和其鄰域點范圍內(nèi)的像素值集合。當(dāng)對新的一幀圖像進行判別時，只需通過比較新的像素值和采樣得到的像素值集合，從而來分析判斷新的像素點是否屬于背景。該算法首次提出針對單幀圖像進行初始化建模，更新模型遵循隨機替換原則和一種全新的更新機制，即相鄰像素更新背景模型的同時，背景模型也更新相鄰像素的模型。

該算法建模的過程主要分為3部分：像素點建模、單幀初始化和更新背景模型。

首先，在視頻第一幀中對圖像的每一個像素點都建立包含個樣本的像素模型，這個樣本值均是已被判為背景的像素值。定義()為歐式色彩空間中位于處的像素，v是該像素()八領(lǐng)域中隨機選取的樣本，一共選取次（如果()位于邊緣，那么就使用不完整的八領(lǐng)域來選取），這樣就建立了像素()對應(yīng)的模型：

()＝{1,2, …,v} (1)

然后對比像素點的當(dāng)前像素值()和其對應(yīng)的模型()的色彩差異。定義一個以()為中心，為半徑的球體S(())，設(shè)定閾值為，如果：

即對比()和()中的每個樣本在3個色彩通道的色彩差異，在這3個通道都滿足：

滿足公式(2)的v的個數(shù)大于或等于，則()分類為背景，其中代表色彩空間的3個通道。

通過實驗表明，背景模型中包含的樣本為20最為合適，球體的半徑為15像素。對于閾值的設(shè)定下面會詳細(xì)給出。此時，利用視頻第一幀圖像將背景模型初始化出來，接下來就是從第二幀開始進行前景目標(biāo)的提取。

ViBe算法前景檢測：根據(jù)在前景目標(biāo)區(qū)域定位的灰度模型()獲得前景目標(biāo)區(qū)域矩形框，當(dāng)有運動目標(biāo)進入時，模型()可迅速檢測出前景區(qū)域。對前景區(qū)域進行形態(tài)學(xué)處理，使前景區(qū)域趨向完整，然后找出前景區(qū)域輪廓線，得到最大外接矩形框。矩形框里面的圖像就是要檢測出的運動目標(biāo)。ViBe前景檢測的算法像素示意圖如圖1所示。

圖1 ViBe像素分類示意圖

Vibe的更新策略是一種只有背景參與更新的保守策略。理論上，背景模型中每個樣本的最佳衰減方式是單調(diào)衰減。據(jù)此，Vibe采用一種指數(shù)單調(diào)衰減的方式保證樣本的生命周期呈單調(diào)衰減，并非傳統(tǒng)的先進先出替換策略，每個樣本被選中的概率是相等的。同時，Vibe背景模型的更新也是一個隨機選擇過程，隨機選擇背景模型中的一個樣本替換為新值，如圖2所示。

圖2 ViBe背景模型的隨機更新

如圖2所示，圖(a)、(b)分別表示背景模型中的樣本3、1、5被替換為新值的可能新背景模型，因此，Vibe背景更新是個隨機過程。假設(shè)時間是連續(xù)的，根據(jù)該更新策略，一個樣本在時間和＋d之間存在的概率是(－1/)d其數(shù)學(xué)表達(dá)式如下：

式(4)表示背景模型中樣本的生命周期呈指數(shù)衰減，樣本在時間(,＋d)內(nèi)被保留下來的概率與時間無關(guān)，完全可人為決定一個樣本存在于背景模型中的時間。Vibe采用二次隨機抽樣來實現(xiàn)用有限樣本表征無限時間窗口的可能。

固定閾值對于單一背景可能有良好的分割效果，但如果背景是多模態(tài)的場景，并將閾值固定則會在劃分前景與背景時精準(zhǔn)度下降。在本文中使用模糊和噪聲進行無參考圖像質(zhì)量評估中對噪聲的評估值進行自適應(yīng)閾值設(shè)定。

因為沿邊緣部分的噪點視覺上不明顯，在此只檢測邊緣以外部分的噪點。邊緣檢測會被噪點影響，所以首先需進行均值濾波處理：

式中：(,)為圖像的大?。?,)為濾波后的圖像。候選噪點估計為：

同理在垂直方向可計算出相應(yīng)的v、v-mean，既得到候選的噪點：

式中：cand(,)表示候選噪點，它在邊緣區(qū)域為0。

式中：cand-mean為候選噪聲均值。由上式?jīng)Q定噪點分布情況，噪點均值如下：

式中：Sumnoise是(,)之和；Noisecnt是噪點總數(shù)目。

由于紅外圖像對比度低、信噪比低、分辨率差、視覺效果模糊等，本文在對焦化企業(yè)熱成像視頻中運動物體檢測時使用單幀圖像所計算出的Noisemean來對ViBe算法中的閾值進行設(shè)定，當(dāng)檢測到像素閾值大于當(dāng)前幀圖像平均噪點閾值后便成為前景目標(biāo)。所以自適應(yīng)閾值如下：

＝Noisemean(12)

圖3中(a)為原圖，原始Vibe算法進行移動目標(biāo)檢測時所得二值化圖像移除較小面積的干擾后如圖(b)所示，圖3(c)為改進自適應(yīng)閾值的Vibe算法所得結(jié)果，使用對整幅圖像進行平均噪點閾值計算作為自適應(yīng)閾值，紅外圖像對比度低、噪聲含量較大當(dāng)像素變化閾值大于平均噪點閾值時則可判斷當(dāng)前像素是否為移動的前景目標(biāo)。改進的Vibe自適應(yīng)閾值算法能夠更好地對移動目標(biāo)進行完整檢測。

圖3 Vibe檢測目標(biāo)與改進后的算法結(jié)果

2 煙霧檢測特征

根據(jù)紅外熱成像視頻的特點，在熱成像視頻中由于煙霧的存在使得該區(qū)域圖像變得模糊，基于該特性采用計算該區(qū)域圖像的模糊均值、噪點均值、及FFT模糊檢測等綜合特性作為判別依據(jù)。

2.1 模糊均值

區(qū)域圖像模糊度檢測，依據(jù)式(6)、(7)如果當(dāng)前像素點的h(,)大于h-mean，則該像素點就是一個候選的邊緣點h(,)；如果h(,)比它水平方向兩個相鄰的點{h(,－1),h(,＋1)}都大，則該像素點就被確認(rèn)為一個邊緣點h(,)。h(,)的判斷如下：

檢測邊緣點是否模糊，定義如下：

式中：Sumblur為模糊個數(shù)之和；Blurcnt為模糊點數(shù)。

2.2 圖像FFT模糊檢測

對于任意尺寸的圖像，其離散的傅里葉變換如下式：

式中：＝0,1,…,－1；＝0,1,…,－1；(,)為空域中的圖像灰度函數(shù)；(,)為頻域中的圖像頻譜。使用快速FFT變換的頻譜均值來定義區(qū)域圖像的模糊值如下式：

2.3 煙霧檢測閾值

本文中采用檢測煙霧模糊特性來判別運動區(qū)域是否存在煙霧，所使用特征如下式：

式中如果區(qū)域存在煙霧時模糊度增加，并使得式(21)所得值也增大，當(dāng)區(qū)域圖像煙霧變薄或不存在煙霧時該值變小。

3 實驗結(jié)果分析

本實驗數(shù)據(jù)采用焦化企業(yè)熱成像視頻進行測試，如文中所示，對紅外序列圖像進行分塊首先使用改進的Vibe算法對視頻圖像中的運動目標(biāo)進行檢測，并將含有運動目標(biāo)的塊區(qū)域圖像進行煙霧特征的提取，并進行分類識別是否存在煙霧。

實驗采用提取區(qū)域圖像的灰度共生矩陣提取能量、熵、對比度、逆差分矩作為分析煙霧圖像的紋理特征，本實驗中圖像大小為600×480，分塊后的區(qū)域為50×40提取特征如圖4所示。

圖4 有煙霧和無煙霧塊區(qū)域圖像所提取的紋理特征變化

圖4為依據(jù)灰度共生矩陣所提取出的塊區(qū)域圖像特征，圖中(a)、(c)、(e)、(g)分別為存在煙霧的區(qū)域所提取的能量、熵、對比度、逆差分矩特征，而(b)、(d)、(f)、(h)為在不存在煙霧區(qū)域的圖像所提取的能量、熵、對比度、逆差分矩特征。由于紅外圖像對比度低、紋理特性較差，從紅外圖像中提取的能量、熵、對比度、逆差分矩特征在有煙霧區(qū)域和無煙霧區(qū)域區(qū)分度不明顯。由于煙霧動態(tài)變化，使得所提取的特征有煙霧的范圍比無煙霧的更大。從圖4(e)、(f)中可得出在有煙區(qū)域和無煙區(qū)域的對比度差異較小，對煙霧變化不敏感。由于煙霧運動使得所提取的能量、熵、逆差分矩特征動態(tài)變化較大，而在無煙霧區(qū)域能量、熵、逆差分矩特征動態(tài)變化是由于塊區(qū)域內(nèi)像素變化進而帶來特征變化。

本文所使用的特征采集如圖5所示。

圖5 本文算法提取特征

圖5(a)、(b)分別為存在煙霧和不存在煙霧的塊區(qū)域圖像所提取的特征值，圖(b)中不存在煙霧區(qū)域特征區(qū)域平穩(wěn)，而在存在煙霧的區(qū)域由于煙霧運動造成塊區(qū)域圖像模糊度變化較大，所提取的特征值也有較大的幅度變化。

本文采用SVM（Support Vector Machine）對煙霧特征進行分類識別，視頻采用人員移動、行車移動、火苗抖動等干擾情況對煙霧檢測的影響進行對比分析。

圖6中(a)為原圖，(b)和(c)分別是GMG（Godbehere-Matsukawa-Goldberg）和GSOC（Google Summer of Code）背景建模算法對焦化企業(yè)熱成像視頻進行移動目標(biāo)檢測效果，從第1、2、3、5行檢測結(jié)果表明此兩種算法對場景存在的煙霧運動檢查效果較差，通過第2、4行檢測效果表明算法對移動的工人與火苗這類明顯目標(biāo)可較為完整地檢測出來。(d)、(e)分別為Vibe算法及改進后的Vibe算法所檢測出的移動目標(biāo)，改進后的Vibe算法能夠更完整地將移動目標(biāo)區(qū)域完整檢測出。在第1、2行數(shù)據(jù)中通過改進的Vibe算法檢測出圖像中除煙霧以外還有移動的工人，最后通過識別煙霧特征，排除工人移動的干擾，準(zhǔn)確檢測出煙霧所在的區(qū)域。在第3行為存在煙霧，且右下方為移動行車，經(jīng)過識別檢測后，只檢測出煙霧所在區(qū)域。第4行為抖動的火苗和移動的工人，改進的Vibe算法能準(zhǔn)確檢測出兩個區(qū)域，由于沒有煙

圖6 部分移動干擾目標(biāo)下的煙霧檢測

霧存在所以沒有識別出區(qū)域。第5行數(shù)據(jù)中存在移動工人與煙霧，通過本文檢測和識別算法后只將煙霧區(qū)域識別出來。(f)圖像是使用改進的ViBe算法檢測到有運動區(qū)域的基礎(chǔ)上對圖像進行區(qū)域塊的劃分，提取檢測區(qū)域內(nèi)的煙霧特征并進行分類將判別。存在煙霧區(qū)域圖像塊使用綠色方框標(biāo)記顯示。

綜上在使用文中改進的Vibe算法及塊區(qū)域煙霧特征結(jié)合方式SVM分類器可有效避免干擾項，并達(dá)到10幀/s左右的檢測速率，準(zhǔn)確率為94.53%。

4 結(jié)論

本文針對熱成像視頻進行煙霧檢測，提出計算每幀圖像的噪點度來改進Vibe算法的固定閾值，從而可更完整地將移動目標(biāo)區(qū)域檢測出來。然后將整幅圖像劃分為塊區(qū)域圖像，結(jié)合運動區(qū)域來提取該區(qū)域內(nèi)的模糊與噪點比值、FFT計算模糊度，最后將所計算特征訓(xùn)練生成煙霧分類器。檢測結(jié)果表明，本文算法檢測速度快，可排除人員移動、行車移動、火苗抖動等干擾檢測煙霧結(jié)果的情況。對焦化生產(chǎn)環(huán)境有較好的適應(yīng)性，能有效解決焦化廠煙霧檢測問題。

[1] 張斌, 魏維, 何冰倩. 基于多特征融合的早期野火煙霧檢測[J]. 成都信息工程大學(xué)學(xué)報, 2018, 33(4): 408-412. ZHANG Bin, WEI Wei, HE Bingqian. Early wildfire smoke detection based on multi-feature fusion[J].2018, 33(4): 408-412

[2] 劉通, 程江華, 華宏虎, 等. 結(jié)合YdUaVa顏色模型和改進MobileNetV3的視頻煙霧檢測方法[J]. 國防科技大學(xué)學(xué)報, 2021, 43(5): 80-85. LIU Tong, CHENG Jianghua, HUA Honghu, et al. Video smoke detection method combining YdUaVacolor and improved MobileNetV3[J]., 2021, 43(5): 80-85.

[3] 宋少杰. 基于GMM改進算法的森林火災(zāi)檢測研究[D]. 南京: 南京郵電大學(xué), 2021. DOI: 10.27251/d.cnki.gnjdc.2021.000473. SONG Shaojie. Research on Forest Fire Detection Based on proved GMM Algorithm[D]. Nanjing: Nanjing University of Posts and Telecommunications, 2021. DOI: 10.27251/d.cnki.gnjdc.2021.000473.

[4] Ojala T, Pietik?inen M, Harwood D. A comparative study of texture measures with classification based on featured distributions[J]., 1996, 29(1): 51-59.

[5] YUAN F, SHI J, XIA X, et al. Co-occurrence matching of local binary patterns for improving visual adaption and its application to smoke recognition[J]., 2019, 13(2): 178-187.

[6] YUAN F N, XIA X, SHI J T. Holistic learning-based high-order feature descriptor for smoke recognition[J]., 2019, 17(2): 194005.

[7] 鄧實強, 丁浩, 楊孟, 等. 基于視頻圖像的公路隧道火災(zāi)煙霧檢測[J].隧道建設(shè), 2022, 42(2): 291-302. DENG Shiqiang, DING Hao, YANG Meng, et al. Fire smoke detection in highway tunnels based on video images[J]., 2022, 42(2): 291-302.

[8] WANG Y, HAN Q, LI Y, et al. Video smoke detection based on multi-feature fusion and modified random forest[J]., 2021, 29(3): 38-45.

[9] 殷夢霞, 王理, 孫連營. 基于多特征融合的自適應(yīng)煙霧檢測算法[J]. 建筑科學(xué), 2019, 35(9): 26-31. DOI:10.13614/j.cnki.11-1962/tu.2019. 09.005. YIN Mengxia, WANG Li, SUN Lianying. Adaptive smoke detection algorithm based on multi-feature fusion[J].2019, 35(9): 26-31. DOI:10.13614/j.cnki.11-1962/tu.2019.09.005.

[10] 王媛彬. 煤礦煙霧的計算機視覺檢測方法[J]. 遼寧工程技術(shù)大學(xué)學(xué)報: 自然科學(xué)版, 2016, 35(11): 1230-1234. WANG Yuanbin. Smoke detection based on computer vision in coal mine[J]., 2016, 35(11): 1230-1234.

[11] 馬永杰, 陳夢利, 劉培培, 等. ViBe算法鬼影抑制方法研究[J].激光與光電子學(xué)進展, 2020, 57(2): 105-112. MA Yongjie, CHEN Mengli, LIU Peipei, et al. Research on ViBe algorithm ghost suppression method[J]., 2020, 57(2): 105-112.

[12] 湯旻安, 王晨雨. 基于改進ViBe算法的靜態(tài)場景運動目標(biāo)檢測[J]. 激光與光電子學(xué)進展, 2021, 58(14): 216-224. TANG Minan, WANG Chenyu. Moving object detection in static scene based on improved ViBe algorithm[J].2021, 58(14): 216-224.

Infrared Thermal Imaging Smoke Detection Based on Motion and Fuzzy Features

LI Xianjing1，HAO Zhenghui2

(1. Department of Computer Scienice, Changzhi University, Changzhi 046000, China;2. Shanxi Guoke Jinyun Information Industry Co., Taiyuan 030002, China )

The production process of coking enterprises generates abundant smoke. Their discharge and leakage can pollute the natural environment, endangering the safety of life and production. Considering the low contrast and poor texture of thermal imaging videos, this study detected smoke with motion and fuzzy characteristics. The noise degree of each frame image can be calculated to replace the fixed threshold of the Vibe detection algorithm so that the moving target area can be completely detected. First, the image was divided into block area images; then, the fuzzy-to-noise ratio in this area was extracted by combining the motion area, the features calculated when the fast fourier transform (FFT) was used to calculate the ambiguity were trained to generate a smoke classifier, and finally, the experimental video detection, with an average accuracy rate of 94.53%. The results show that the proposed algorithm is accurate, operates in real-time for smoke detection in infrared thermal imaging videos of coking enterprises, and has good anti-interference ability.

improved Vibe fuzzy smoke features, infrared thermal imaging, smoke detection

TP391 文獻(xiàn)識別碼：A

1001-8891(2024)03-0325-07

2022-12-03；

2023-07-10.

李咸靜（1992-），女，山西長治人，博士，講師，研究方向為計算機視覺及圖像處理。E-mail：760072875@qq.com。

山西省高等學(xué)校科技創(chuàng)新計劃項目（2023L323）資助。