圖像識(shí)別技術(shù)在林草火災(zāi)預(yù)警中的應(yīng)用及優(yōu)化

1 引言

近年來，隨著各地天然林保護(hù)工程等林業(yè)重點(diǎn)工程的實(shí)施和各省政府《封山禁牧條例》的貫徹落實(shí)，林木覆蓋率大幅度增加，林分質(zhì)量得到有效改善，林下可燃物大量增加，受全球氣候變暖影響，冬春季長期干旱少雨，森林火險(xiǎn)等級(jí)長期居高不下，防火任務(wù)十分艱巨。而林區(qū)山大溝深坡陡，山戀重疊，灌木叢枝彌漫交錯(cuò)，道路險(xiǎn)惡，基礎(chǔ)設(shè)施極為落后，一旦發(fā)生火災(zāi)，便無力組織人員撲救。因此，加強(qiáng)防火基礎(chǔ)設(shè)施建設(shè)，積極實(shí)施森林重點(diǎn)火險(xiǎn)區(qū)綜合治理項(xiàng)目，對(duì)預(yù)防森林火災(zāi)的發(fā)生，確保森林資源安全具有十分重要的意義。

隨著我國各大項(xiàng)活動(dòng)的發(fā)展以及科技水平的不斷提升，森林防火預(yù)防工作也有了明顯的進(jìn)步，但是不可否認(rèn)，依然存在一些問題需要解決。如何有效地進(jìn)行森林防火預(yù)防工作，關(guān)系著每一個(gè)人。

2 研究現(xiàn)狀

從傳統(tǒng)的地面巡護(hù)與瞭望塔人工監(jiān)視到通過視頻進(jìn)行人工監(jiān)控，再到目前使用智能化手段自動(dòng)識(shí)別發(fā)現(xiàn)火情，森林防火手段在不斷的進(jìn)步提升。目前智能識(shí)別火情的主要方法分為三大類：衛(wèi)星遙感圖像處理技術(shù)、紅外熱成像檢測(cè)方法、基于可見光圖像檢測(cè)方法。

衛(wèi)星林火監(jiān)測(cè)是一種基于高層空間的森林火災(zāi)監(jiān)測(cè)手段，結(jié)合利用氣象衛(wèi)星和陸地資源衛(wèi)星實(shí)現(xiàn)森林火災(zāi)的監(jiān)測(cè)。80年代初以來，我國衛(wèi)星遙感在森林防火工作中的應(yīng)用不斷擴(kuò)大，技術(shù)不斷提升，對(duì)大面積森林可以做到無死角、全天候的監(jiān)控。近幾年新的林火監(jiān)測(cè)技術(shù)發(fā)展迅速，紅外熱成像監(jiān)測(cè)以及可見光圖像識(shí)別都不斷的在實(shí)際中得到應(yīng)用。其中，紅外熱像儀通過探測(cè)紅外輻射對(duì)森林中的火源進(jìn)行監(jiān)測(cè)，實(shí)現(xiàn)了在惡劣天氣或無自然光環(huán)境下對(duì)火焰的檢測(cè)?？梢姽鈭D像識(shí)別的方法通過對(duì)火情發(fā)生早期的煙霧進(jìn)行自動(dòng)識(shí)別，目前算法的準(zhǔn)確度可以達(dá)到早期預(yù)警的作用。隨著防火科技手段的不斷發(fā)展，我國森林火災(zāi)發(fā)生數(shù)量和受害面積實(shí)現(xiàn)了“雙下降”。

以上3種技術(shù)方法各有優(yōu)勢(shì)，同時(shí)也存在各自的能力限制。例如，衛(wèi)星遙感技術(shù)由于衛(wèi)星的回訪周期原因，發(fā)現(xiàn)火情時(shí)效性較弱；紅外測(cè)溫技術(shù)，在現(xiàn)實(shí)場景中，溫度異常目標(biāo)多變（如汽車發(fā)動(dòng)機(jī)等），存在一定誤識(shí)別風(fēng)險(xiǎn)；可見光識(shí)別，在夜間由于光照很弱，圖像多為黑白照片，煙火特征嚴(yán)重缺失，容易導(dǎo)致漏檢或者誤報(bào)。

中國鐵塔公司結(jié)合豐富的高點(diǎn)塔資，供電能力，通信線路等優(yōu)勢(shì)，在林火預(yù)警領(lǐng)域，通過紅外雙通道視頻監(jiān)控技術(shù)構(gòu)建林草火情預(yù)警平臺(tái)，同時(shí)結(jié)合人工智能的可見光圖像監(jiān)測(cè)技術(shù)，進(jìn)一步提高火情預(yù)警的發(fā)現(xiàn)能力和應(yīng)急指揮能力。

3 基于紅外雙通道的解決方案簡介

紅外雙通道攝像頭，由兩組攝像頭組成，其中一個(gè)攝像頭具備紅外測(cè)溫功能，另外一個(gè)獲取可見光視頻。在實(shí)際使用時(shí)，紅外測(cè)溫?cái)z像頭通過巡航模式，尋找并發(fā)現(xiàn)溫度異常場景；可見光攝像頭的巡航則給圖像中的煙火識(shí)別提供視頻信息。

該方案，通過測(cè)溫技術(shù)和可見光圖像識(shí)別技術(shù)的融合，發(fā)揮不同技術(shù)的優(yōu)勢(shì)，彌補(bǔ)上文提到的兩種技術(shù)獨(dú)立應(yīng)用的能力不足。

3.1 紅外雙通道測(cè)溫能力及分析

目前在森林防火中紅外雙通道攝像頭主要應(yīng)用紅外熱成像技術(shù)來進(jìn)行森林火情的自動(dòng)識(shí)別。紅外熱成像檢測(cè)方法可以實(shí)時(shí)對(duì)場景內(nèi)的溫度進(jìn)行監(jiān)測(cè)，一旦發(fā)現(xiàn)溫度異常情況即判斷為有火情發(fā)生，可以快速及時(shí)的識(shí)別到溫度異常的煙火。利用溫度來進(jìn)行是否有火情的檢測(cè)，如圖1所示，在夜間，霧天等惡劣條件下，同樣可以提供溫度異常檢測(cè)能力。

圖1 紅外測(cè)溫發(fā)現(xiàn)火情能力示意

但是紅外測(cè)溫在火點(diǎn)被遮擋場景（山體背后，房屋遮擋等），發(fā)現(xiàn)火情的時(shí)間往往會(huì)有所滯后；溫度異常的情況也可能是其他運(yùn)動(dòng)熱源所引起，不完全都是火情造成的溫度異常（例如，車輛等），且溫度目標(biāo)的誤報(bào)數(shù)量很大。雖然測(cè)溫的準(zhǔn)確發(fā)現(xiàn)能力與人工監(jiān)看相比已經(jīng)很高了，但是由于可能存在的誤報(bào)場景，會(huì)降低用戶體驗(yàn)感知，如圖2所示。

圖2 紅外測(cè)溫發(fā)現(xiàn)溫度異常物體示意

3.2 可見光的圖像識(shí)別的能力及分析

可見光的圖像識(shí)別技術(shù)，在火情早期尤其以下場景具有更好火情風(fēng)險(xiǎn)的發(fā)現(xiàn)能力：① 被遮擋火源（如山體背面）；② 如圖3所示，早期火情只有煙霧尚未見到明顯火點(diǎn)。

圖像識(shí)別的能力和紅外測(cè)溫能力形成了良好的技術(shù)能力互補(bǔ)，在實(shí)踐中有較好效果。

圖3 可見光早期煙霧識(shí)別能力示意

同樣，可見光圖像識(shí)別/視頻分析技術(shù)也存在能力限制，主要是在夜間，如圖4所示，由于光照原因?qū)е骂伾⑤喞忍卣鞯南?，圖像識(shí)別性能下降明顯。

圖4 可見光夜間識(shí)別能力不足示意（房屋燈光）

3.3 紅外測(cè)溫和可見光識(shí)別技術(shù)融合方向

在林草防火平臺(tái)建設(shè)過程中，通過兩種技術(shù)的融合，初步研究和驗(yàn)證表明，常見的溫度異常目標(biāo)（如車輛等）通過圖像識(shí)別方法可以高精度抑制，但依然存在一些誤報(bào)場景需要針對(duì)性優(yōu)化。對(duì)誤報(bào)場景進(jìn)行了采樣分析后，得表1中所示數(shù)據(jù)，可以發(fā)現(xiàn)，這三大類場景的誤報(bào)約占了67%。針對(duì)實(shí)際應(yīng)用中發(fā)現(xiàn)的3種可見光誤報(bào)情況，將在第4節(jié)中進(jìn)行誤報(bào)抑制的討論。

表1 煙霧識(shí)別誤報(bào)情況

4 圖像識(shí)別常見誤報(bào)抑制路徑

4.1 揚(yáng)塵與煙霧的區(qū)分

由于揚(yáng)塵與煙霧在形狀以及特征的高度相似性，如圖5所示，在進(jìn)行可見光的煙霧檢測(cè)時(shí)可能會(huì)出現(xiàn)將揚(yáng)塵誤報(bào)成煙霧的情況。雖然有部分揚(yáng)塵是因?yàn)檐囕v運(yùn)動(dòng)引起，但是并不能僅僅用車輛識(shí)別得到有效區(qū)分。原因如下：①車輛被揚(yáng)塵遮擋未必可見；② 畫面中多輛車輛存在，視角原因，空間結(jié)構(gòu)關(guān)系難以確認(rèn)。

事實(shí)上，如果是運(yùn)動(dòng)車輛引起的揚(yáng)塵，通過視頻分析方法可以得以抑制，如圖6所示，因?yàn)槟繕?biāo)移動(dòng)多為直線方向，而煙霧擴(kuò)散則相對(duì)不規(guī)則。難點(diǎn)在于固定區(qū)域的揚(yáng)塵識(shí)別算法。

針對(duì)固定區(qū)域揚(yáng)塵，經(jīng)過不斷試驗(yàn)和調(diào)優(yōu)，將原先的單變量映射識(shí)別算法，其中X為早期的單變量高維特征矢量）擴(kuò)展到多模態(tài)組合算法，其中X，Y，Z為煙霧和揚(yáng)塵分解后的細(xì)分維度特征向量）。通過高維細(xì)分特征的學(xué)習(xí)，在算法訓(xùn)練過程中，強(qiáng)制加大細(xì)節(jié)特征的權(quán)重比例。試驗(yàn)結(jié)果表明，揚(yáng)塵區(qū)分算法的總體識(shí)別率>90%，有效的抑制了該場景誤報(bào)概率。

圖5 揚(yáng)塵誤報(bào)為煙霧

圖6 煙霧與揚(yáng)塵對(duì)比

4.2 模糊圖片的區(qū)分

通過可見光通道進(jìn)行獲取單張圖片時(shí)，可采用設(shè)定預(yù)置位抓取與巡航模式抓取兩種方式。在使用巡航模式抓取圖片時(shí)會(huì)出現(xiàn)攝像頭運(yùn)動(dòng)導(dǎo)致抓取到如圖7的模糊畫面，模糊的畫面會(huì)對(duì)識(shí)別效果產(chǎn)生一定的影響并導(dǎo)致誤報(bào)。

圖7 模糊的畫面

如圖8所示，對(duì)于模糊畫面導(dǎo)致誤報(bào)的產(chǎn)生，可以通過區(qū)分模糊圖片并將其過濾的方法來有效的抑制誤報(bào)。使用圖像清晰度檢測(cè)方法來進(jìn)行模糊與清晰圖片的區(qū)分。在真實(shí)場景應(yīng)用中，因?yàn)閿z像頭處于巡航模式，鏡頭模糊的發(fā)生點(diǎn)位、場景不固定。因此，模糊判定算法需要基于無參考圖模式展開。對(duì)模糊場景進(jìn)行深入研究后，較之以清晰照片，圖像在多維度方向梯度上有較高的分辨率。需要注意的是，多維度方向梯度的閾值設(shè)置在算法訓(xùn)練時(shí)，需要通過統(tǒng)計(jì)數(shù)據(jù)和概率模型擬合來確定，攝像頭的角速率快慢對(duì)照片的模糊程度也存在部分細(xì)微影響。

4.3 云層與煙霧的區(qū)別

通過可見光攝像頭對(duì)煙霧進(jìn)行識(shí)別時(shí)，由于森林防火場景中監(jiān)控?cái)z像頭往往處于高空位置進(jìn)行監(jiān)控，且分遠(yuǎn)、中、近3種場景推進(jìn)攝像頭并巡航，因此不可避免地畫面中會(huì)出現(xiàn)一些如圖9所示與煙霧相似的稀薄云層，可能會(huì)導(dǎo)致將云層誤報(bào)為煙霧。

圖8 模糊圖像檢測(cè)流程

圖9 天空云層誤報(bào)

天際線的識(shí)別方法，在簡單場景中并不復(fù)雜，可以通過霍夫變換實(shí)現(xiàn)直線檢測(cè)，或者通過膨脹腐蝕變換后，計(jì)算聯(lián)通區(qū)域?qū)崿F(xiàn)。但是，在復(fù)雜場景中，因?yàn)楦咚现鶢钏U的存在，會(huì)給以上方法帶來較大挑戰(zhàn)。因此，在該場景下的天際線識(shí)別需要采用更有效的方法來解決特定問題。經(jīng)試驗(yàn)后，新天際線檢測(cè)算法區(qū)域有效識(shí)別率大于95%，但是在曲線擬合上可能存在3～8個(gè)像素點(diǎn)的線性誤差，評(píng)估后認(rèn)為，該線性誤差對(duì)于區(qū)域識(shí)別和云層屏蔽影響可以忽略。

在初步劃定好天際線后按照如圖10的流程進(jìn)行邏輯判斷，對(duì)于天際線以上出現(xiàn)的識(shí)別目標(biāo)判定為云，不進(jìn)行煙火報(bào)警；在天際線以下識(shí)別到的煙霧判定為真實(shí)煙霧，進(jìn)行后續(xù)紅外熱成像的綜合分析；若識(shí)別到的目標(biāo)剛好處于天際線中間，則需要人工輔助進(jìn)行判斷。

圖10 云層判斷流程圖

4.4 抑制效果

在實(shí)際應(yīng)用中，采用本文描述的抑制方法，對(duì)煙霧識(shí)別產(chǎn)生的主要3種誤報(bào)進(jìn)行上述抑制后，再次觀察煙霧識(shí)別在可見光通道的識(shí)別效果，發(fā)現(xiàn)誤報(bào)率減少了90%（其他非通用誤報(bào)場景的抑制直接通過增量負(fù)樣本學(xué)習(xí)方法抑制，本文不再詳述原理及步驟）。因此針對(duì)上訴三種主要場景的誤報(bào)抑制有效降低了誤報(bào)率，提高了煙霧識(shí)別在可見光通道的應(yīng)用效果。

5 信息融合綜合判斷及管理流程建議

考慮到林草防火系統(tǒng)的高可靠性要求，雖然一直探索通過不同技術(shù)的優(yōu)勢(shì)整合和信息融合技術(shù)以抑制誤報(bào)場景，但不漏檢是系統(tǒng)安全性的第一要素。因此，在多種技術(shù)融合時(shí)，如果依然存在難以確定的場景，建議通過人工確認(rèn)手段來保證服務(wù)的安全性。

通過對(duì)可見光圖像識(shí)別進(jìn)行誤報(bào)抑制后，在紅外熱成像與可見光圖像識(shí)別相結(jié)合的方法中，雙重確認(rèn)是較于兩種方法單獨(dú)使用的優(yōu)勢(shì)以及降低誤報(bào)率的保證。雙重確認(rèn)需要對(duì)紅外熱成像信息與可見光信息相融合，進(jìn)行如圖11所示的綜合判斷流程。當(dāng)溫度異常單并沒有識(shí)別到煙霧，需進(jìn)行進(jìn)一步的邏輯判斷：當(dāng)溫度置信值很高，溫度明顯異于常情時(shí)刻就直接判斷為有火情并立即報(bào)警；當(dāng)溫度置信度不高時(shí)建議人工判斷，但此時(shí)人工判斷的工作量較兩種方法獨(dú)立使用時(shí)少了很多。當(dāng)既識(shí)別到溫度異常同時(shí)識(shí)別到煙霧，直接判斷為有火情進(jìn)行報(bào)警。當(dāng)溫度并沒有檢測(cè)到異常，但可見光通道識(shí)別到了煙霧，進(jìn)行進(jìn)一步分析：當(dāng)煙霧置信度很高時(shí)判斷為有火情，立即報(bào)警；當(dāng)煙霧置信度并不高時(shí)，建議人工確認(rèn)。其中關(guān)于溫度的置信度需要長期進(jìn)行大數(shù)據(jù)的追蹤來確定。

圖11 綜合判斷流程圖

6 結(jié)語

在林草監(jiān)控系統(tǒng)的應(yīng)用中，基于紅外雙通道攝像頭，疊加可見光煙霧識(shí)別的技術(shù)，充分利用圖像識(shí)別與紅外熱成像探測(cè)各自的優(yōu)點(diǎn)，并對(duì)常見可見光誤報(bào)場景提出了針對(duì)性優(yōu)化方案，提高了紅外雙通道攝像頭在林草防火中對(duì)火情識(shí)別的準(zhǔn)確度，大大的降低了誤報(bào)率，同時(shí)保證了時(shí)效性，有助于更好的防范森林火災(zāi)，避免經(jīng)濟(jì)損失的擴(kuò)大化。