基于深度學(xué)習(xí)和自相似的物流安全場(chǎng)景創(chuàng)建早期火災(zāi)檢測(cè)教學(xué)演示平臺(tái)的研究

劉天亮，王金凱 （南京郵電大學(xué) 通信與信息工程學(xué)院，江蘇 南京 210003）

0 緒 論

火災(zāi)是眾多災(zāi)難中最常見、最普遍的一種，對(duì)人類的生存與發(fā)展構(gòu)成了嚴(yán)重威脅。我國經(jīng)濟(jì)建設(shè)快速發(fā)展，物流服務(wù)以貨主為服務(wù)對(duì)象，以材料和產(chǎn)品為中心開展采購、加工、包裝、儲(chǔ)存、運(yùn)輸、配送等物流活動(dòng)，服務(wù)過程環(huán)節(jié)眾多，不可預(yù)測(cè)因素也較多，這就對(duì)物流安全的火災(zāi)災(zāi)情研判提出了更高的要求。當(dāng)前常用煙感探頭受距離等因素的限制，難以實(shí)現(xiàn)對(duì)煙感的實(shí)時(shí)監(jiān)測(cè)[1-2]。本文運(yùn)用深度學(xué)習(xí)結(jié)合圖像處理算法，便捷有效地改進(jìn)了受距離限制的火災(zāi)檢測(cè)，有利于學(xué)生了解火災(zāi)檢測(cè)的相關(guān)關(guān)鍵算法，能夠提高學(xué)生的動(dòng)手創(chuàng)新能力。鑒于火災(zāi)具有毀滅性、迅速性等傳播特性，必須在火災(zāi)發(fā)生初期就對(duì)其進(jìn)行快速的識(shí)別，才能最大限度地降低其造成的損失。然而，目前常用的火災(zāi)檢測(cè)手段包括傳統(tǒng)感煙、感溫、感光等，只有在靠近火源的情況下，才能利用其電離生成的微粒進(jìn)行檢測(cè)，進(jìn)而觸發(fā)火災(zāi)報(bào)警和滅火系統(tǒng)；這些手段具有一定可靠性，但也存在延遲性，可能出現(xiàn)警示時(shí)火災(zāi)已經(jīng)不受控制[3-4]。近幾年快速發(fā)展并應(yīng)用于機(jī)器視覺領(lǐng)域的深度學(xué)習(xí)算法，監(jiān)督學(xué)習(xí)選取的部分?jǐn)?shù)據(jù)集，充分利用圖像處理方法使火災(zāi)檢測(cè)取得新進(jìn)展[5-6]，雖然通過深度學(xué)習(xí)可以更好地提取到火焰特征，但單一卷積神經(jīng)網(wǎng)絡(luò)很難捕捉到早期火災(zāi)發(fā)生時(shí)的細(xì)小火焰，且其所需資源巨大，難以應(yīng)用于實(shí)際生產(chǎn)和生活中。

針對(duì)上述火災(zāi)檢測(cè)中存在的部分問題，本文提出基于Python結(jié)合深度學(xué)習(xí)與火焰煙霧自相關(guān)性的想法。通過深度學(xué)習(xí)算法與傳統(tǒng)圖像處理算法相結(jié)合開發(fā)的物流安全領(lǐng)域早期火災(zāi)檢測(cè)教學(xué)演示平臺(tái)，便于識(shí)別早期火災(zāi)并有效檢測(cè)與演示教學(xué)。用戶只需登錄平臺(tái)連接物流安全場(chǎng)景對(duì)應(yīng)的攝像頭IP便可進(jìn)行實(shí)時(shí)火災(zāi)檢測(cè)或?qū)氡镜匾曨l文件模擬檢測(cè)。演示平臺(tái)自動(dòng)保存火災(zāi)檢測(cè)記錄，用戶經(jīng)過簡(jiǎn)單驗(yàn)證即可導(dǎo)出查看檢測(cè)日志，便于學(xué)生記錄實(shí)驗(yàn)數(shù)據(jù)。平臺(tái)專門設(shè)計(jì)針對(duì)早期火焰的檢測(cè)算法以確保面對(duì)復(fù)雜場(chǎng)景時(shí)勘測(cè)火災(zāi)的準(zhǔn)確性和實(shí)時(shí)性。

1 早期火災(zāi)檢測(cè)教學(xué)演示平臺(tái)結(jié)構(gòu)

1.1 總體概述

基于Python結(jié)合深度學(xué)習(xí)與火焰自相關(guān)性的早期火災(zāi)檢測(cè)平臺(tái)利用Python和PyQt5參數(shù)交互。利用PyQt5圖形用戶接口設(shè)計(jì)了一個(gè)交互式火災(zāi)檢測(cè)教學(xué)演示平臺(tái)。其中PyQt5是基于Qt5的Python GUI庫，其控件豐富，開發(fā)高效，支持可視化界面設(shè)計(jì)[7]。圖1中的圖a、圖b分別為早期火災(zāi)檢測(cè)教學(xué)演示平臺(tái)的主界面和結(jié)構(gòu)框架圖，其中平臺(tái)界面主要包括攝像頭管理、檢測(cè)日志管理、監(jiān)控頁面管理和用戶管理。

圖1 物流安全領(lǐng)域早期火焰檢測(cè)教學(xué)演示平臺(tái)

用戶登錄成功后，在攝像頭管理功能下可選擇對(duì)攝像頭IP進(jìn)行添加和刪除或者將本地視頻導(dǎo)入平臺(tái)，達(dá)到實(shí)時(shí)檢測(cè)火災(zāi)的目的；在檢測(cè)日志管理功能中，用戶進(jìn)行簡(jiǎn)單的身份驗(yàn)證即可刪除或?qū)С霾榭椿馂?zāi)檢測(cè)記錄，便于對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行整理記錄；監(jiān)控頁面管理功能中，用戶可以通過可視化監(jiān)控瀏覽早期火焰火災(zāi)險(xiǎn)情發(fā)生情況檢測(cè)結(jié)果；教師可通過用戶管理功能利用主用戶賬號(hào)對(duì)各學(xué)生用戶賬號(hào)權(quán)限進(jìn)行管理。

1.2 編程語言選擇

本火災(zāi)檢測(cè)平臺(tái)試圖將深度學(xué)習(xí)算法的有效性與傳統(tǒng)檢測(cè)算法的實(shí)時(shí)性相結(jié)合，有效監(jiān)控早期火災(zāi)險(xiǎn)情，通過改進(jìn)型輕量化YOLOv5網(wǎng)絡(luò)進(jìn)行初步檢測(cè)，對(duì)可疑區(qū)域輸入傳統(tǒng)檢測(cè)算法進(jìn)行二次判斷，如圖2所示，以提高早期火災(zāi)險(xiǎn)情檢測(cè)準(zhǔn)確率。本平臺(tái)選擇改進(jìn)型YOLOv5網(wǎng)絡(luò)，考慮到Python語言在深度學(xué)習(xí)方面的簡(jiǎn)便性以及與QT圖像界面的相容性[8]，故而選擇使用Python語言結(jié)合PyQt5圖形用戶接口制作教學(xué)演示平臺(tái)的人機(jī)交互界面。

圖2 平臺(tái)檢測(cè)步驟示意圖

2 早期火災(zāi)檢測(cè)關(guān)鍵技術(shù)

為提高檢測(cè)的精準(zhǔn)度和在教學(xué)實(shí)驗(yàn)中的應(yīng)用性，本平臺(tái)的檢測(cè)算法主要對(duì)原有YOLOv5網(wǎng)絡(luò)進(jìn)行輕量化處理并改進(jìn)骨干網(wǎng)絡(luò)部分[9]，在后續(xù)的傳統(tǒng)目標(biāo)檢測(cè)算法上選擇采用動(dòng)態(tài)捕捉方法結(jié)合自相似性算法，提升檢測(cè)性能的同時(shí)增強(qiáng)教師與學(xué)生之間教學(xué)的操作性。

2.1 輕量化YOLOv5 網(wǎng)絡(luò)

2.1.1 深對(duì)空卷積（Space-to-depth）

為解決早期火災(zāi)檢測(cè)中常規(guī)算法難以捕捉到細(xì)小火焰的特征，本平臺(tái)算法在YOLOv5網(wǎng)絡(luò)中采用深對(duì)空卷積模塊。該模塊將特征圖進(jìn)行等間隔下采樣，有效保留了細(xì)小目標(biāo)特征。圖3（a）表示將SPD（Space-to-depth）網(wǎng)絡(luò)塊設(shè)為任意大?。⊿×S×C）（這里以單通道C=1為例，在實(shí)際中可以選擇任意通道）的中間特征映射X，對(duì)其劃分子特征映序列為如下。

如圖3（b）所示（這里取scale=2）將中間特征映射X劃分后得到圖3（c）中四個(gè)子特征映射，此處每個(gè)子特征映射形狀均為（，，1），若對(duì)scale取任意值，所得到的子特征映射形狀為。將得到的四個(gè)子特征映射按照通道維度合并如圖3（d），此時(shí)得到的特征映射形狀為（，，4×1），若對(duì)scale取任意值，則所得到的子特征映射形狀為對(duì)合并后得到的特征子映射做的非跨步卷積，得到輸出特征映射如圖3（e），特征映射形狀為，其中C1為非跨步卷積中的卷積核個(gè)數(shù)，取C1＜scale2×C。

2.1.2 網(wǎng)絡(luò)輕量化

改進(jìn)YOLOv5中骨干網(wǎng)絡(luò)中的卷積采用深度可分離卷積方式，并將原有C3模塊替換改進(jìn)為MobileNetv3模塊。在保證提取的特征量不變的前提下減少參數(shù)量，并將上述深對(duì)空卷積（Space-to-depth）添加到骨干網(wǎng)絡(luò)的MobileNetv3模塊后面[10]。以達(dá)到輕量化的效果，減少參數(shù)量，提高實(shí)時(shí)性與教學(xué)實(shí)驗(yàn)部署實(shí)施性。

2.2 自相似改進(jìn)目標(biāo)重檢測(cè)

在二次判斷的傳統(tǒng)目標(biāo)檢測(cè)算法上本平臺(tái)沒有選擇常用的顏色特征或紋理特征提取。因?yàn)橐曨l捕獲端火焰是動(dòng)態(tài)的，本身一直處于閃爍擴(kuò)張狀態(tài)，所以本平臺(tái)選用混合高斯背景建模的方法對(duì)早期火焰進(jìn)行動(dòng)態(tài)捕捉[11-12]。該方法的優(yōu)勢(shì)在于對(duì)火焰的判斷不再局限于火焰的顏色與紋理特征，在一定范圍內(nèi)可以減少目標(biāo)誤判，以提高火災(zāi)目標(biāo)檢測(cè)準(zhǔn)確率。然而基于高斯背景建模對(duì)火焰煙霧進(jìn)行動(dòng)態(tài)捕獲，易出現(xiàn)如圖4所示的重檢測(cè)現(xiàn)象。

圖4 同一目標(biāo)多次檢測(cè)的示意圖

自相似現(xiàn)象普遍存在于自然界，如雪花、樹枝、海岸線等，且火焰和煙霧本身就屬于自相似體；在數(shù)學(xué)中也很常見，如謝爾賓斯基三角形、科赫曲線等。自相似性可簡(jiǎn)單描述為局部與整體存在相似特性，或理解為自相似體的某些部分在許多不同尺度上表現(xiàn)出相同的統(tǒng)計(jì)特性。圖5是科赫雪花圖，其中a框選部分與b框選部分相似，而b框選部分與c框選部分相似，所以無限放大后，每一框選部分均與上一級(jí)框選部分相似。

圖5 科赫雪花圖

為了解決早期火災(zāi)檢測(cè)過程中可能存在的對(duì)單目標(biāo)重復(fù)檢測(cè)的問題，本平臺(tái)采用豪斯多夫距離計(jì)算預(yù)測(cè)目標(biāo)框之間目標(biāo)物的相似度[7，13]，并設(shè)置閾值作為判斷篩選條件。豪斯多夫距離本質(zhì)上描述的是特征空間內(nèi)兩個(gè)閉集的相似度的度量值。利用圖像處理方法檢測(cè)早期火災(zāi)現(xiàn)象時(shí)，會(huì)將圖片或視頻幀轉(zhuǎn)換為張量進(jìn)行計(jì)算判斷操作。豪斯多夫距離計(jì)算公式如下所示。

其中H（A，B）表示集合A與集合B之間的豪斯多夫距離，h（A，B）表示集合A到集合B的豪斯多夫距離，||a-b||表示集合A中的點(diǎn)a到集合B中點(diǎn)b的任意距離度量值。集合A到集合B的豪斯多夫距離刻畫著集合A內(nèi)所有點(diǎn)到集合B中點(diǎn)的最短距離中的最大距離，而集合A和集合B之間的豪斯多夫距離刻畫的是集合A到集合B的豪斯多夫距離和集合B到集合A的豪斯多夫距離中的最大值[14]。二次判斷后設(shè)置閾值判斷為目標(biāo)物之間的豪斯多夫距離可消除火焰和煙霧由于自相關(guān)性而產(chǎn)生的對(duì)同一目標(biāo)重復(fù)辨識(shí)的現(xiàn)象，改進(jìn)效果如圖6所示。

圖6 自相似改進(jìn)目標(biāo)重檢測(cè)效果圖

3 檢測(cè)平臺(tái)實(shí)例

本平臺(tái)通過PyQt5用戶圖形界面開發(fā)出一個(gè)交互性強(qiáng)且操作簡(jiǎn)單的物流安全領(lǐng)域早期火災(zāi)檢測(cè)教學(xué)平臺(tái)，在保證準(zhǔn)確率的前提下盡可能地提升平臺(tái)運(yùn)行實(shí)時(shí)性。在攝像頭管理功能下，用戶根據(jù)需要連接斷開的攝像頭IP對(duì)攝像頭連接及本地導(dǎo)入視頻進(jìn)行管理；在日志管理功能下，用戶進(jìn)行簡(jiǎn)單的身份驗(yàn)證之后即可對(duì)檢測(cè)記錄進(jìn)行清空或者導(dǎo)出查看；在用戶管理功能下，用戶可以根據(jù)主賬號(hào)對(duì)其他用戶賬號(hào)進(jìn)行權(quán)限管理，限制其他用戶查看日志記錄和修改密碼等權(quán)限，反之可以賦予其權(quán)限。

3.1 早期火災(zāi)檢測(cè)平臺(tái)基本操作步驟

第一步，使用者打開PyCharm軟件，選擇教學(xué)演示平臺(tái)對(duì)應(yīng)的python程序，按下[RUN]按鈕啟動(dòng)程序，進(jìn)入檢測(cè)平臺(tái)登錄界面，如圖7。

圖7 早期火焰檢測(cè)教學(xué)平臺(tái)登錄界面

第二步，用戶登錄成功后彈出早期火災(zāi)檢測(cè)平臺(tái)主界面，如圖8。第三步，點(diǎn)擊選擇[攝像頭管理]功能連接物流安全場(chǎng)景對(duì)應(yīng)的攝像頭IP，如圖9所示。

圖8 早期火焰檢測(cè)教學(xué)平臺(tái)主界面

圖9 攝像頭管理界面

第四步，選擇[IP連接]即可輸入攝像頭IP地址進(jìn)行連接，連接成功則在主界面上顯示該攝像頭結(jié)合平臺(tái)算法檢測(cè)過程，或者選擇本地視頻文件導(dǎo)入平臺(tái)進(jìn)行檢測(cè)。如圖10所示。

圖10 早期火焰檢測(cè)教學(xué)平臺(tái)運(yùn)行界面（以物流倉儲(chǔ)安全場(chǎng)景為例）

第五步，點(diǎn)擊選擇[檢測(cè)日志管理]輸入用戶名進(jìn)行身份權(quán)限驗(yàn)證，驗(yàn)證成功即可查看或者清空檢測(cè)日志。

第六步，點(diǎn)擊[用戶管理]選擇進(jìn)行權(quán)限管理、用戶申請(qǐng)或密碼修改，教師通過主賬號(hào)驗(yàn)證成功后即可進(jìn)行相應(yīng)操作，如圖11所示。

圖11 用戶管理功能選擇界面

3.2 早期火災(zāi)檢測(cè)平臺(tái)使用效果

檢測(cè)過程中，本平臺(tái)檢測(cè)算法使用兩階段的深度學(xué)習(xí)結(jié)合傳統(tǒng)目標(biāo)檢測(cè)算法進(jìn)行檢測(cè)，通過輕量化Yolov5網(wǎng)絡(luò)并應(yīng)用深度可分離空卷積方式，在保證實(shí)時(shí)性的同時(shí)提高了對(duì)早期火災(zāi)的檢測(cè)準(zhǔn)確率。通過深度學(xué)習(xí)初步檢測(cè)后，再運(yùn)用混合高斯濾波的動(dòng)態(tài)捕捉結(jié)合火焰與煙霧自相似性的傳統(tǒng)目標(biāo)檢測(cè)算法進(jìn)行二次判斷，能夠有效改善多次檢測(cè)識(shí)別同一目標(biāo)的問題。

由于本平臺(tái)具有操作簡(jiǎn)易、交互性強(qiáng)且不占用人力物力等特點(diǎn)，用戶經(jīng)過簡(jiǎn)單操作練習(xí)即可流暢地使用本教學(xué)演示平臺(tái)。教師通過主賬號(hào)可有效便捷地管理學(xué)生賬號(hào)，對(duì)其賬號(hào)進(jìn)行權(quán)限等管理；學(xué)生通過簡(jiǎn)單學(xué)習(xí)即可運(yùn)用本實(shí)驗(yàn)平臺(tái)。該平臺(tái)通過自動(dòng)保存檢測(cè)記錄可以幫助學(xué)生理解早期火災(zāi)發(fā)生的機(jī)理和檢測(cè)算法改進(jìn)，有助于提升學(xué)生的創(chuàng)造力。

4 結(jié) 語

本文介紹了一套面向物流安全領(lǐng)域早期火焰檢測(cè)教學(xué)平臺(tái)的設(shè)計(jì)和實(shí)現(xiàn)方法，其可作為火災(zāi)災(zāi)情研判教學(xué)演示平臺(tái)。利用深度學(xué)習(xí)結(jié)合傳統(tǒng)視頻目標(biāo)檢測(cè)的方法檢測(cè)早期火災(zāi)隱患，以大幅提高早期火災(zāi)檢測(cè)的準(zhǔn)確性和實(shí)時(shí)性；該平臺(tái)具有簡(jiǎn)易操作性，易于安裝部署，能有效提高教師教學(xué)效率，故可作為實(shí)驗(yàn)教學(xué)平臺(tái)；提高學(xué)生對(duì)物流安全中圖像處理的理解與應(yīng)用，激發(fā)學(xué)生學(xué)習(xí)興趣，使學(xué)生將理論知識(shí)與實(shí)際動(dòng)手操作結(jié)合起來，進(jìn)一步增強(qiáng)學(xué)生的實(shí)際動(dòng)手能力。