一種基于火災(zāi)圖像和人工智能的熱釋放速率計算方法

王自龍，張?zhí)旌?，黃鑫炎

一種基于火災(zāi)圖像和人工智能的熱釋放速率計算方法

王自龍，張?zhí)旌剑S鑫炎

(香港理工大學建筑環(huán)境與能源工程學系，香港 900777)

火焰的熱釋放速率是描述火災(zāi)行為和危險性的重要參數(shù)之一，然而由于火災(zāi)場景的復(fù)雜性，傳統(tǒng)的火災(zāi)熱釋放速率測量方法無法適用．本文旨在探索一種基于人工智能和圖像的火災(zāi)熱釋放速率預(yù)測方法，用于火災(zāi)場景下火災(zāi)強度的識別，進而為消防應(yīng)急救援提供依據(jù)．用于火災(zāi)熱釋放速率識別的深度學習模型(Swin Transformer)由美國國家標準技術(shù)研究所公開的火災(zāi)圖像量熱數(shù)據(jù)庫訓(xùn)練而成，其中包含火災(zāi)測試89例，不同時刻的5萬多張火災(zāi)圖像．所得模型可根據(jù)火災(zāi)場景下拍攝的火災(zāi)圖像實時識別火災(zāi)的大?。漕A(yù)測結(jié)果表明，即使在不同火源的場景下，深度學習模型可以通過當前的火災(zāi)圖像對火災(zāi)熱釋放速率進行有效識別，這將為未來的智慧消防系統(tǒng)開發(fā)提供有效的支持．

火災(zāi)圖像；人工智能；火災(zāi)量熱；Swin Transformer

火災(zāi)是生活中最常見的事故之一(見圖1)．根據(jù)應(yīng)急管理部消防救援局統(tǒng)計，2020年全國消防部門共接報火災(zāi)25.2萬起，造成1183人死亡，775人受傷，直接財產(chǎn)損失40.09億元．在實際火災(zāi)場景中，火災(zāi)的熱釋放速率(HRR)是衡量火災(zāi)發(fā)展和火災(zāi)規(guī)模的有效指標[1]，已被廣泛用于消防行動中[2]．然而，由于大多數(shù)火災(zāi)場景中缺乏設(shè)備的支持，消防人員只能根據(jù)自己的經(jīng)驗判斷或猜測火災(zāi)的發(fā)展．由于缺乏準確的火災(zāi)信息，會導(dǎo)致消防人員對火災(zāi)場景和關(guān)鍵事件的誤判，延誤滅火和救援的時機，并造成不必要的傷亡．為了確保消防員的安全和有效的消防決策，需要對火災(zāi)場景進行實時的識別，以便更好地了解火災(zāi)的發(fā)展．

（a）建筑火災(zāi) （b）車輛火災(zāi)

圖1 建筑火災(zāi)與車輛火災(zāi)

Fig.1 Building fire and vehicle fire

在大多數(shù)火災(zāi)實驗或?qū)嶋H火災(zāi)場景中，通常采用相機或手機攝像頭對火焰和煙氣進行拍攝，以確定相關(guān)的火災(zāi)參數(shù)[3-5]．對火焰圖像的深入分析可以提供有關(guān)火災(zāi)發(fā)展的各種信息．然而，這些信息的獲得需要經(jīng)過復(fù)雜的圖像處理過程，其準確性和可靠性對相機設(shè)置、背景光和實驗干擾很敏感，因此無法用于真實火災(zāi)場景下的火災(zāi)實時熱釋放速率識別．

隨著人工智能(AI)技術(shù)的發(fā)展，特別是深度學習方法的發(fā)展，人工智能方法已被廣泛應(yīng)用于識別隱藏的火災(zāi)信息和預(yù)測火災(zāi)煙氣的發(fā)展．Wu等[6-7]使用深度學習算法準確預(yù)測了隧道內(nèi)的火源位置和溫度分布．Su等[8]將人工智能方法用于中庭的性能化消防設(shè)計，可以快速確定消防設(shè)計的極限，極大地縮短了設(shè)計周期．Zhang等[9]將人工智能用于腔室火災(zāi)發(fā)展的識別，最終實現(xiàn)了腔室內(nèi)溫度和轟燃現(xiàn)象的預(yù)測．蔣亞強等[10]通過對不同外立面形態(tài)的火災(zāi)場景的訓(xùn)練，實現(xiàn)了不同外立面構(gòu)造形式下開口溢流火焰溫度的實時預(yù)測，為外立面的設(shè)計和火災(zāi)防控提供支撐．然而，這些工作大多是基于模擬數(shù)據(jù)庫或傳感器數(shù)據(jù)來識別和預(yù)測火災(zāi)發(fā)展．然而火災(zāi)場景中很難提前安裝傳感器，即使預(yù)先安裝了傳感器，它也會很快被燒毀．為了實現(xiàn)安全可靠的火災(zāi)信息獲取，人們把研究目光轉(zhuǎn)向了圖像信息．陳培豪等[11]通過采用輕量級神經(jīng)網(wǎng)絡(luò) MobileNetv3 自動提取疑似火災(zāi)區(qū)域特征，實現(xiàn)了實時的視頻火災(zāi)識別．蔣珍存等[12]基于深度遷移學習實現(xiàn)了火災(zāi)場景圖片的準確分類．筆者前期對基于煙霧和火焰圖像來識別火災(zāi)熱釋放速率的可能性進行了初步的探索[13-14]，但是沒有探索不同深度學習算法的有效性．

為了實現(xiàn)更便捷有效的火災(zāi)熱釋放速率識別，本文從美國國家標準技術(shù)研究所(NIST)公開的火災(zāi)量熱數(shù)據(jù)庫中選取了火災(zāi)測試89例，據(jù)此構(gòu)建了火災(zāi)圖像量熱數(shù)據(jù)庫，并將其用于火災(zāi)熱釋放速率識別模型(Swin Transformer)的訓(xùn)練，最終實現(xiàn)了基于圖像的火災(zāi)熱釋放速率識別．

1 預(yù)測方法

1.1 火災(zāi)圖像數(shù)據(jù)庫

為了獲取有效的火災(zāi)熱釋放速率識別模型，筆者使用NIST火災(zāi)圖像量熱數(shù)據(jù)庫[15]對深度學習模型進行訓(xùn)練．NIST火災(zāi)圖像量熱數(shù)據(jù)庫為NIST國家火災(zāi)研究實驗室(NFRL)進行火災(zāi)實驗的匯總，其中包含每個火災(zāi)實驗的實驗記錄，測試樣本包含組分單一的可燃物、設(shè)備齊全的房間、受控的燃燒器和未知組分的復(fù)合燃料等．所有的火災(zāi)實驗在使用攝像機對燃料的燃燒過程進行記錄的同時，還使用了100kW、1MW、3MW和20MW的耗氧量熱儀對燃燒過程的熱釋放速率進行測量，測量結(jié)果的不確定性為11%[16]．

由于所訓(xùn)練的深度學習模型主要通過火焰的行為對火災(zāi)熱釋放速率進行識別，因此在構(gòu)建火災(zāi)圖像數(shù)據(jù)庫的過程中主要選取了火焰形態(tài)較為明顯的的火災(zāi)測試共89例，包含不同時刻的5萬多張火災(zāi)圖像用于深度學習模型的訓(xùn)練，訓(xùn)練樣本可以充分反映不同熱釋放速率下的火焰形態(tài)，足以實現(xiàn)有效的模型訓(xùn)練．燃燒測試的樣本包含紙箱、木垛、垃圾桶、塑料椅、吸塵器、木質(zhì)托盤等常見可燃物，其最大熱釋放速率為3240kW，如圖2所示．

1.2 數(shù)據(jù)庫的生成

獲取到火災(zāi)圖像數(shù)據(jù)庫后，需要將視頻中的火災(zāi)圖像與耗氧量熱儀測量的實時熱釋放速率匹配，以形成用于深度學習模型訓(xùn)練的數(shù)據(jù)庫，其生成過程如圖3所示．數(shù)據(jù)匹配后得到有效圖像51013張，所有圖像對應(yīng)的熱釋放速率分布如圖4所示．從圖中可以看出，訓(xùn)練樣本中不同熱釋放速率圖像的分布并不平衡，較小熱釋放速率對應(yīng)的火焰圖像在數(shù)據(jù)庫中的分布較多．

（a）紙箱 （b）木垛

（c）垃圾桶 （d）塑料椅

圖2 NIST火災(zāi)圖像量熱數(shù)據(jù)庫中的典型燃料

Fig.2 Typical fuel in NIST fire calorimetry database

圖3 數(shù)據(jù)庫的生成和劃分

圖4 數(shù)據(jù)庫熱釋放速率分布

同時，為了提高模型訓(xùn)練的效率，需要對原始火焰圖像進行縮放．本文將分辨率為1920×1080像素的火焰圖像縮放到224×224像素，縮放后的圖像仍保留火焰的主體特征．數(shù)據(jù)庫中的火災(zāi)圖像將被劃分為測試集(80%)和驗證集(20%)兩部分，分別用于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和訓(xùn)練過程中模型的驗證．

1.3 Swin Transformer

盡管人眼可以直觀地對火焰的大小進行判斷，卻無法識別火焰圖像的微小變化，無法準確地判斷火焰的熱釋放速率，因此筆者通過深度學習的方式建立火焰圖像與火災(zāi)熱釋放速率的關(guān)系．Swin Transformer作為當前最先進的深度學習算法之一[17]，同時具有卷積神經(jīng)網(wǎng)絡(luò)(CNN)層次化的構(gòu)建方式以及在無重合窗口區(qū)域的自注意力機制等特點，已被廣泛應(yīng)用于醫(yī)療診斷[18]、缺陷檢測[19]和面部識別[20]等任務(wù)中．筆者將其用于基于火災(zāi)圖像的熱釋放速率識別，所采用的結(jié)構(gòu)如圖5所示．

Swin Transformer采用類似于卷積神經(jīng)網(wǎng)絡(luò)的層次化設(shè)計，共包含4個階段，通過圖像拼接不斷降低圖像的尺度以提取火焰圖像的特征．在將火焰圖像輸入該模型后，首先將圖像切分成為7×7的圖塊，再經(jīng)過線性嵌入圖像維度變?yōu)?6×56×48，其結(jié)果將被輸入Swin Transformer模塊中進行窗口注意力和移動窗口注意力的計算．移動窗口注意力機制的引入可以更好地和其他窗口進行信息交換并極大地降低了計算的復(fù)雜度．最終通過多層感知機輸出火災(zāi)熱釋放速率的數(shù)值．

（a）Swin Transformer （b）移動窗口

（c）Swin Transformer模塊

（d）Swin Transformer結(jié)構(gòu)

圖5 Swin Transformer模型的4個階段

Fig.5 The 4 stages of the Swin Transformer model

整個網(wǎng)絡(luò)結(jié)構(gòu)共包含2800萬個參數(shù)，以充分反映火焰圖像與熱釋放速率之間的關(guān)系．模型的訓(xùn)練在一臺包含有32個CPU核心和一塊Tesla P100 GPU卡的服務(wù)器上進行，50步的訓(xùn)練步長共需要6h．模型訓(xùn)練完成后，深度學習模型可以根據(jù)輸入的火災(zāi)場景圖像實現(xiàn)對火災(zāi)熱釋放速率的實時預(yù)測．

2 預(yù)測結(jié)果

2.1 模型訓(xùn)練

模型訓(xùn)練過程中的表現(xiàn)如圖6所示．經(jīng)過50步的訓(xùn)練，深度學習模型達到收斂，驗證集中最小均方誤差損失為0.01，最大決定性系數(shù)2為0.98，這表明深度學習模型在訓(xùn)練集和驗證集中已實現(xiàn)準確的火災(zāi)熱釋放速率識別．

圖6 模型訓(xùn)練過程中的均方誤差損失與決定性系數(shù)

2.2 模型驗證

基于圖像的火災(zāi)熱釋放速率模型訓(xùn)練完成后，需要對模型的性能進行測試．本節(jié)選取了3個火災(zāi)測試場景對模型性能進行測試，分別為浸庚烷的棉布火災(zāi)，塑料吸塵器火災(zāi)以及木質(zhì)托盤火災(zāi)，對應(yīng)著大中小3種熱釋放速率的火災(zāi)類型．這3種火災(zāi)測試場景完全沒有參與深度學習模型的訓(xùn)練，這意味著深度學習模型將通過從訓(xùn)練集中所學的知識對位置場景進行識別，最終的識別結(jié)果如圖7所示．

總的來說，深度學習模型可以有效地對大中小不同熱釋放速率的火災(zāi)進行識別．其中該模型對中熱釋放速率的火災(zāi)(即塑料吸塵器火災(zāi))的識別效果最好，其識別結(jié)果與實際測試值的決定性系數(shù)達0.98，識別結(jié)果的平均絕對誤差為12.32kW．在對小熱釋放速率火災(zāi)(即浸庚烷)的棉布火災(zāi)場景進行識別時，由于其火焰的尺寸較小，在使用圖像對其熱釋放速率進行識別時容易受到噪聲的影響，識別結(jié)果與實際值的決定性系數(shù)僅達到0.66，然而該模型仍舊能準確識別火災(zāi)的發(fā)展，其預(yù)測結(jié)果的平均絕對誤差為4.49kW.

對于極大熱釋放速率的火災(zāi)場景，以木質(zhì)托盤火災(zāi)為例，深度學習模型在小中熱釋放速率的火災(zāi)階段預(yù)測效果較好，當火災(zāi)充分發(fā)展達到較大的熱釋放速率時，模型將極大地低估實際的火災(zāi)熱釋放率．其原因可能是由于訓(xùn)練數(shù)據(jù)集熱釋放速率分布不平衡導(dǎo)致，小中熱釋放速率的火災(zāi)場景圖像較多，大熱釋放速率的火災(zāi)場景較少甚至沒有，模型傾向于低估較大火災(zāi)的熱釋放速率．這種低估可以通過擴充圖像數(shù)據(jù)庫進行緩解．盡管如此，深度學習模型識別結(jié)果與實際熱釋放速率的決定性系數(shù)仍達到0.72，可以反映實際火災(zāi)場景的發(fā)展．

2.3 模型在隨機火災(zāi)場景的應(yīng)用

基于火災(zāi)實驗的測試，筆者完成了深度學習模型識別性能的驗證．本節(jié)中筆者將該模型應(yīng)用于真實的火災(zāi)場景中．筆者在實驗室環(huán)境下進行了一個沙發(fā)火災(zāi)的實驗，整個測試持續(xù)6min．實驗開始階段使用少量的乙醇將其從中間點燃，當火勢在沙發(fā)表面充分發(fā)展時出于安全考慮對其進行了撲滅．

深度學習模型對沙發(fā)火災(zāi)發(fā)展過程的識別結(jié)果如圖8所示，在測試開始的前2min，主要燃料為用于點燃沙發(fā)的乙醇，隨著乙醇的逐漸燃盡，火災(zāi)的熱釋放速率出現(xiàn)下降趨勢．2min后，沙發(fā)的表面開始劇烈燃燒，熱釋放速率直線上升，直到6min后火災(zāi)測試被終止，在這個過程中，深度學習模型可以很好地識別沙發(fā)火災(zāi)的發(fā)展過程．模型識別的火災(zāi)峰值熱釋放速率為600kW，為前人火災(zāi)測試[21]測得峰值熱釋放速率992kW的3/5．此時，僅沙發(fā)的表面在發(fā)生燃燒，因此人工智能的預(yù)測結(jié)果整體上具有合理性.

圖7 深度學習模型預(yù)測與實際實驗結(jié)果對比

圖8 基于圖像的沙發(fā)火災(zāi)熱釋放速率預(yù)測

3 結(jié) 論

筆者對基于Swin Transformer深度學習和圖像火災(zāi)熱釋放速率識別進行了探索，通過NIST的火災(zāi)量熱數(shù)據(jù)庫對深度學習模型進行訓(xùn)練，實現(xiàn)了不同火災(zāi)場景下火災(zāi)熱釋放速率的實時識別．測試結(jié)果表明，即使在不同火源的場景下，深度學習模型仍可以通過當前的火災(zāi)圖像對火災(zāi)熱釋放速率進行有效識別，對于中等尺度火災(zāi)，其熱釋放速率識別與實際測量值的決定性系數(shù)可達0.98．該方法的提出為復(fù)雜火災(zāi)場景中火災(zāi)熱釋放速率的識別提供了依據(jù)，通過擴大火災(zāi)圖像數(shù)據(jù)庫，該模型的測量范圍和測量精度可以得到進一步改善．這種簡單方便的火災(zāi)熱釋放速率識別方法將為智慧消防系統(tǒng)的構(gòu)建和開發(fā)提供有效的支持．

［1］ Tewarson A. Heat release rate in fires[J].，1980，4(4)：185-191.

［2］ Johansson N，Svensson S. Review of the use of fire dynamics theory in fire service activities[J].，2019，55(1)：81-103.

［3］ Sun P，Wu C，Zhu F，et al. Microgravity combus-tion of polyethylene droplet in drop tower[J].，2020，222：18-26.

［4］ Xiong C，F(xiàn)an H，Huang X，et al. Evaluation of burning rate in microgravity based on the fuel regres-sion，flame area，and spread rate[J].，2022，237：111846.

［5］ Sun X，Hu L，Zhang X，et al. Experimental study on flame pulsation behavior of external venting facade fire ejected from opening of a compartment[J].，2021，38(3)：4485-4493.

［6］ Wu X，Park Y，Li A，et al. Smart detection of fire source in tunnel based on the numerical database and artificial intelligence[J].，2020，57：657-682.

［7］ Wu X，Zhang X，Huang X，et al. A real-time forecast of tunnel fire based on numerical database and artificial intelligence[J].，2022，15(4)：511-524.

［8］ Su L，Wu X，Zhang X，et al. Smart performance-based design for building fire safety：Prediction of smoke motion via AI[J].，2021，43：102529.

［9］ Zhang T，Wang Z，Wong H Y，et al. Real-time forecast of compartment fire and flashover based on deep learning[J].，2021：100310.

［10］ 蔣亞強，王自龍，黃鑫炎. 基于人工智能的外立面開口火溢流溫度場預(yù)測[J]. 消防科學與技術(shù)，2021，40：827-830.

Jiang Yaqiang，Wang Zilong，Huang Xinyan. Artificial intelligence based facade spilled flame temperature field prediction[J].，2021，40：827-830(in Chinese).

［11］ 陳培豪，肖 鐸，劉 泓. 基于深度學習的視頻火災(zāi)識別算法[J]. 燃燒科學與技術(shù)，2021，27(6)：695-700.

Chen Peihao，Xiao Duo，Liu Hong. Video fire detec-tion algorithm based on deep learning[J].，2021，27(6)：695-700(in Chinese).

［12］ 蔣珍存，溫曉靜，董正心，等. 基于深度學習的VGG16 圖像型火災(zāi)探測方法研究[J]. 消防科學與技術(shù)，2021，40：375-377.

Jiang Zhencun，Wen Xiaojing，Dong Zhengxin，et al. Research on fire detection of improved VGG16 image recognition based on deep learning[J].，2021，40：375-377(in Chinese).

［13］ Wang Z，Zhang T，Wu X，et al. Predicting transient building fire based on external smoke images and deep learning[J].，2022，47：103823.

［14］ Wang Z，Zhang T，Huang X. Predicting real-time fire heat release rate based on flame images and deep learning[J].，2023，39(3)：4115-4123.

［15］ Bundy M. User’s Guide for Fire Calorimetry Database (FCD)[R]. Gaithersburg：National Institute of Stan-dards and Technology，2020.

［16］ Bryant R A，Ohlemiller T J，Johnsson E L，et al. The NIST 3 Megawatt Quantitative Heat Release Rate Facility[R]. Gaithersburg：National Institute of Standards and Technology，2003.

［17］ Liu Z，Lin Y，Cao Y，et al. Swin transformer：Hierarchical vision transformer using shifted windows[C]//. 2021，10012-10022.

［18］ Zhang L，Wen Y. A transformer-based framework for automatic COVID19 diagnosis in chest CTs[C]//. 2021：513-518.

［19］ Gao L，Zhang J，Yang C，et al. Cas-VSwin transformer：A variant swin transformer for surface-defect detection[J].，2022，140：103689.

［20］ Kim J H，Kim N，Won C S. Facial Expression Rec-ognition with Swin Transformer[EB/OL]. https://doi. org/10.48550/arXiv.2203.13472.2022.

［21］ Zou G W，Huo Y，Chow W K，et al. Modelling of heat release rate in upholstered furniture fire[J].，2018，42(4)：374-385.

A Method for Calculating Heat Release Rates Based on Fire Images and Artificial Intelligence

Wang Zilong，Zhang Tianhang，Huang Xinyan

(Department of Building Environment and Energy Engineering，The Hong Kong Polytechnic University，Hong Kong 900777，China)

The heat release rate(HRR)of a fire is one of the critical parameters in describing the fire behavior and hazard. However，due to the complexity of fire scenarios，traditional methods of measuring HRR cannot be applied. This study aims to explore a HRR prediction method based on artificial intelligence in fire scenarios，which will facilitate the identification of fire intensity and provide support for fire emergency rescue. The deep learning model(Swin Transformer)for HRR calculation is trained on the publicly available fire calorimetric database from the National Institute of Standards and Technology，which contains 89 fire tests and over 50000 fire images taken at different times. The obtained model can identify the size of the fire in real time based on the fire images taken in the fire scenario.The results show that even in different fire scenarios，the deep learning model can effectively identify HRR based on the fire images，which will provide effective support for the development of future intelligent fire systems.

fire images；artificial intelligence；fire calorimetry；Swin Transformer

TK16

A

1006-8740(2024)01-0069-06

2023-02-28．

香港研究資助局資助項目(T22-505/19-N)．

王自龍(1996— )，男，博士后，zilong.wang@connect.polyu.hk.

黃鑫炎，男，博士，副教授，博士生導(dǎo)師，xy.huang@polyu.edu.hk.

(責任編輯：梁 霞)