融合結(jié)構(gòu)重參數(shù)化變換的氣體泄漏紅外檢測(cè)

莊宏，張印輝，何自芬，曹輝柱

（昆明理工大學(xué) 機(jī)電工程學(xué)院，昆明 650500）

0 引言

氣體泄漏是工業(yè)生產(chǎn)過(guò)程中存在的主要安全隱患之一，不僅會(huì)對(duì)人體造成危害，還會(huì)引起爆炸等安全事故，對(duì)人類和環(huán)境造成不小的危害［1］。傳統(tǒng)的氣體泄漏檢測(cè)主要采用氣敏型傳感器進(jìn)行點(diǎn)位測(cè)量的接觸式檢測(cè)，其接觸性原理造成很多待檢測(cè)區(qū)域覆蓋不完整，存在檢測(cè)范圍小、敏感性差、實(shí)時(shí)性不高、無(wú)法定位泄漏源等問(wèn)題，對(duì)工作人員安全有很大的威脅［2-3］。雖然也有學(xué)者研究了新型傳感器，檢測(cè)準(zhǔn)確性不斷提升，檢測(cè)材料多樣化，但仍然存在接觸式檢測(cè)的缺點(diǎn)，且需要定期校準(zhǔn)［4-6］。

近年來(lái)紅外成像技術(shù)快速發(fā)展，可以在發(fā)生氣體泄漏時(shí)利用工業(yè)氣體分子在紅外波段的特征吸收進(jìn)行檢測(cè)，將氣體泄漏時(shí)的圖像直觀地呈現(xiàn)在顯示器上，同時(shí)達(dá)到廣域、高效和可視化的氣體泄漏檢測(cè)成為了可能［7-8］。在企業(yè)安全生產(chǎn)過(guò)程中，工作人員通常使用紅外熱像儀進(jìn)行泄漏視檢判斷。紅外熱像儀雖然可以手持、車載、機(jī)載或固定安裝，但工作人員的經(jīng)驗(yàn)對(duì)檢測(cè)的準(zhǔn)確性有著重要的影響。此外紅外圖像分辨率較低且顯示的是灰度圖像，不符合人眼的視覺(jué)習(xí)慣且非常耗費(fèi)人力。即使是經(jīng)驗(yàn)豐富的工作人員在長(zhǎng)時(shí)間工作后也容易出現(xiàn)誤判或漏判［9］。隨人工智能技術(shù)飛速發(fā)展，以卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的深度學(xué)習(xí)算法已成為計(jì)算機(jī)視覺(jué)領(lǐng)域的重要技術(shù)手段，基于深度學(xué)習(xí)的氣體泄漏紅外檢測(cè)方法成為主流，這些方法具有非接觸、監(jiān)控范圍大、響應(yīng)速度快等特點(diǎn)，正被廣泛應(yīng)用于視覺(jué)檢測(cè)中以替代傳統(tǒng)的人工巡檢。林云［10］以LeNet 模型為基礎(chǔ)網(wǎng)絡(luò)框架，添加丟棄模塊等結(jié)構(gòu)構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)框架，利用該卷積網(wǎng)絡(luò)對(duì)有害氣體紅外圖像進(jìn)行分類識(shí)別取得98%分類精度，但模型對(duì)泄漏區(qū)域進(jìn)行分類沒(méi)有對(duì)其檢測(cè)回歸泄漏點(diǎn)定位。翁靜等［11］以熱成像技術(shù)為核心使用支持向量機(jī)進(jìn)行泄漏氣體云團(tuán)檢測(cè)，檢測(cè)距離在10～150 m 時(shí)的泄漏氣體云團(tuán)的分類準(zhǔn)確率可達(dá)92.5%，但數(shù)據(jù)庫(kù)較少，只有1 000 個(gè)樣本數(shù)據(jù)，結(jié)果并不嚴(yán)謹(jǐn)。SHI Jihao 等［12］提出一種基于快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Faster Region-based Convolutional Neural Network，F(xiàn)aster R-CNN）的氣體泄漏實(shí)時(shí)檢測(cè)方法，但模型權(quán)重大小較大，導(dǎo)致單張圖像模型推理時(shí)間高達(dá)到60 ms。WANG J 等［13］提出一種利用紅外攝像機(jī)對(duì)天然氣甲烷泄漏分類的卷積網(wǎng)絡(luò)模型（GasNet），建立了GasVid 數(shù)據(jù)集并且在甲烷氣體泄漏量分別為小、中、大時(shí)的分類準(zhǔn)確率達(dá)到78.2%，但模型存在無(wú)法確定泄漏源的問(wèn)題。

基于以上分析，以氣敏傳感器接觸式的氣體泄漏檢測(cè)受安裝位置和風(fēng)向的影響存在無(wú)法快速定位泄漏源、檢測(cè)效率低、實(shí)時(shí)性差等問(wèn)題。利用非接觸式紅外檢測(cè)能夠?qū)崿F(xiàn)在較遠(yuǎn)距離處對(duì)泄漏氣體的成像與定位，更好保障工作人員的安全，但利用熱像儀依靠人工進(jìn)行視檢判斷非常耗費(fèi)人力，泄漏檢測(cè)模型較為繁瑣復(fù)雜，達(dá)不到輕量化，實(shí)施難度大且難以實(shí)現(xiàn)工業(yè)氣體泄漏實(shí)時(shí)檢測(cè)?；诩t外熱像儀獲取的紅外圖像質(zhì)量差、對(duì)比度低，造成檢測(cè)效果差以及氣體泄漏時(shí)間、地點(diǎn)不固定，為保證安全對(duì)實(shí)時(shí)性提出高需求，然而現(xiàn)有檢測(cè)已無(wú)法滿足現(xiàn)階段的需求。為此本文提出一種融合結(jié)構(gòu)重參數(shù)化變換的紅外非接觸式檢測(cè)網(wǎng)絡(luò)模型GRNet（Gamma Reparameter Network，GRNet）。YOLOv5（You Only Look Once，YOLO）模型是YOLO 系列模型［14-18］的第5個(gè)版本具有較強(qiáng)的檢測(cè)速度和魯棒性。以YOLOv5s 模型為基礎(chǔ)，在自建的氣體泄漏紅外檢測(cè)數(shù)據(jù)集上開(kāi)展實(shí)驗(yàn)。GRNet 模型針對(duì)紅外氣體泄漏區(qū)域輪廓邊緣模糊定位困難的問(wèn)題，在模型后處理階段引入完全交并比（Complete Intersection over Union，CIoU）［19］定位損失函數(shù)計(jì)算目標(biāo)間相似度，加快預(yù)測(cè)框的回歸速率，以提高模型對(duì)泄漏區(qū)域的定位準(zhǔn)確度；針對(duì)氣體泄漏紅外圖像受到紅外熱像儀的限制和多種外界環(huán)境因素的干擾，普遍存在分辨率差、對(duì)比度低且泄漏樣本單一的缺陷，造成檢測(cè)效果差的問(wèn)題，采用Mosaic-Gamma變換的數(shù)據(jù)增強(qiáng)方法進(jìn)行預(yù)處理，提高氣體泄漏區(qū)域?qū)Ρ榷鹊耐瑫r(shí)擴(kuò)充泄漏樣本，提供給模型多種形態(tài)樣本，使模型對(duì)氣體泄漏有較高的檢測(cè)能力以及泛化性；通過(guò)K-means 聚類分析出適用于氣體泄漏紅外檢測(cè)的候選框以預(yù)置模型參數(shù)；采用改進(jìn)后的輕量化網(wǎng)絡(luò)RepVGG 模塊替換特征提取網(wǎng)絡(luò)中的卷積層增強(qiáng)模型的特征提取能力，以實(shí)現(xiàn)輕量化的同時(shí)提高檢測(cè)精度；最后采用偽色彩映射對(duì)泄漏濃度進(jìn)行定性分析以及通過(guò)PyQt5 將模型進(jìn)行封裝，實(shí)現(xiàn)檢測(cè)系統(tǒng)界面的可視化，并在Jetson Nano嵌入式實(shí)驗(yàn)平臺(tái)部署模型，驗(yàn)證實(shí)際工程應(yīng)用的可行性和有效性。

1 GRNet 模型

為實(shí)現(xiàn)氣體泄漏非接觸式實(shí)時(shí)檢測(cè)，提出一種融合結(jié)構(gòu)重參數(shù)化變換的紅外非接觸式檢測(cè)網(wǎng)絡(luò)模型GRNet，其總體架構(gòu)如圖1所示。GRNet 模型主要包含輸入層（Input）、特征提取網(wǎng)絡(luò)（Backbone）、頸部（Neck）和檢測(cè)頭（Head）四個(gè)部分。在模型的Input 部分，采用Mosaic-Gamma 變換的數(shù)據(jù)增強(qiáng)方法進(jìn)行預(yù)處理，其目的是更好地豐富氣體泄漏樣本不同形態(tài)，增強(qiáng)對(duì)泄漏區(qū)域的識(shí)別從而提高模型泛化能力。在Backbone 部分，采用改進(jìn)后的輕量化網(wǎng)絡(luò)RepVGG 模塊替換其中的卷積層重新構(gòu)建特征提取網(wǎng)絡(luò)，提取圖像的特征信息。在Neck 部分，經(jīng)過(guò)C3 模塊加強(qiáng)融合圖像深淺層全局和局部的信息，使得模型獲取多尺度特征信息。在Head 部分，采用CIoU 為模型的定位損失函數(shù)，對(duì)三個(gè)不同尺度的預(yù)測(cè)層生成邊界框進(jìn)行回歸優(yōu)化，以提高模型對(duì)紅外氣體泄漏區(qū)域的定位準(zhǔn)確度。

圖1 GRNet 模型總體架構(gòu)Fig.1 GRNet model general architecture

1.1 候選框參數(shù)優(yōu)化

YOLOv5s 模型中，候選框參數(shù)是根據(jù)COCO 數(shù)據(jù)集中不同的檢測(cè)目標(biāo)設(shè)置的。COCO 數(shù)據(jù)集將大于96 像素×96 像素的目標(biāo)劃分為大尺度目標(biāo)，將大于32 像素×32 像素且小于96 像素×96 像素的目標(biāo)劃分為中等尺度目標(biāo)，將小于32 像素×32 像素的目標(biāo)劃分為小尺度目標(biāo)。本文中氣體泄漏檢測(cè)種類為氨氣一種類別，而且氣體泄漏是從無(wú)到有的擴(kuò)散，候選框的尺寸呈從小到大規(guī)律性變化，如圖2所示。YOLOv5s 基礎(chǔ)模型候選框參數(shù)不能滿足氣體泄漏紅外圖像檢測(cè)的實(shí)際需要，需要重新設(shè)計(jì)從小到大尺寸規(guī)律性變化的候選框參數(shù)以滿足氣體泄漏過(guò)程的尺寸要求。

圖2 紅外氣體泄漏真實(shí)框變化Fig.2 Change diagram of real frame of infrared the gas leakage

基于以上分析，采用K-means 聚類算法對(duì)數(shù)據(jù)集標(biāo)注的真實(shí)框尺寸進(jìn)行聚類計(jì)算。K-means 聚類算法［20］是一種迭代型聚類算法，使模型選擇更為精準(zhǔn)的候選框能夠更好地反映目標(biāo)的特征，避免模型在訓(xùn)練時(shí)盲目尋找，以提高模型檢測(cè)效果，有助于模型快速收斂達(dá)到實(shí)時(shí)性。

YOLOv5s 一共有三個(gè)檢測(cè)層，每個(gè)檢測(cè)層有3 個(gè)不同高寬比的候選框?qū)δ繕?biāo)進(jìn)行識(shí)別定位，共9 個(gè)候選框，故以640×640 像素圖像作為輸入。以候選框的數(shù)量為9 對(duì)氨氣泄漏紅外檢測(cè)數(shù)據(jù)集的1 782 幅圖像進(jìn)行K-means 聚類分析，聚類分析可視化效果如圖3所示。聚類前后三個(gè)檢測(cè)層候選框尺寸情況對(duì)比如表1所示。對(duì)數(shù)據(jù)集候選框高寬比進(jìn)行可視化分析，結(jié)果如圖4所示。由表1、圖3、圖4 可知，聚類中心分布較好，每一聚類中心都屬于單獨(dú)一簇。聚類前YOLOv5s 基礎(chǔ)模型的候選框高寬比變化分布范圍為0.70～2.03，而氣體泄漏紅外檢測(cè)數(shù)據(jù)集聚類分析后得到的候選框高寬比分布范圍主要為0.19～1.17。聚類前后候選框高寬比分布范圍變化較大，符合標(biāo)注的真實(shí)框從小逐漸變大的情況，說(shuō)明采用K-means 算法對(duì)氣體泄漏紅外檢測(cè)數(shù)據(jù)集聚類分析的效果明顯，聚類得到的候選框參數(shù)有助于模型對(duì)目標(biāo)進(jìn)行識(shí)別定位，能提高模型的收斂速度和準(zhǔn)確性。

表1 聚類前后三個(gè)檢測(cè)層初始候選框尺寸情況Table 1 The size of the initial anchor frame of the three detection layers before and after clustering

圖3 氣體泄漏候選框聚類分析可視化效果Fig.3 Visualization of gas leakage candidate box clustering analysis

圖4 氣體泄漏紅外檢測(cè)數(shù)據(jù)集候選框高寬比可視化結(jié)果Fig.4 Aspect ratio visualization results of candidate frames for gas leak infrared detection dataset

1.2 圖像增強(qiáng)預(yù)處理

多數(shù)應(yīng)用場(chǎng)景中用于訓(xùn)練模型的原始數(shù)據(jù)集量難以達(dá)到理想訓(xùn)練需求，而且獲得較多數(shù)據(jù)集需要增加額外的代價(jià)以及較大工作量，較好的辦法就是對(duì)數(shù)據(jù)做合適的預(yù)處理。針對(duì)氣體泄漏紅外氣體圖像受到紅外熱像儀的限制和多種外界環(huán)境因素的干擾，普遍存在分辨率差、對(duì)比度低且泄漏樣本單一的缺陷，造成檢測(cè)效果差的問(wèn)題，采用Mosaic-Gamma 變換的數(shù)據(jù)增強(qiáng)方法進(jìn)行預(yù)處理，達(dá)到提高氣體泄漏區(qū)域?qū)Ρ榷鹊耐瑫r(shí)擴(kuò)充泄漏樣本，提供給模型多種形態(tài)樣本，使模型具有對(duì)氣體泄漏較高的檢測(cè)能力以及較高的泛化性。

首先，使用Mosaic 進(jìn)行增強(qiáng)［21］，隨機(jī)旋轉(zhuǎn)和翻轉(zhuǎn)數(shù)據(jù)集的四張圖片，然后對(duì)圖像進(jìn)行平移等一系列變換操作，經(jīng)過(guò)整合塑造具有新背景的氨氣紅外圖像，如圖5。將新融合圖像樣本對(duì)象作為新數(shù)據(jù)，連同原數(shù)據(jù)集共同訓(xùn)練，更好地豐富氣體泄漏背景以及提供多種泄漏形態(tài)，增強(qiáng)對(duì)泄漏區(qū)域的識(shí)別從而提高模型泛化能力。Mosaic 增強(qiáng)方法在數(shù)據(jù)集上融合圖像，等于變相加大訓(xùn)練批次的規(guī)模（Batch size），在訓(xùn)練過(guò)程中能減少顯存消耗的同時(shí)達(dá)到讓算力有限的GPU 也能進(jìn)行訓(xùn)練的效果。

圖5 Mosaic 數(shù)據(jù)增強(qiáng)效果Fig.5 Mosaic data enhancement

在經(jīng)過(guò)Mosaic 數(shù)據(jù)增強(qiáng)的基礎(chǔ)上采用Gamma 變換增強(qiáng)，編輯氣體紅外圖像的Gamma 曲線。該方法是對(duì)氣體泄漏紅外圖像進(jìn)行非線性色調(diào)編輯的策略，過(guò)程中檢出氣體圖像信號(hào)中的深、淺兩色，并且使得二者的占比提高，從而達(dá)到增強(qiáng)圖像對(duì)比度的效果。Gamma 變換的表達(dá)式為［22］

式中，F(xiàn)in表示輸入圖像，F(xiàn)out表示輸出圖像；當(dāng)γ＜1 時(shí)，在灰度值偏低的區(qū)域，動(dòng)態(tài)范圍變大，將圖像上較為集中的低照度區(qū)范圍進(jìn)行拉伸，使得圖像對(duì)比度得到了提高；當(dāng)γ＞1 時(shí)，在灰度值較高的區(qū)域，動(dòng)態(tài)范圍變大，對(duì)圖像上較為集中的高照度區(qū)范圍進(jìn)行拉伸，使得圖像對(duì)比度提高，效果見(jiàn)圖6。Mosaic-Gamma 預(yù)處理方法在加強(qiáng)圖像對(duì)比度特征的同時(shí)對(duì)數(shù)據(jù)集進(jìn)行了擴(kuò)展，豐富表達(dá)圖像細(xì)節(jié)，使得檢測(cè)效果較好。

圖6 Gamma 變換效果Fig.6 Gamma transform rendering

基于以上分析，氣體泄漏紅外圖像采用Mosaic-Gamma 變換的數(shù)據(jù)增強(qiáng)方法進(jìn)行預(yù)處理，使圖像結(jié)合了彼此4 種不同形態(tài)的氣體泄漏區(qū)域的上下文信息，豐富了泄漏的場(chǎng)景，在訓(xùn)練時(shí)變相增加了訓(xùn)練批次大小，這使得模型的泛化能力提升，檢測(cè)的精度提高，其原理如圖7所示。

圖7 圖像增強(qiáng)預(yù)處理原理Fig.7 Image enhancement preprocessing schematic

1.3 目標(biāo)定位損失函數(shù)優(yōu)化

本文氣體泄漏紅外數(shù)據(jù)集中泄漏區(qū)域目標(biāo)由小到大有規(guī)律地發(fā)生變化，它的像素面積占比與整幅圖像相比不是固定不變的，并且大部分泄漏區(qū)域存在模糊的邊緣特征、輪廓定位不夠明確，因此氣體泄漏檢測(cè)對(duì)網(wǎng)絡(luò)模型的特征提取能力以及預(yù)測(cè)框回歸有較高的要求。圖8所示分別為小型泄漏區(qū)域目標(biāo)、中型泄漏區(qū)域目標(biāo)、大型泄漏區(qū)域目標(biāo)的預(yù)測(cè)泄漏框與真實(shí)泄漏目標(biāo)框的擬合示意圖，假設(shè)預(yù)測(cè)框的寬高均與真實(shí)框一致，紅框（預(yù)測(cè)泄漏框）較藍(lán)框（真實(shí)泄漏框）沿x軸和y軸發(fā)生10 像素的偏移，計(jì)算得到大型泄漏區(qū)域目標(biāo)的交并比（Intersection over Union，IoU）為0.851、中型泄漏區(qū)域目標(biāo)的IoU 為0.684，而小型泄漏區(qū)域目標(biāo)框的IoU 為僅0.481，分析可得，中小型泄漏區(qū)域內(nèi)目標(biāo)預(yù)測(cè)框預(yù)測(cè)的精確性在很大程度上受到了定位中心擬合精度的影響。為提高模型對(duì)氨氣泄漏區(qū)域目標(biāo)定位的準(zhǔn)確性，將YOLOv5s 網(wǎng)絡(luò)模型默認(rèn)采用的廣義交并比（Generalized Intersection over Union，GIoU）損失函數(shù)函數(shù)替換為CIoU 定位損失函數(shù)。

圖8 真實(shí)框與預(yù)測(cè)框擬合示意圖Fig.8 Fitting diagram of real box and prediction box

GIoU 定位損失函數(shù)LG表示為［23-24］

式中，A為預(yù)測(cè)泄漏框面積；B為真實(shí)泄漏框面積；C為兩個(gè)框的最小閉包區(qū)域面積，I為真實(shí)框與預(yù)測(cè)框的面積交并比IoU。GIoU 定位損失函數(shù)很好地解決了IoU 中無(wú)法優(yōu)化預(yù)測(cè)泄漏框和真實(shí)泄漏框之間不相交以及無(wú)法體現(xiàn)兩個(gè)框之間是如何相交的問(wèn)題，但泄漏區(qū)域的預(yù)測(cè)框與真實(shí)框在包含狀態(tài)下，兩框并集與特定框面積相等，GIoU 的定位損失函數(shù)將退化為IoU，不能分辨它們之間的相對(duì)位置關(guān)系，產(chǎn)生較大的誤差。

針對(duì)GIoU 定位損失函數(shù)回歸不準(zhǔn)確以及定位中心對(duì)氣體泄漏區(qū)域預(yù)測(cè)框準(zhǔn)確性影響較大的問(wèn)題，引入CIoU 定位損失函數(shù)LC，將GIoU 兩個(gè)框的最小閉包區(qū)域面積替換為兩個(gè)框中心點(diǎn)的標(biāo)準(zhǔn)化距離，并且考慮了邊界框的縱橫比公式，如（4）所示［23］，從而加速預(yù)測(cè)泄漏框朝著真實(shí)泄漏框的收斂速度，以提高模型對(duì)泄漏區(qū)域回歸定位精確性。

采用CIoU 定位損失可以加快泄漏區(qū)域邊界框回歸的速率，提高定位精度，并增強(qiáng)泄漏區(qū)域的預(yù)測(cè)對(duì)真實(shí)泄漏情況的擬合能力。把ρ2(A，B)表示預(yù)測(cè)框和真實(shí)框中心點(diǎn)的歐式距離記為d，CIoU 定位損失示意如圖9所示。

圖9 CIoU 定位損失Fig.9 CIoU positioning loss

1.4 結(jié)構(gòu)重參數(shù)模塊嵌入

氨氣為易燃易爆且?guī)в卸拘缘臍怏w，其泄漏發(fā)生時(shí)間、地點(diǎn)不固定，對(duì)其檢測(cè)的敏感性和模型推理速度提出了極高要求。為降低氨氣泄漏檢測(cè)模型的推理計(jì)算量，加快模型的推理速度，實(shí)現(xiàn)氨氣泄漏非接觸式檢測(cè)，重新構(gòu)建模型的特征提取網(wǎng)絡(luò)，降低模型推理時(shí)的計(jì)算量并壓縮模型權(quán)重大小。

YOLOv5s 模型特征提取網(wǎng)絡(luò)采用淺Conv 卷積層，雖然能在氨氣泄漏紅外檢測(cè)中對(duì)泄漏區(qū)域進(jìn)行特征提取和分析，但能力有限。同時(shí)C3 模塊也會(huì)占用緩存空間降低運(yùn)行速度，造成漏檢，影響氨氣泄漏檢測(cè)的準(zhǔn)確性與速率，不符合氨氣高性能檢測(cè)需求。采用RepVGG 模塊［25］改進(jìn)Conv 卷積層，重新構(gòu)建特征提取網(wǎng)絡(luò)，進(jìn)行無(wú)損壓縮，提高模型檢測(cè)速率的同時(shí)減少模型參數(shù)量。RepVGG 模塊重構(gòu)后只含有3×3 卷積與ReLU 激活函數(shù)。但模型需要對(duì)氨氣泄漏之初的低濃度進(jìn)行敏感檢測(cè)，低濃度氨氣泄漏的信號(hào)會(huì)表現(xiàn)為較小的負(fù)數(shù)值。ReLU 激活函數(shù)雖然計(jì)算簡(jiǎn)單，能輔助提高模型推理時(shí)間，但ReLU 函數(shù)對(duì)負(fù)數(shù)響應(yīng)過(guò)弱，導(dǎo)致泄漏區(qū)域?yàn)樨?fù)數(shù)值的信號(hào)被截?cái)酁榱?，信息丟失，檢測(cè)精度降低。SiLU 激活函數(shù)相對(duì)ReLU 激活函數(shù)而言，在氨氣檢測(cè)中可以更好地保留低濃度負(fù)數(shù)的信息，提高模型的檢測(cè)精度。因此采用優(yōu)化激活函數(shù)后的RepVGG 模塊代替Conv 卷積層，同時(shí)精簡(jiǎn)C3 模塊數(shù)量，重新構(gòu)建特征提取網(wǎng)絡(luò)，結(jié)構(gòu)示意圖如圖10所示。RepVGG 模塊在訓(xùn)練過(guò)程中使用3×3 卷積、1×1 卷積和Identity 殘差結(jié)構(gòu)多分支提高模型準(zhǔn)確度，同時(shí)在推理過(guò)程中使用單路3×3 卷積與SiLU 激活函數(shù)的架構(gòu)快速推理、節(jié)省內(nèi)存，如圖11所示。改進(jìn)的特征提取網(wǎng)絡(luò)能夠在實(shí)現(xiàn)壓縮模型權(quán)重大小的同時(shí)提升對(duì)氨氣檢測(cè)準(zhǔn)確性。

圖10 RepVGG 模塊重構(gòu)的特征提取網(wǎng)絡(luò)結(jié)構(gòu)Fig.10 Structure of feature extraction network reconstructed by RepVGG module

圖11 RepVGG 模塊結(jié)構(gòu)Fig.11 RepVGG module structure diagram

分析可知，為了滿足氨氣泄漏模型檢測(cè)精度高、速度快的需求，采用改進(jìn)的RepVGG 模塊，對(duì)模型進(jìn)行特征提取網(wǎng)絡(luò)再搭建，增強(qiáng)了模型特征提取能力，降低特征信息的損失，既考慮了速度問(wèn)題又增強(qiáng)網(wǎng)絡(luò)特征提取能力，利于模型部署。

2 實(shí)驗(yàn)

2.1 數(shù)據(jù)集

在目標(biāo)檢測(cè)任務(wù)中，數(shù)據(jù)集的建立與選擇對(duì)于檢測(cè)效果有著非常顯著的影響。采用氨氣作為實(shí)驗(yàn)氣體，氨氣的紅外光譜波段屬于中波紅外，其最高吸收峰為10.3 μm。氨氣泄漏紅外檢測(cè)數(shù)據(jù)集使用云南北方光學(xué)科技有限公司波長(zhǎng)為8～14 μm 的長(zhǎng)波紅外熱像儀采集視頻后進(jìn)行取幀處理建立，最終得到1 782 幅圖像。其次按照8∶1∶1 的比例將數(shù)據(jù)集隨機(jī)劃分為訓(xùn)練集、驗(yàn)證集、測(cè)試集，其中訓(xùn)練集包含1 425 幅圖像，驗(yàn)證集包含182 幅圖像，測(cè)試集包含175 幅圖像。使用LabelImg 軟件對(duì)獲得的紅外圖像數(shù)據(jù)進(jìn)行手動(dòng)標(biāo)注。

2.2 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)環(huán)境為Ubuntu18.04 操作系統(tǒng)、內(nèi)存16 G、CPU 為AMD R5-3600、GPU 為NVIDIA GeForce RTX2080Ti 11GB 顯卡的臺(tái)式計(jì)算機(jī)。深度學(xué)習(xí)框架為Pytorch1.6.0，采用CUDA Toolkit 10.0 和CUDNN V7.6.5 作為模型訓(xùn)練加速工具包。以YOLOv5s 為基礎(chǔ)模型，使用YOLOv5s 的預(yù)訓(xùn)練權(quán)重，同時(shí)受計(jì)算機(jī)性能的限制，輸入圖像的大小統(tǒng)一為640 像素×640 像素，訓(xùn)練批次的規(guī)模（Batch size）設(shè)置為16，迭代代數(shù)（Epoch）為400，在訓(xùn)練階段超參數(shù)具體設(shè)置如表2所示。為了保證模型改進(jìn)的有效性，實(shí)驗(yàn)均基于上述統(tǒng)一的軟硬件環(huán)境和超參數(shù)設(shè)置進(jìn)行。

表2 超參數(shù)配置Table 2 Hyperparameter configuration

2.3 評(píng)價(jià)指標(biāo)

采用浮點(diǎn)數(shù)計(jì)算量（GFLOPs）、模型大小、模型參數(shù)量（Params）、平均檢測(cè)精度（mean Average Precision，mAP）以及單張圖像平均檢測(cè)處理時(shí)間（ms）作為評(píng)價(jià)值指標(biāo)，通過(guò)多種指標(biāo)綜合評(píng)價(jià)模型性能。

平均檢測(cè)精度mAP 是指在測(cè)試集中對(duì)各類目標(biāo)檢測(cè)精度的平均值Pm，計(jì)算公式為

式中，l表示數(shù)據(jù)集中的某目標(biāo)類別，Pl表示某目標(biāo)類別的平均精確率，D表示數(shù)據(jù)集中的類別數(shù)目。

單張圖像平均檢測(cè)處理時(shí)間（ms）用來(lái)衡量模型推理檢測(cè)時(shí)間，包括預(yù)處理、網(wǎng)絡(luò)推理和回歸框抑制處理所花費(fèi)的時(shí)間。

考慮到實(shí)際工程應(yīng)用中對(duì)氨氣泄露檢測(cè)有一定誤報(bào)和漏報(bào)的要求，同時(shí)要保證檢測(cè)及時(shí)準(zhǔn)確［26］，若使用置信度為95%的AP@0.95 評(píng)價(jià)指標(biāo)可能會(huì)導(dǎo)致氨氣泄露的檢測(cè)不及時(shí)造成漏檢，故使用AP@0.5 來(lái)衡量模型性能。

3 實(shí)驗(yàn)與分析

3.1 目標(biāo)定位損失函數(shù)優(yōu)化

為驗(yàn)證不同目標(biāo)定位損失函數(shù)對(duì)網(wǎng)絡(luò)模型損失的優(yōu)化效果，在YOLOv5s 模型框架下，采用2.1 節(jié)構(gòu)建的數(shù)據(jù)集在2.2 節(jié)的實(shí)驗(yàn)環(huán)境上訓(xùn)練驗(yàn)證分析，采用GIoU、CIoU 定位損失函數(shù)進(jìn)行實(shí)驗(yàn)分析，算法驗(yàn)證性能對(duì)比如表3所示。

表3 泄漏目標(biāo)不同定位損失函數(shù)驗(yàn)證性能對(duì)比Table 3 Comparison of the verification performance of different localization loss functions for leaky targets

由表3 可知，YOLOv5s-CIoU 模型進(jìn)行了泄漏區(qū)域目標(biāo)定位損失函數(shù)優(yōu)化。將GIoU 損失函數(shù)替換為CIoU 損失函數(shù)后模型在參數(shù)量、大小基本一致的前提下，mAP 提升了0.60%，單張圖像檢測(cè)時(shí)間降低到3.6 ms。實(shí)驗(yàn)驗(yàn)證了CIoU 定位損失函數(shù)能夠改善模型對(duì)泄漏區(qū)域回歸定位精確性。

3.2 圖像預(yù)處理

為了驗(yàn)證圖像預(yù)處理對(duì)模型最終檢測(cè)性能的影響，在3.1 節(jié)優(yōu)化定位損失函數(shù)的基礎(chǔ)上，在模型訓(xùn)練中使用了YOLOv5s 預(yù)訓(xùn)練權(quán)重，并分別采用兩種不同的圖像進(jìn)行訓(xùn)練。一種是氨氣泄漏紅外原圖像，另一種是在1.2 節(jié)中經(jīng)過(guò)MG（Mosaic-Gamma）變換預(yù)處理后的紅外圖像，其中采用預(yù)處理后的圖像訓(xùn)練得到的模型記為YOLOv5s-CIOU-MG，實(shí)驗(yàn)驗(yàn)證性能結(jié)果如表4所示。

表4 圖像預(yù)處理前后網(wǎng)絡(luò)性能驗(yàn)證對(duì)比Table 4 Comparison of the network performance before and after image pre-processing

由表4 可知，YOLOv5s-CIoU-MG 模型相較于使用紅外原圖像訓(xùn)練后的模型在參數(shù)量、大小基本一致的前提下，mAP 提升至93.40%。表明1.2 節(jié)Mosaic-Gamma 變換的預(yù)處理方法能在保證模型檢測(cè)速度不變的前提下提高圖像對(duì)比度特征，同時(shí)擴(kuò)充泄漏樣本提供給模型多種形態(tài)豐富泄漏的場(chǎng)景，變相增加了訓(xùn)練批次大小，使模型提高了氨氣泄漏的檢測(cè)能力以及泛化性。

3.3 聚類算法

在3.2 節(jié)基礎(chǔ)上，為驗(yàn)證K-means 聚類在保證模型檢測(cè)速度的同時(shí)提高模型的檢測(cè)精度和魯棒性，選擇采用表1 中對(duì)氨氣泄漏紅外數(shù)據(jù)集進(jìn)行K-means 聚類得到的候選框參數(shù)進(jìn)行實(shí)驗(yàn)。分別采用無(wú)K-means 聚類候選框的原圖像、K-means 聚類候選框的原圖像和K-means 聚類候選框的Mosaic-Gamma 變換的圖像對(duì)YOLOv5s 模型進(jìn)行訓(xùn)練。其中，采用K-means 聚類候選框的原圖像訓(xùn)練得到的模型分別記為YOLOv5s-GIoU-Km、YOLOv5s-CIoU-Km，采用K-means 聚類候選框的MG 圖像訓(xùn)練得到的模型記為YOLOv5s-CIoU-MG-Km，四者的性能對(duì)比實(shí)驗(yàn)如表5所示。

表5 聚類前后網(wǎng)絡(luò)性能驗(yàn)證對(duì)比Table 5 Comparison of network performance before and after clustering

由表5 可知，重新預(yù)置候選框參數(shù)后對(duì)于模型的參數(shù)量和大小沒(méi)有影響，模型的參數(shù)量和大小分別為7.05 MB、14.40 MB，而檢測(cè)精度有明顯提升。采用K-means 聚類候選框的Mosaic-Gamma 變換的圖像訓(xùn)練得到的YOLOv5s-CIoU-MG-Km 平均精度mAP 提高至94.00%，表明采用K-means 聚類算法預(yù)置的候選框高寬比符合氨氣泄漏真實(shí)尺寸，有效提升模型對(duì)于氨氣泄漏檢測(cè)的準(zhǔn)確性。

3.4 結(jié)構(gòu)重參數(shù)模塊嵌入

為了驗(yàn)證改進(jìn)的RepVGG 模塊對(duì)模型檢測(cè)效果提升的有效性，在YOLOv5s-CIOU-MG-Km 模型框架基礎(chǔ)上，以添加不同模塊替換特征提取網(wǎng)絡(luò)中卷積層的模型進(jìn)行性能對(duì)比，添加不同模塊結(jié)構(gòu)分別為輕量級(jí)的深度可分離卷積DWConv［25］、靈活的動(dòng)態(tài)卷積ODConv［27］、RepVGG。其中，添加RepVGG 模塊訓(xùn)練得到的模型記為GRNet，實(shí)驗(yàn)結(jié)果如表6所示。

表6 不同模塊嵌入網(wǎng)絡(luò)性能驗(yàn)證對(duì)比Table 6 Different modules embedded network performance verification comparison

由表6可知，特征提取網(wǎng)絡(luò)部分嵌入不同模塊結(jié)構(gòu)對(duì)模型有較大的影響，GRNet模型采用RepVGG 模塊，較Conv-YOLOv5s基礎(chǔ)模型單張圖像檢測(cè)時(shí)間降低到3.40 ms，檢測(cè)精度提升2.70%，達(dá)到94.90%。嵌入其它不同模塊結(jié)構(gòu)，檢測(cè)時(shí)間雖然降低但檢測(cè)精度不如RepVGG 模塊。實(shí)驗(yàn)驗(yàn)證了RepVGG 模塊有效地增強(qiáng)了模型特征提取能力，降低特征信息的損失，兼顧速度利于模型輕量化。所以針對(duì)氨氣泄漏輕量化紅外檢測(cè)選擇RepVGG 模塊作為特征提取網(wǎng)絡(luò)中的卷積層增強(qiáng)模型的特征提取能力，提取泄漏區(qū)域注意力，保證精度的提升。

3.5 不同模型對(duì)比

為驗(yàn)證本文設(shè)計(jì)的GRNet 模型在氨氣泄漏檢測(cè)中的優(yōu)勢(shì)，將GRNet 模型與YOLOv3、YOLOv3-tiny、YOLOv5s 及YOLOx［28］模型做性能對(duì)比實(shí)驗(yàn)。為確保效果，實(shí)驗(yàn)在2.2 節(jié)所搭建的實(shí)驗(yàn)環(huán)境中進(jìn)行，使用的數(shù)據(jù)集均采用2.1 節(jié)構(gòu)建的氨氣泄漏紅外氣體圖像數(shù)據(jù)集，實(shí)驗(yàn)結(jié)果如表7所示。

表7 不同網(wǎng)絡(luò)模型精度驗(yàn)證對(duì)比Table 7 Comparison of the validation accuracy among various network models

由表7 可知，與其他5 種模型相比，GRNet 模型對(duì)氨氣泄漏紅外檢測(cè)的mAP 最高，達(dá)到94.90%；單張圖像平均檢測(cè)時(shí)間達(dá)到3.40 ms，模型推理速度快；模型大小和參數(shù)量分別降為11.30 MB、5.47 MB，小于其他4 種模型。綜合考慮模型計(jì)算量、參數(shù)量、大小、單張圖像平均檢測(cè)時(shí)間和mAP，構(gòu)建的GRNet 模型在氨氣泄漏紅外非接觸式檢測(cè)中取得了較好的結(jié)果，其總體魯棒性最佳，模型檢測(cè)結(jié)果可視化效果如圖12所示。與氨氣泄漏真實(shí)區(qū)域相比，GRNet 模型對(duì)其都檢測(cè)出并進(jìn)行了回歸泄漏區(qū)域，同時(shí)工作人員在檢測(cè)區(qū)域流動(dòng)未出現(xiàn)誤檢情況。在紅外成像遠(yuǎn)處區(qū)域有泄漏點(diǎn)，雖然檢測(cè)出的閾值只有0.5，但沒(méi)有出現(xiàn)漏檢，表明GRNet 模型有較好的魯棒性。

圖12 GRNet 模型最終檢測(cè)結(jié)果Fig.12 The final test result of the GRNet network model

3.6 氣體濃度定性分析

對(duì)氣體泄漏的濃度進(jìn)行準(zhǔn)確、可靠的定性分析可以給涉氣企業(yè)的工作人員進(jìn)行應(yīng)急處置和安全管理提供科學(xué)依據(jù)?；贕RNet 模型可以對(duì)氨氣泄漏區(qū)域進(jìn)行邊界框檢測(cè)定位，通過(guò)對(duì)泄漏區(qū)域邊界框分析，泄漏濃度較高區(qū)域的灰度值因氨氣泄漏的理化特性較低，視覺(jué)效果偏于黑色；泄漏濃度較低區(qū)域的灰度值較高，視覺(jué)效果偏于灰白色。為便于直觀可視化顯示氨氣泄漏區(qū)域濃度的分布情況，進(jìn)行定性分析，采用偽色彩映射將不同氨氣泄漏程度的灰度值映射為不同顏色的圖像，得到較好的視覺(jué)感知效果，有助于提高工作人員應(yīng)急處理的效率和準(zhǔn)確性，如圖13所示。

圖13 氨氣泄漏濃度分布可視化Fig.13 Visualisation of ammonia leak concentration distribution

泄漏區(qū)域偽色彩映射采用了彩虹漸變映射方式［29］，較小的灰度值對(duì)應(yīng)深藍(lán)色，較大的灰度值對(duì)應(yīng)紅色，而中間的灰度值則對(duì)應(yīng)藍(lán)色、青色、黃色等漸變顏色。氨氣泄漏灰度值小于64 對(duì)應(yīng)為深藍(lán)色，其區(qū)域表示為泄漏溫度較低、濃度最高的區(qū)域。氨氣泄漏灰度值在64～191 之間對(duì)應(yīng)為藍(lán)色、青色、黃色等漸變顏色，其區(qū)域表示為泄漏區(qū)域濃度逐漸降低、溫度升高；氨氣泄漏灰度值在192～255 之間對(duì)應(yīng)為黃色到紅色的漸變，其區(qū)域氨氣濃度最低、溫度趨于環(huán)境溫度。

3.7 氣體泄漏紅外檢測(cè)系統(tǒng)界面設(shè)計(jì)與GRNet 模型的移動(dòng)端部署

氣體泄漏紅外檢測(cè)系統(tǒng)界面設(shè)計(jì)的目的是將GRNet 模型進(jìn)行封裝，使涉氣企業(yè)工作人員可視化檢測(cè)氣體是否存在泄漏，有泄漏的情況下及時(shí)檢測(cè)到并保存檢測(cè)記錄，設(shè)計(jì)的系統(tǒng)界面如圖14所示。界面的左側(cè)是設(shè)置欄，可以選擇檢測(cè)的模型和方式，如圖像、視頻以及通過(guò)實(shí)時(shí)流傳輸（Real-Time Streaming Protocol，RTSP）協(xié)議連接紅外攝像頭實(shí)現(xiàn)檢測(cè)設(shè)備在界面端實(shí)時(shí)監(jiān)測(cè)。檢測(cè)參數(shù)設(shè)置模塊允許工作人員調(diào)整置信度閾值和IoU 值優(yōu)化檢測(cè)效果。當(dāng)工作人員更改參數(shù)時(shí)，程序?qū)⒅匦录虞d所選的檢測(cè)模型并應(yīng)用。界面的左下方有檢測(cè)結(jié)果的保存和分析模塊。右側(cè)為顯示區(qū)域，將圖像或視頻的檢測(cè)結(jié)果顯示在其區(qū)域內(nèi)，分為泄漏情況原圖展示區(qū)域和檢測(cè)警示區(qū)域，同時(shí)提供停止按鈕允許工作人員停止檢測(cè)。系統(tǒng)界面以提高工作人員的使用體驗(yàn)和效率并滿足各種氣體泄漏檢測(cè)實(shí)際應(yīng)用場(chǎng)景的需求。

圖14 氣體泄漏紅外檢測(cè)系統(tǒng)整體界面可視化Fig.14 Visualisation of the overall interface of the infrared gas leak detection system

為進(jìn)一步驗(yàn)證GRNet 模型在嵌入式移動(dòng)端的有效性及工程應(yīng)用價(jià)值，采用Jetson Nano B01 開(kāi)發(fā)平臺(tái)對(duì)模型進(jìn)行部署，其中YOLOv3、YOLOv5s 以及GRNet 模型在Jetson Nano B01 移動(dòng)端開(kāi)發(fā)平臺(tái)測(cè)試驗(yàn)證性能結(jié)果如表8所示。

表8 嵌入式平臺(tái)部署測(cè)試驗(yàn)證結(jié)果Table 8 Embedded platform deployment test results

由表8 可知，GRNet 模型在檢測(cè)速度方面好于原來(lái)的基礎(chǔ)模型，提高達(dá)到3.03 幀/s，而檢測(cè)準(zhǔn)確度與本文中PC 端一致并沒(méi)有損失，說(shuō)明模型部署有效性較高。GRNet 模型在泄漏檢測(cè)有94.90%的準(zhǔn)確度，同時(shí)兼容較快的檢測(cè)速度，在嵌入式開(kāi)發(fā)平臺(tái)上部署的可行性比較高。

4 結(jié)論

本文提出了一種輕量化非接觸式氣體泄漏紅外檢測(cè)模型GRNet。在模型后處理階段引入CIoU 定位損失函數(shù)計(jì)算目標(biāo)間相似度，對(duì)預(yù)測(cè)框尺寸和中心位置進(jìn)行修正優(yōu)化，以提高模型對(duì)紅外氣體泄漏區(qū)域的定位準(zhǔn)確度；采用Mosaic-Gamma 變換的數(shù)據(jù)增強(qiáng)方法進(jìn)行預(yù)處理，提高氣體泄漏區(qū)域?qū)Ρ榷龋瑫r(shí)擴(kuò)充泄漏樣本提供給模型多種形態(tài)樣本，使模型具有對(duì)氣體泄漏較高的檢測(cè)能力以及泛化性；對(duì)氣體泄漏紅外檢測(cè)數(shù)據(jù)集使用K-means 的聚類算法聚類分析預(yù)置候選框參數(shù)符合實(shí)際氣體泄漏情景；采用改進(jìn)后的輕量化網(wǎng)絡(luò)RepVGG 模塊替換特征提取網(wǎng)絡(luò)中的卷積層增強(qiáng)模型的特征提取能力，降低模型參數(shù)量，壓縮模型大小，提高模型推理速度。通過(guò)與YOLOv3、YOLOv3-tiny、YOLOv5s 及YOLOx 模型對(duì)比，提出的氣體泄漏紅外非接觸式檢測(cè)GRNet 模型具有較好的整體魯棒性。GRNet 模型的mAP 達(dá)到94.90%，模型權(quán)重大小和參數(shù)量降為15.60 MB、5.47 MB，單張圖像平均檢測(cè)時(shí)間達(dá)到3.4 ms，符合涉氣企業(yè)的安全生產(chǎn)中氣體泄漏紅外非接觸式檢測(cè)。最后，對(duì)泄漏濃度進(jìn)行偽色彩映射，強(qiáng)化泄漏濃度的視覺(jué)感知效果，助力提高工作人員應(yīng)急處理的效率和準(zhǔn)確性，并將GRNet 模型進(jìn)行了封裝，實(shí)現(xiàn)氣體泄漏紅外檢測(cè)系統(tǒng)界面的可視化，在Jetson Nano B01 嵌入式實(shí)驗(yàn)平臺(tái)部署驗(yàn)證了實(shí)際工程應(yīng)用的可行性和有效性。未來(lái)將繼續(xù)研究網(wǎng)絡(luò)結(jié)構(gòu)的調(diào)整，進(jìn)一步提高模型精度。