基于弱監(jiān)督深度學(xué)習(xí)的煤礦生產(chǎn)不安全行為檢測應(yīng)用研究

趙 亮

國能寶日希勒能源有限公司 內(nèi)蒙古呼倫貝爾 021025

中國的煤炭資源豐富，但是在開采時常常存在安全隱患，導(dǎo)致煤礦事故時有發(fā)生。在選煤生產(chǎn)過程中，礦工作業(yè)安全問題非常重要。視頻監(jiān)控常被用于監(jiān)測煤礦生產(chǎn)過程不安全行為的重要技術(shù)手段?；谝曨l監(jiān)控能夠?yàn)槊旱V管理者提供科學(xué)預(yù)警，加強(qiáng)對煤礦安全生產(chǎn)管理，減少煤礦生產(chǎn)事故的發(fā)生[1]。傳統(tǒng)的煤礦視頻監(jiān)控利用攝像頭采集煤礦環(huán)境畫面，并傳送至視頻監(jiān)控管理中心，由管理人員查看井下作業(yè)環(huán)境的安全狀況[2]。然而，由于視頻數(shù)據(jù)量大，依靠人工查看耗時耗力，且難以及時對煤礦生產(chǎn)過程安全異常行為進(jìn)行分析和處理[3]，故利用智能化的監(jiān)控系統(tǒng)，自動監(jiān)測工人的不安全行為是提高安全系數(shù)的有效途徑[4]。智能監(jiān)控技術(shù)已成為現(xiàn)代礦業(yè)確保生產(chǎn)安全的重要手段[5]。

在煤礦井下監(jiān)控傳感器方面，馮加宇等人[6]針對煤礦井下高風(fēng)險(xiǎn)點(diǎn)之一的輸送帶易高溫起火的問題，提出了一種用于煤礦輸送帶火災(zāi)監(jiān)測的紅外熱像技術(shù)。王樂軍等人[7]則設(shè)計(jì)了一種適用于煤礦井下的礦用本安型紅外熱成像攝像儀，可以對井下監(jiān)測設(shè)備的發(fā)熱點(diǎn)進(jìn)行清晰反映。雖然熱紅外成像能夠較好地應(yīng)用于井下發(fā)熱點(diǎn)的監(jiān)測，但該技術(shù)僅能得到人或物體的熱輪廓，缺乏細(xì)節(jié)特征，因此該應(yīng)用具有一定局限性。針對煤礦井下照度低、瓦斯體積分?jǐn)?shù)高、煙塵含量大等特點(diǎn)，王懷琴等人[8]利用黑光夜視成像、電轉(zhuǎn)換等技術(shù)，研制了礦用黑光攝像儀，實(shí)現(xiàn)了實(shí)驗(yàn)室和井下低照度、煤粉塵大的條件下清晰視頻畫面的采集和回傳。

近年來，隨著信息技術(shù)的快速發(fā)展，特別是深度學(xué)習(xí)在圖像處理領(lǐng)域取得巨大成就[9]，涌現(xiàn)了較多基于信息技術(shù)的工人不安全行為的研究。針對工人不佩戴防護(hù)裝備的行為，馮仕民等人[10]研究了結(jié)合數(shù)據(jù)與知識驅(qū)動的識別算法；Pienaar 等人[11]研究了基于視覺的工人行為識別和數(shù)據(jù)融合方法；Andrzej 等人[12]則利用虛擬現(xiàn)實(shí)方法訓(xùn)練工人作業(yè)時的正確行為；佟瑞鵬等人[13]提出了一種基于人工智能的工人不安全行為識別方法；畢林等人[14]研究了在卷積神經(jīng)網(wǎng)的框架下，對未佩戴安全帽的違規(guī)行為進(jìn)行自動識別。針對煤礦井下光線暗、空氣中粉塵大、濕度大等復(fù)雜的生產(chǎn)環(huán)境，視頻監(jiān)控存在特定目標(biāo)影像不清晰、特征不明顯以及其他干擾元素等問題，劉開南[15]研究了基于遞歸卷積神經(jīng)網(wǎng)絡(luò)的煤礦智能監(jiān)控技術(shù)；楊小彬等人[16]在闡述深度學(xué)習(xí)在圖像識別和聲音識別等方面所取得的進(jìn)展及其應(yīng)用領(lǐng)域基礎(chǔ)上，分析了煤礦中工人的不安全行為和狀態(tài)監(jiān)測以及機(jī)械設(shè)備的故障檢測等方面存在的問題，并對相應(yīng)問題分別利用圖像和聲音識別給出了模型的訓(xùn)練流程。針對煤礦井下的監(jiān)控場景，徐桂濤[17]融合顏色與紋理特征，并采用 YOLOv3 網(wǎng)絡(luò)框架，實(shí)現(xiàn)對工人的監(jiān)測。

1 弱監(jiān)督深度學(xué)習(xí)檢測

1.1 總體框架

弱監(jiān)督深度學(xué)習(xí)檢測框架如圖 1 所示，主要分為以下步驟：初級特征提取、顯著區(qū)域特征提取、次級區(qū)域特征提取、全局池化及多示例學(xué)習(xí)。首先，采用基礎(chǔ)網(wǎng)絡(luò) VGG16 提取初級特征，然后在初級特征的基礎(chǔ)上提取顯著區(qū)域特征。在此基礎(chǔ)上，采用閾值法將顯著區(qū)域的特征歸零后，提取得到次級區(qū)域特征，并將顯著特征和次級特征進(jìn)行融合，進(jìn)而將利用選擇性搜索算法 (Selective Search，SS) 產(chǎn)生的先驗(yàn)框映射到總特征圖上。經(jīng)過兩層全局池化后，采用多示例學(xué)習(xí)來獲得檢測結(jié)果。上述過程中，顯著特征和次級特征提取采用相同的網(wǎng)絡(luò)結(jié)構(gòu)，但兩者輸入不同，網(wǎng)絡(luò)參數(shù)不共享。顯著區(qū)域特征提取網(wǎng)絡(luò)和次級區(qū)域特征提取網(wǎng)絡(luò)都包含通道特征選擇模塊，其目的是為了加強(qiáng)網(wǎng)絡(luò)的特征提取能力。此外在生成先驗(yàn)候選框的過程中，通過設(shè)置閾值 (0.5，1)，刪除相似度和重合度大的冗余候選框，試驗(yàn)時每幅圖像產(chǎn)生 2 000 個先驗(yàn)候選框。

圖1 弱監(jiān)督深度學(xué)習(xí)檢測框架Fig.1 Framework of detection based on weakly-supervised deep learning

1.2 特征融合

采用卷積神經(jīng)網(wǎng)絡(luò)提取特征時，考慮到不同的卷積核所提取的圖像特征會對最終的檢測結(jié)果有不同影響，利用通道特征選擇模塊對同一層特征層給予不同的權(quán)重來加以區(qū)分，并通過反向傳播來對這些特征層自動學(xué)習(xí)加以不同的權(quán)重來提高網(wǎng)絡(luò)特征提取的能力。

通道特征選擇如圖 2 所示。為了降低后續(xù)的計(jì)算量，對輸入特征圖大小為H1×W1×C1的X，利用特征選擇模塊進(jìn)行 1×1的卷積層操作，得到特征圖

圖2 通道特征選擇框圖Fig.2 Block diagram of passage feature selection

采用全局平均池化對式 (1) 進(jìn)行壓縮，得到 1×1×C大小的張量

式中：Zc∈Rc；Fsq(*) 為全局平均池化函數(shù)；H×W為特征大小。

進(jìn)而對Zc進(jìn)行特征選擇，得到一維張量

式中：Fex為非線性激活函數(shù)；w1、w2為權(quán)重參數(shù)；δ為 ReLU 激活函數(shù)。

農(nóng)村危房改造是一項(xiàng)惠民工程，可是在具體實(shí)施的過程中非常復(fù)雜。涉及政府審批、村民配合以及施工等多個環(huán)節(jié)，其中涉及的每一個環(huán)節(jié)都應(yīng)該有彼此的配合和支持，使其能夠很好地對危房環(huán)境給予改善。針對農(nóng)村危房改造實(shí)施效果產(chǎn)生的影響，還需要給予具體的分析。

將張量S與特征圖U相乘，得到權(quán)重特征圖

式中：Fs(U，S) 為特征通道相乘。

1.3 全局平均池化

通常在卷積神經(jīng)網(wǎng)絡(luò)中，卷積層特征經(jīng)過最大池化之后通過全連接層輸入到分類器。考慮到全連接層的參數(shù)較多，導(dǎo)致模型的訓(xùn)練及收斂速度變慢，因此，為了有效減小模型的參數(shù)規(guī)模，同時盡可能保留檢測目標(biāo)有用的空間信息，在模型設(shè)計(jì)過程中，采用全局平均池化代替全連接。

1.4 損失函數(shù)

在模型訓(xùn)練時，對模型的主要部分分別設(shè)置不同的損失函數(shù)來訓(xùn)練網(wǎng)絡(luò)模型。利用總體損失函數(shù)L來訓(xùn)練整體網(wǎng)絡(luò)模型，通過數(shù)據(jù)的標(biāo)簽值與各個階段網(wǎng)絡(luò)模型預(yù)測值的差值反向傳播，來訓(xùn)練各部分的網(wǎng)絡(luò)模型。顯著區(qū)域特征提取網(wǎng)絡(luò)的損失函數(shù)

式中：yi為數(shù)據(jù)標(biāo)簽；為預(yù)測的概率分布；c為類別數(shù)。

次級區(qū)域特征提取網(wǎng)絡(luò)的損失函數(shù)

式中：為網(wǎng)絡(luò)預(yù)測的概率分布。

總的損失函數(shù)

式中：?c為整體網(wǎng)絡(luò)預(yù)測類別標(biāo)簽的概率分布。

2 試驗(yàn)結(jié)果與分析

為了驗(yàn)證所提出方法的有效性，分別對 PASCAL VOC2012 數(shù)據(jù)集以及真實(shí)的煤礦的數(shù)據(jù)集進(jìn)行試驗(yàn)驗(yàn)證。

PASCAL VOC2012 數(shù)據(jù)集包含 20 種類別，22 531幅圖像。將數(shù)據(jù)分為訓(xùn)練集、驗(yàn)證集和測試集。試驗(yàn)采用平均精度均值 (mAP) 和準(zhǔn)確定位 (CorLoc) 2 個指標(biāo)來評價(jià)方法的有效性。mAP 是衡量預(yù)測框和真實(shí)標(biāo)簽數(shù)據(jù)交并比 (IoU)，是利用 PASCAL VOC 數(shù)據(jù)集進(jìn)行試驗(yàn)時采用的標(biāo)準(zhǔn)指標(biāo)。CorLoc 是包含目標(biāo)對象類至少 1 個實(shí)例的圖像百分比，對于該實(shí)例可信檢測的邊界框與其中一個實(shí)例重疊至少 50%。

試驗(yàn)采用 Titan X GPU 和基于Pytorch 框架，共享卷積層使用 VGG-16 模型初始化，其他的卷積層則是隨機(jī)初始化。初始化采用均值為 0 和標(biāo)準(zhǔn)差為 0.01的高斯分布。初始化偏差為 0。在訓(xùn)練過程中，設(shè)置SGD的批大小為 2。學(xué)習(xí)率在第 1 個 80 k 迭代設(shè)為0.001，接下來的 40 k 迭代，設(shè)為 0.000 1。質(zhì)量衰減和動量分別為 0.000 5 和 0.9。

從表 1 可以看出，在檢測的平均精度上，基于弱監(jiān)督深度學(xué)習(xí)的煤礦生產(chǎn)不安全行為檢測方法優(yōu)于其他弱監(jiān)督檢測算法模型，獲得了 44.1% 檢測平均精度，比 Self-Taught 和 MELM 分別提高了 5.8和 1.7 個百分點(diǎn)。

表1 PASCAL VOC2012 數(shù)據(jù)集的平均精度均值Tab.1 mAP of PASCAL VOC2012 data set %

PASCAL VOC2012 數(shù)據(jù)集的定位結(jié)果如表 2 所列。由表 2 可知，基于弱監(jiān)督深度學(xué)習(xí)的煤礦生產(chǎn)不安全行為檢測方法的平均定位精度為 93.8%，分別比WSDDN 和 WCCN 提高了 4.8 和 2.9 個百分點(diǎn)，比傳統(tǒng)的 VGG16Net 高出了 4.5 個百分點(diǎn)，充分體現(xiàn)了本文所提出的網(wǎng)絡(luò)模型的優(yōu)越性。尤其是在 PASCAL VOC 2012 數(shù)據(jù)集中 bird、boat 等類型的目標(biāo)檢測均獲得了最好的性能，PASCAL VOC2012 部分物體的定位結(jié)果如表 3 所列。

表2 PASCAL VOC2012 數(shù)據(jù)集的定位結(jié)果Tab.2 Positioning results of PASCAL VOC 2012 data set %

表3 PASCAL VOC2012 部分物體的定位結(jié)果Tab.3 Positioning results of partial objects of PASCAL VOC2012 data set %

選煤廠生產(chǎn)過程中典型不安全行為檢測如圖 3 所示。

圖3 典型不安全行為檢測Fig.3 Detection of typical unsafe behaviors

實(shí)際煤礦不安全行為檢測如表 4 所列。由表 4 可以看出，在缺乏大量標(biāo)注數(shù)據(jù)的情況下，不安全行為檢測可以取得較為滿意的檢測結(jié)果。

表4 實(shí)際煤礦不安全行為檢測Tab.4 Detection of actual unsafe behaviors in colliery

3 結(jié)語

針對選煤廠典型不安全行為檢測過程中缺乏有標(biāo)注數(shù)據(jù)的問題，提出一種基于弱監(jiān)督深度學(xué)習(xí)的煤礦生產(chǎn)不安全行為檢測方法，通過設(shè)計(jì)深度學(xué)習(xí)網(wǎng)絡(luò)提取并融合顯著圖像特征，提出新的損失函數(shù)用于訓(xùn)練網(wǎng)絡(luò)，提高弱監(jiān)督條件下的檢測效果。對公開數(shù)據(jù)集以及真實(shí)煤礦數(shù)據(jù)集的試驗(yàn)結(jié)果驗(yàn)證了所提出方法的有效性。該方法更適合于實(shí)際應(yīng)用場景，可實(shí)現(xiàn)自動分析監(jiān)測功能，有效減小人工值守查看的工作強(qiáng)度，提高煤礦安全性。