基于多源特征融合的實驗室不安全行為檢測系統(tǒng)設(shè)計

摘" 要： 為降低實驗室事故發(fā)生率，設(shè)計一種基于多源特征融合的實驗室不安全行為檢測系統(tǒng)。首先，構(gòu)建系統(tǒng)基礎(chǔ)框架，在圖像采集單元中利用高清攝像機(jī)獲取實驗室監(jiān)控視頻圖像，經(jīng)過圖像處理單元的灰度化、去噪、平滑濾波處理后，在目標(biāo)識別單元中采用幀間差分法獲得視頻目標(biāo)區(qū)域圖像；然后，在特征提取單元中處理視頻目標(biāo)區(qū)域圖像，提取HOG特征以及人體行為重心特征，通過對二者進(jìn)行融合處理得到一維特征向量，將其輸入到行為檢測單元中，利用SVM分類器檢測不安全行為。實驗結(jié)果表明：所設(shè)計系統(tǒng)可有效檢測實驗室不安全行為，F(xiàn)1指數(shù)均值、召回率均值分別為98.94%、99.15%，錯誤檢測數(shù)量較少。

關(guān)鍵詞： 多源特征融合； 實驗室； 不安全行為檢測； 多源特征提?。?HOG特征； SVM分類器

中圖分類號： TN911.73?34； TP399" " " " " " " " " "文獻(xiàn)標(biāo)識碼： A" " " " " " " " " 文章編號： 1004?373X（2024）12?0052?05

Design of laboratory unsafe behavior detection system based on

multi?source feature fusion

ZHANG Guozhi1， ZHANG Xiaowen2

（1. Shanxi University， Taiyuan 030000， China; 2. Institute of Molecular Science， Shanxi University， Taiyuan 030000， China）

Abstract： In order to reduce the incidence of laboratory accidents， a laboratory unsafe behavior detection system based on multi?source feature fusion is designed. The basic framework of the system is constructed， and high?definition camera is used to obtain laboratory monitoring video images in the image acquisition unit. After grayscale， denoising， and smooth filtering processing in the image processing unit， the video target area image is obtained by means of the frame difference method in the target recognition unit. Then， the video target area image is processed in the feature extraction unit， and HOG features and human behavior center of gravity features are extracted. By fusing the two， a one?dimensional feature vector is obtained， which is input into the behavior detection unit. The unsafe behavior is detected by means of the SVM classifier. The experimental results show that the system can effectively detect unsafe behaviors in the laboratory， with an average F1 index and recall rate of 98.94% and 99.15%， respectively. The number of error detections is relatively small.

Keywords： multi?source feature fusion; laboratory; unsafe behavior detection; multi?source feature exaction; HOG features; SVM classifier

0" 引" 言

實驗室是利用配備的各種實驗設(shè)備和儀器等進(jìn)行科學(xué)實驗、研究和技術(shù)開發(fā)的特定場所[1]，安全防護(hù)級別較高。進(jìn)出實驗室人員表現(xiàn)出的具有潛在風(fēng)險的行為，即為不安全行為[2?3]，與實驗室管理運行規(guī)范相違背，不僅會給實驗室?guī)碇卮蟀踩{，甚至可能引發(fā)極其惡劣的實驗室事故。因此，采取有效措施實現(xiàn)實驗室不安全行為檢測，對提高實驗室安全水平具有重要意義[4]。

文獻(xiàn)[5]利用Kinect傳感器獲取人體行為數(shù)據(jù)，通過模式識別方式檢測人體不安全行為。文獻(xiàn)[6]通過車載傳感器采集汽車駕駛員的行為數(shù)據(jù)，并提取數(shù)據(jù)特征作為前饋神經(jīng)網(wǎng)絡(luò)的輸入，識別不同的不安全行為。文獻(xiàn)[7]在檢測監(jiān)控視頻圖像人體目標(biāo)的基礎(chǔ)上，利用獲取的方向梯度直方圖特征完成人體不安全行為的識別。文獻(xiàn)[8]在完成各幀運動圖像提取后，通過卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)不安全行為的預(yù)測識別。

視頻圖像特征提取結(jié)果對檢測效果起決定性作用，而通過單一特征反映實驗室不安全行為具有極高的片面性[9]。為彌補(bǔ)單一特征的不足，本文設(shè)計一種基于多源特征融合的實驗室不安全行為檢測系統(tǒng)，以實現(xiàn)不安全行為的高精度識別。

1" 實驗室不安全行為檢測系統(tǒng)

1.1" 實驗室不安全行為檢測系統(tǒng)框架

圖1為實驗室不安全行為檢測系統(tǒng)總體框架。

實驗室不安全行為檢測系統(tǒng)由五個部分構(gòu)成。

1） 圖像采集單元。在實驗室各個區(qū)域架設(shè)高清攝像機(jī)，利用其對實驗室各個區(qū)域進(jìn)行全方位監(jiān)控，完成不安全行為監(jiān)控視頻圖像的采集。

2） 圖像處理單元。實驗室環(huán)境條件以及運動目標(biāo)等因素均會對實驗室視頻監(jiān)控效果產(chǎn)生一定影響，為提高實驗室不安全行為檢測效果，對采集的原始視頻監(jiān)控圖像進(jìn)行預(yù)處理是必不可少的環(huán)節(jié)。本文通過對實驗室監(jiān)控視頻圖像實施灰度化以及平滑濾波去噪，從根本上提高成像效果，為視頻目標(biāo)的準(zhǔn)確識別奠定基礎(chǔ)。

3） 目標(biāo)識別單元。該單元通過對實驗室監(jiān)控視頻中提取的連續(xù)幀圖像作幀間差分，對圖像的背景信息與當(dāng)前幀視頻圖像進(jìn)行差分處理，從而識別圖像中的運動目標(biāo)。

4） 特征提取單元。在該單元中，提取圖像的HOG特征、人體行為重心特征后，采用串聯(lián)方式將兩特征進(jìn)行融合處理，得到一維特征向量。

5） 行為檢測單元。本文構(gòu)建SVM分類器，將一維融合特征向量作為其輸入，實現(xiàn)不同類別不安全行為的識別。

1.2" 基于背景減法與幀間差分檢測實驗室運動目標(biāo)

采集實驗室視頻監(jiān)控圖像后，運用幀間差分法對其進(jìn)行處理，確定背景模型，再根據(jù)背景減法思想實現(xiàn)實驗室運動目標(biāo)的準(zhǔn)確識別。背景模型的構(gòu)建過程如下。

1） 采集實驗室監(jiān)控視頻，從中提取16幀圖像并緩存于視頻圖像窗口中，以完成背景模型的確定。背景圖像在點[x，y]處的像素值[Bn+1x，y]可通過求取該點下各幀圖像灰度均值確定，計算公式為：

[Bn+1x，y=i=015In-ix，y16]" " " （1）

2） 逐幀提取各幀圖像，設(shè)定閾值[g]，由此完成對應(yīng)幀二值差分圖像的確定，具體公式如下：

[Ex，y=1，" "Ix，y-Bx，y≥g0，" "Ix，y-Bx，ylt;g]" " "（2）

式中：[Bx，y]表示背景模型；[Ix，y]表示實驗室原始監(jiān)控視頻圖像。

3） 根據(jù)[Ex，y]實時修正背景模型[Bx，y]，公式為：

[Bn+1x，y=Bnx，y，" " " " nbsp; " " " " " " " " " " " " " " " " "Enx，y=1αBn+1x，y+1-αBnx，y，Enx，y=0] （3）

式中[α]表示迭代速度因子。

4） 通過反復(fù)執(zhí)行以上步驟完成背景模型的不斷修正，以適應(yīng)動態(tài)環(huán)境的改變。

在此基礎(chǔ)上，經(jīng)過形態(tài)學(xué)處理后，利用鏈碼表實現(xiàn)實驗室不安全行為目標(biāo)區(qū)域輪廓的檢測；再對輪廓進(jìn)行遍歷排序處理，以抑制噪聲對實驗室目標(biāo)檢測結(jié)果的影響。

1.3" 實驗室不安全行為多源特征提取

1.3.1" 方向梯度直方圖（HOG）特征

HOG是一種特征描述子，可以反映實驗室不安全行為的特征。其在計算圖像局部區(qū)域的梯度方向以及梯度大小的基礎(chǔ)上，形成一種局部形狀描述子，能夠有效地描述圖像中的邊緣和紋理等特征。

本文利用一階對稱模計算目標(biāo)區(qū)域圖像水平、垂直方向的對應(yīng)梯度[Gxx，y]、[Gyx，y]，公式如下：

[Gxx，y=Bx+1，y-Bx-1，y]" " （4）

[Gyx，y=Bx，y+1-Bx，y-1]" " " （5）

梯度幅值[Gx，y]的計算公式為：

[Gx，y=2βx，y212]" " " " "（6）

式中：[B]表示點[x，y]處的像素；[β]表示梯度方向。通過獲取各個梯度方向上的梯度幅值，即可完成HOG特征的提取。

1.3.2" 人體行為重心特征

運動目標(biāo)的身體語言和行為模式可通過人體重心軌跡的改變來反映[10]，故本文通過提取人體行為重心特征實現(xiàn)實驗室不安全行為的準(zhǔn)確辨別。

在獲得目標(biāo)運動區(qū)域圖像的基礎(chǔ)上，采用Candy算子對其進(jìn)行處理，獲取目標(biāo)輪廓二值化圖像，確保外接矩形與目標(biāo)輪廓高度貼合。目標(biāo)輪廓外接矩形的繪制流程如下。

從實驗室不安全行為監(jiān)控視頻中檢測到運動目標(biāo)后，采用Candy算子提取其輪廓邊緣二值化圖像，再進(jìn)行遍歷搜索。在搜索到運動目標(biāo)外接矩形后，需確定運動目標(biāo)重心坐標(biāo)[xw，yw]；然后，假設(shè)[Mhi]為運動目標(biāo)人體重心高度差。[Mhi]計算公式為：

[Mhi=ywi-ymini]" " " " " （7）

對于前[i-1]幀運動目標(biāo)圖像，目標(biāo)人體重心的高度差均值通過[Mhi=i=1n-iMhin-i]計算。

設(shè)定[Mrate]為目標(biāo)重心高度變化率，公式如下：

[Mrate=MhiMhi]" " " " " "（8）

1.4" 不安全行為多源特征融合

單一特征在實驗室不安全行為刻畫上具有較高的片面性，存在誤檢率高等問題。為提高實驗室不安全行為檢測效果，本文在對HOG特征向量以及人體行為重心特征向量歸一化的基礎(chǔ)上，對二者進(jìn)行串聯(lián)處理實現(xiàn)多源特征融合，得到一維特征向量，計算公式為：

[Ti=hi，li，" i=1，2，…，n]" " " " " " （9）

式中：[Ti]表示融合后的不安全行為特征向量；[hi]表示第[i]個HOG特征向量；[li]表示人體行為重心特征向量。

1.5" 基于SVM的實驗室不安全行為檢測模型

支持向量機(jī)（SVM）是一種監(jiān)督學(xué)習(xí)模型，通過尋找一個超平面實現(xiàn)不同類別數(shù)據(jù)的識別，同時最大化兩個類別之間的邊界。設(shè)定[X1，Y1，X2，Y2，…，Xk，Yk]表示兩種不同類型訓(xùn)練樣本，[X∈Rn]，[Y∈1，-1]，樣本總數(shù)為[k]，樣本維度為[n]，樣本類型為Y。為能通過分類超平面[wX+b=0]實現(xiàn)不同類別樣本的準(zhǔn)確區(qū)分，應(yīng)使下式條件成立：

[YiTi?w?Xi+b-1≥0]" " " （10）

兩個平面之間的間距通過[2w]計算，通過計算公式（11）即可到最小化兩個類別邊界的問題。

[minλw=2-1Ti?w2]" " " " "（11）

然后假設(shè)拉格朗日函數(shù)，拉格朗日系數(shù)表示為[αi]，計算參數(shù)[w]、[b]的偏導(dǎo)數(shù)并使其結(jié)果為0。將其與公式（11）聯(lián)立即可得：

[Wα=minλw·i，j=1kαiαjYiYjXi?Xj2] （12）

分類決策函數(shù)通過下式進(jìn)行描述：

[fX=sgni=1kα*iYiXi?XWα+b*] （13）

通過內(nèi)積函數(shù)[σ]可完成非線性訓(xùn)練樣本的高維映射，則有：

[Tα=fX·i，j=1kαiαjYiYjσ2]" " "（14）

通過下式完成最終分類決策函數(shù)的確定：

[fX=Tα·sgni=1kα*iYiσ+b*]" " "（15）

式中：[sgn?]、[b*]分別表示符號函數(shù)、分類閾值。

由此完成基于SVM的實驗室不安全行為檢測模型的構(gòu)建，將上文提取的多源特征融合結(jié)果[Ti]作為輸入，其輸出即為實驗室不安全行為識別結(jié)果。

2" 實驗分析

以某高?；瘜W(xué)實驗室為實驗對象，采用分辨率為4 096×2 160的索尼HDR?SR12E高清攝像機(jī)獲取該實驗室視頻監(jiān)控圖像，攝像機(jī)距離地面高度為2.1 m，拍攝角度為向下35°。從高校中選取10名師生對實驗室正常行為以及吃零食、吸煙、玩手機(jī)、蹦跳、摔倒等不安全行為進(jìn)行模擬，構(gòu)建實驗室視頻圖像樣本數(shù)據(jù)集，樣本總量為30 000。應(yīng)用所設(shè)計系統(tǒng)對實驗室不安全行為進(jìn)行檢測，分析該系統(tǒng)的檢測性能。

將實驗室監(jiān)控視頻圖像按照4∶1比例劃分為訓(xùn)練樣本、測試樣本，采用所設(shè)計系統(tǒng)對實驗室不安全行為進(jìn)行檢測。將F1指數(shù)、召回率指標(biāo)作為實驗室不安全行為檢測效果的評價指標(biāo)，通過分析實驗不安全行為檢測結(jié)果，驗證研究系統(tǒng)的檢測性能，結(jié)果如表1所示。

分析表1可知，應(yīng)用所設(shè)計系統(tǒng)對實驗室不安全行為進(jìn)行檢測，可實現(xiàn)實驗室正常行為、吃零食、吸煙、玩手機(jī)、蹦跳、摔倒等不安全行為的識別，F(xiàn)1指數(shù)達(dá)到98.94%，召回率指標(biāo)為99.15%，這說明該系統(tǒng)的不安全行為檢測效果顯著。

為進(jìn)一步分析研究系統(tǒng)的泛化性能，本文根據(jù)不安全行為主體進(jìn)行實驗數(shù)據(jù)分配，隨機(jī)選取9名師生的視頻圖像作為訓(xùn)練數(shù)據(jù)，學(xué)生A的視頻圖像用于不安全行為的測試。通過對該學(xué)生的不安全行為檢測混淆矩陣進(jìn)行分析，驗證研究系統(tǒng)在不安全行為檢測上的優(yōu)越性，實驗結(jié)果如表2所示。表2中：A代表吃零食行為，B代表吸煙行為，C代表玩手機(jī)行為，D代表蹦跳行為，E代表摔倒行為，F(xiàn)代表喝水行為，G代表聞試劑行為。

分析表2可知，所設(shè)計系統(tǒng)能夠通過提取A學(xué)生的不安全行為特征，完成對應(yīng)類別不安全行為的準(zhǔn)確識別，但在喝水和聞試劑兩個行為上存在錯誤檢測問題，這是由于這兩個行為特征具有較高的相似度。因此，需加強(qiáng)對類似行為的辨識能力，使得該系統(tǒng)的不安全行為檢測性能進(jìn)一步提升。

以圖2a）所示的實驗室原始監(jiān)控視頻圖像為例，采用研究系統(tǒng)對其進(jìn)行處理，通過對視頻目標(biāo)識別結(jié)果以及不安全行為檢測結(jié)果進(jìn)行分析，驗證本文系統(tǒng)的實際應(yīng)用性能，實驗結(jié)果如圖2b）、c）所示。

分析圖2可知，本文系統(tǒng)可從實驗室視頻監(jiān)控圖像中提取視頻目標(biāo)，通過對其行為特征進(jìn)行學(xué)習(xí)，完成其吃零食行為的檢測，檢測結(jié)果通過白色標(biāo)記框標(biāo)記。實驗結(jié)果表明，該系統(tǒng)具有一定的實際應(yīng)用價值。

3" 結(jié)" 論

本文設(shè)計了一種基于多源特征融合的實驗室不安全行為檢測系統(tǒng)，并以實驗室監(jiān)控視頻為對象，通過對視頻目標(biāo)識別結(jié)果、各種不安全行為類型下的F1指數(shù)、召回率指標(biāo)均值變化以及混淆矩陣等進(jìn)行分析，驗證了該系統(tǒng)具有良好的檢測效果。該系統(tǒng)具有不安全行為檢測性能，F(xiàn)1指數(shù)、召回率均值分別達(dá)到98.94%、99.15%，僅針對喝水、聞試劑相似特征行為上存在錯誤檢測問題，檢測效果突出。

參考文獻(xiàn)

[1] 黃振邦.基于TSN的化學(xué)實驗室人員不安全行為模式識別[J].智能計算機(jī)與應(yīng)用，2022，12（2）：99?104.

[2] 劉浩，劉海濱，孫宇，等.煤礦井下員工不安全行為智能識別系統(tǒng)[J].煤炭學(xué)報，2021，46（z2）：1159?1169.

[3] 溫廷新，王貴通，孔祥博，等.基于遷移學(xué)習(xí)與殘差網(wǎng)絡(luò)的礦工不安全行為識別[J].中國安全科學(xué)學(xué)報，2020，30（3）：41?46.

[4] 方偉立，丁烈云.工人不安全行為智能識別與矯正研究[J].華中科技大學(xué)學(xué)報（自然科學(xué)版），2022，50（8）：131?135.

[5] 盧穎，呂希凡，郭良杰，等.基于Kinect的地鐵乘客不安全行為識別方法與實驗[J].中國安全生產(chǎn)科學(xué)技術(shù)，2021，17（12）：162?168.

[6] LATTANZI E， FRESCHI V. Machine learning techniques to identify unsafe driving behavior by means of in?vehicle sensor data?sciencedirect [J]. Expert systems with applications， 2021， 176（8）： 1?10.

[7] 趙江平，王垚.基于圖像識別技術(shù)的不安全行為識別[J].安全與環(huán)境工程，2020，27（1）：158?165.

[8] DIREKOGLU C. Abnormal crowd behavior detection using motion information images and convolutional neural networks [J]. IEEE access， 2020（8）： 80408?80416.

[9] 宋文姝，侯建民，崔雨勇.基于多源信息融合的智能目標(biāo)檢測技術(shù)[J].電視技術(shù)，2021，45（6）：101?105.

[10] 張社榮，梁斌杰，馬重剛，等.水利工程施工人員不安全行為識別方法[J].水力發(fā)電學(xué)報，2023，42（8）：98?109.

[11] 鄭雯，董海志.基于AlphaPose的井下不安全行為監(jiān)測方法[J].現(xiàn)代信息科技，2022，6（21）：72?77.

[12] 杜金月.基于深度學(xué)習(xí)的工人不安全行為檢測算法研究[D].沈陽：沈陽工業(yè)大學(xué)，2023.

[13] 常捷，張國維，陳文江，等.基于YOLO?V3算法的加油站不安全行為檢測[J].中國安全科學(xué)學(xué)報，2023，33（2）：31?37.