基于機器視覺的施工危險區(qū)域侵入行為識別方法

高 寒， 駱漢賓， 方偉立

(華中科技大學(xué) 土木工程與力學(xué)學(xué)院， 湖北 武漢 430074)

建筑施工具有工種交叉，施工場地狹小，施工機械種類多，作業(yè)環(huán)境復(fù)雜等特點，施工現(xiàn)場存在著許多危險區(qū)域[1]。隨著工程建設(shè)規(guī)模越來越大，施工現(xiàn)場廣泛分布的危險區(qū)域(機械作業(yè)半徑內(nèi)、洞口、臨邊等)給工人的生命安全帶來嚴(yán)重威脅，同時也會造成重大的經(jīng)濟損失。工人進入危險區(qū)域內(nèi)繼而引發(fā)的事故頻現(xiàn)，2014年2月23日，福州火車站西側(cè)的“福州市站西路建設(shè)工程”項目工地發(fā)生一起安全事故，一名工人被正在作業(yè)的挖掘機擊中當(dāng)場身亡。2010年12月5日上午9點，杭州地鐵一號線火車東站項目部工地上，一名工人在基坑邊順著松散的泥土滑入基坑，經(jīng)搶救無效死亡。擅自進入危險區(qū)域是導(dǎo)致這些事故發(fā)生的直接原因，要預(yù)防這些事故的發(fā)生，需要對這些擅入危險區(qū)域的違規(guī)行為進行矯正，行為矯正通常包含對被觀察者(工人)行為的識別、反饋和強化等過程，而行為識別是行為矯正的第一步，首先要識別出進入危險區(qū)域的行為，才能對工人的行為進行后續(xù)矯正。

在施工現(xiàn)場危險區(qū)域侵入行為識別方面，國內(nèi)外學(xué)者做了相關(guān)研究。Kim等[2]提出了基于射頻識別(Radio Frequency Identification，RFID)的位置感應(yīng)系統(tǒng)，識別進入起重機工作范圍內(nèi)的工人位置，以保證鋼鐵工業(yè)中貨物起重機下工人的安全；郭紅領(lǐng)等[3]通過對危險區(qū)域的定義與分類，建立了集成BIM(Building Information Modeling)和RFID技術(shù)的工人實時定位與安全預(yù)警系統(tǒng)模型，可以識別工人是否進入危險區(qū)域；Chase等[4]把RFID標(biāo)簽貼到重型機械上，識別出進入機械工作范圍內(nèi)的工人；劉文平[5]提出了結(jié)合GPS(Global Positioning System)和超寬帶(Ultra-wideband，UWB)的綜合定位方法，并判斷人和機械的距離，自動識別工人位置；Girett等[6]通過UWB跟蹤佩帶射頻標(biāo)簽的工人，并根據(jù)工程經(jīng)驗劃分危險區(qū)域，通過工人佩帶的報警器對靠近危險區(qū)域的工人進行識別并發(fā)出提醒。Maalek等[7]提供的UWB技術(shù)可以獲取工人和施工機械的位置，識別出施工機械附近的工人，可以有效提高工地安全監(jiān)控的效率。以上研究主要集中在利用UWB，GPS，RFID等定位技術(shù)對工人和機械的位置進行跟蹤，以此來識別工人進入危險區(qū)域的行為。

這些定位技術(shù)都可以得到施工人員和機械位置信息，來識別工人是否進入機械的工作范圍，而對于大面積的危險區(qū)域如基坑，需要布置大量的傳感器，實際操作復(fù)雜，而且在工人身上附著傳感器，會干擾工人的施工操作，而人工觀察耗時費力，容易受觀察者的精神狀態(tài)影響，主觀且容易疏忽遺漏。

目前許多學(xué)者開始使用機器視覺技術(shù)來監(jiān)控和分析土木工程活動，機器視覺技術(shù)無需與觀測對象接觸，不會影響被觀測者的正常工作，十分安全可靠，廣泛用于土木工程的安全管理。Han等[8]用Kinect提取工人的人體骨架來識別爬梯子過程中的不安全動作。安全護欄作為一種防止工人從高處跌落的關(guān)鍵保護措施，Kolar等[9]開發(fā)了基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)的安全護欄檢測模型，提高施工現(xiàn)場的安全檢查效率。Fang等[10]使用Faster R-CNN算法來識別安全帽，用于檢查施工人員在不同施工現(xiàn)場條件下安全帽佩戴狀況，并且可以促進安全檢查和監(jiān)督的改進。Zhu等[11]通過卡爾曼濾波來實時定位工人和施工機械的位置并且預(yù)測其運動趨勢，防止工人和機械發(fā)生碰撞。

本文提出利用機器視覺方法，通過現(xiàn)場視頻展示工地施工實時情況，對不同危險區(qū)域進行自動化連續(xù)監(jiān)測，有助于快速、準(zhǔn)確而全面識別危險區(qū)域侵入行為。本文提出了一個基于計算機視覺的目標(biāo)檢測方法來監(jiān)控工地的危險區(qū)域，識別工人違規(guī)進入危險區(qū)域的行為，為行為矯正提供事實依據(jù)，幫助減少危險區(qū)域的事故發(fā)生。

1 危險區(qū)域的識別與劃分

根據(jù)《企業(yè)職工傷亡事故分類標(biāo)準(zhǔn)》和《房屋市政工程生產(chǎn)安全事故統(tǒng)計》，2015年，高處墜落、物體打擊、坍塌和起重傷害事故約占事故總數(shù)的90%，進入危險區(qū)域是這些事故發(fā)生的直接原因。工地現(xiàn)場施工環(huán)境復(fù)雜，施工人員水平參差不齊，缺乏安全意識，對危險區(qū)域的判斷不清，容易發(fā)生擅入危險區(qū)域的行為。因此本文在施工現(xiàn)場劃定危險區(qū)域，并對危險區(qū)域進行視頻監(jiān)控，識別靠近危險區(qū)域的工人。本文通過文獻調(diào)研和規(guī)范查詢，針對幾類主要事故，研究了危險區(qū)域劃分規(guī)則，界定了危險區(qū)域的范圍，并進行實時監(jiān)測，希望對危險區(qū)域進行監(jiān)控，并識別工人違規(guī)進入危險區(qū)域的行為。

本文將危險區(qū)域劃分為高處墜落區(qū)、物體打擊區(qū)、機械碰撞區(qū)、坍塌區(qū)等四類，如表1所示[5]。

2 侵入行為識別方法

基于上述危險區(qū)域劃分規(guī)則，本文使用計算機視覺領(lǐng)域中的目標(biāo)檢測方法對危險區(qū)域內(nèi)的運動目標(biāo)進行檢測。首先通過施工現(xiàn)場的可移動式攝像頭聚焦預(yù)先定義的危險區(qū)域，并劃定危險區(qū)域范圍，然后通過運動目標(biāo)檢測算法對圖像進行背景建模，當(dāng)視頻圖像中有物體運動時，上述方法會自動識別出圖像中的運動物體(工人)，方法流程如圖1所示。

表1 施工現(xiàn)場危險區(qū)域識別條件與劃分規(guī)則

圖1 研究技術(shù)路線

施工現(xiàn)場是一個復(fù)雜的動態(tài)環(huán)境，本文采用可移動攝像頭來動態(tài)觀察工地的情況，由于相機的運動和工人的移動，圖像中的背景圖像和前景目標(biāo)都會不斷地發(fā)生運動，我們需要在一個連續(xù)視頻序列中的每一幀監(jiān)控畫面中都找到感興趣的運動目標(biāo)，來實現(xiàn)運動目標(biāo)檢測過程，為了克服相機移動的影響，本文使用如下檢測方法，具體圖像處理過程如圖2所示。該方法主要分為以下三個步驟：

Step1：對輸入的圖像進行預(yù)處理；

Step2：使用雙模單高斯模型對圖像背景進行建模；

Step3：前景目標(biāo)(工人)檢測。

圖2 算法框架

2.1 運動補償

獲得原始圖像后，首先通過高斯濾波和中值濾波對圖像進行預(yù)處理，以過濾噪聲。本方法采用可移動式攝像頭獲得的動態(tài)視頻序列，故由于背景的運動，t-1時刻的模型不能直接應(yīng)用于t時刻的目標(biāo)檢測過程。對背景進行建模之前，必須先對圖像進行配準(zhǔn)，通過圖像配準(zhǔn)，可以將由于相機運動得到的動態(tài)背景圖像序列轉(zhuǎn)化為靜態(tài)背景圖像序列，便容易檢測出運動目標(biāo)。但是圖像配準(zhǔn)誤差會導(dǎo)致在某些像素中應(yīng)用錯誤的模型，因此，本文使用t-1時刻的模型數(shù)據(jù)來構(gòu)造t時刻背景模型。為了估計相機的運動參數(shù)，把t時刻的輸入圖像分為32×24的網(wǎng)格，使用網(wǎng)格線上的交點作為要跟蹤的特征點，并對t-1時刻的圖像使用klt光流法，然后計算出這些特征點的運動向量[12]。然而此刻的計算結(jié)果并不能完全準(zhǔn)確匹配前后兩幀圖像，其中不可避免地會產(chǎn)生一些錯誤的匹配結(jié)果，因此需要對結(jié)果進行篩選，消除錯誤匹配，以提高魯棒性。RANSAC(Random Sample Consensus)算法是一種簡單且有效的去除噪聲影響，估計模型的一種方法，此算法對圖像噪聲和特征點提取具有很好的魯棒性，可以準(zhǔn)確剔除錯誤匹配點對[13]。通過RANSAC算法篩選出匹配錯誤的點對，然后根據(jù)篩選后的特征點的運動向量計算得到單應(yīng)性矩陣，通過單應(yīng)性矩陣，找到t-1時刻的背景模型到當(dāng)前幀的映射，從而將相鄰兩幀的圖像配準(zhǔn)。

2.2 雙模單高斯模型

由于相機位置并不固定，為了提高運動目標(biāo)檢測的準(zhǔn)確性，我們使用具有可變學(xué)習(xí)率的Dual-mode SGM(雙模單高斯模型)來對背景進行建模[14]，該模型的建立主要分為兩個部分。

2.2.1原始背景模型

高斯模型是典型的參數(shù)化建模方法，它描述了背景點顏色分布的概率模型，通過不斷訓(xùn)練獲得參數(shù)并且不斷更新分布參數(shù)，就可以得到較好的背景模型。在本方法中，首先使用輸入的視頻序列來作為訓(xùn)練樣本，建立原始單高斯背景模型。為了減少計算量，把圖像分成N×N的網(wǎng)格，在該模型中，t時刻在網(wǎng)格i中的像素組表示為Gi(t)，像素數(shù)量表示為|Gi(t)|，像素灰度為Ij(t)，均值為μi(t)，方差為σi(t)，模型更新率為αi(t)。隨著時間推移，背景圖像會發(fā)生變化，要對運動目標(biāo)的背景提取建模，需要對高斯模型中方差和均值兩個參數(shù)實時更新，更新方式如下：

(1)

(2)

αi(t)=αi(t-1)+1

(3)

(4)

(5)

該方法的優(yōu)勢在于：(1)通過可變的學(xué)習(xí)率對背景模型進行更新，更好地降低由相機運動造成的配準(zhǔn)誤差；(2)通過對圖像分成N×N的網(wǎng)格，可以顯著減少模型的計算量[14]。

2.2.2候選背景模型

(6)

當(dāng)條件式(6)不成立，并且平均值與候選背景模型的平均值相匹配時有：

(7)

使用Dual-mode SGM(雙模單高斯模型)的優(yōu)勢在于，前景像素不會參與原始背景模型的更新過程，因此減少了前景像素對背景模型的干擾。

2.3 檢測前景像素

在獲得時間t的背景模型后，我們使用t時刻的灰度值與平均值的差值作為判決依據(jù)，對于組i中的每個像素j，如果

(8)

則將此像素分類為前景像素，其中θd是閾值參數(shù)。前景像素的檢測過程中，我們使用首選背景模型來決定前景，從圖像中檢測出的前景像素即為區(qū)域內(nèi)的運動目標(biāo)，在本文中，即進入危險區(qū)域的工人。

3 實證分析

3.1 工程背景

本文選取某市軌道交通線路上的三個正在進行基坑施工的車站為背景，三個車站均采用明挖法施工，存在施工空間有限、各種工序交叉、技術(shù)復(fù)雜等特點，并且施工隊伍素質(zhì)不高，施工人員質(zhì)量安全意識薄弱，操作不規(guī)范，施工過程中存在較多的安全隱患。出于對施工安全管理的重視，施工管理人員加強對施工現(xiàn)場的監(jiān)管力度，每個工地均已安裝安全監(jiān)控攝像頭，實時監(jiān)控工地的安全狀況，有效降低重大安全事故的發(fā)生風(fēng)險。但是對于工人進入危險區(qū)域的行為缺乏有效監(jiān)控，由于部分工人缺乏對危險的認(rèn)識，頻繁出現(xiàn)工人在基坑支撐上行走和在施工機械的作業(yè)范圍內(nèi)逗留等違規(guī)進入危險區(qū)域的行為，給施工安全管理帶來了極大的阻礙。為了解決人工監(jiān)控所耗費的人力、物力和財力問題，在三個車站均使用危險區(qū)域目標(biāo)檢測方法自動識別工人侵入行為。

3.2 危險區(qū)域分析

本文以挖掘機和基坑附近的危險區(qū)域為例，通過工地現(xiàn)場攝像頭對進入危險區(qū)域的人員和機械進行實時監(jiān)控，獲取現(xiàn)場監(jiān)控視頻作為實驗樣本，本算法采用Miscrosoft Visual Studio 2015 平臺結(jié)合OpenCV圖像處理開發(fā)庫進行程序編譯，選擇主頻為2.3 GHz的酷睿i5-6300HQ處理器，內(nèi)存為8 G的筆記本電腦作為實驗設(shè)備。首先劃定出危險區(qū)域范圍，然后使用本文提出的移動目標(biāo)檢測算法對工人的移動進行自動化連續(xù)監(jiān)測。實驗相關(guān)參數(shù)選擇為：網(wǎng)格大小N=4，閾值參數(shù)θS=2，用于檢測前景像素的閾值參數(shù)θd=4，初始方差選擇20.0×20.0。

圖3是三個正在施工的車站基坑，基坑防護欄桿并未安裝完畢。由于工人對危險源的認(rèn)識不夠，工地上出現(xiàn)工人在基坑邊緣和鋼支撐上行走，以及進入挖掘機工作范圍的行為。為了加強基坑周圍的人員安全管理，預(yù)防高處墜落、坍塌和機械傷害風(fēng)險，我們首先根據(jù)不同風(fēng)險對應(yīng)的識別規(guī)則劃定出危險區(qū)域，并且通過利用上述算法所編制的程序在施工監(jiān)控視頻中人為手動框選出要監(jiān)控的危險區(qū)域(如圖3中紅色邊框所示)，當(dāng)工人違規(guī)進入紅色邊框包圍內(nèi)的區(qū)域時，程序會發(fā)生響應(yīng)，將移動目標(biāo)從背景中分離(如圖3中被檢測出的工人)，以此來識別出違規(guī)進入危險區(qū)域的行為。

圖3 人員進入危險區(qū)域時自動識別

3.3 評價

為了驗證該方法的可行性，在各工地視頻監(jiān)控系統(tǒng)中人工選取共34段10～30 s的工地現(xiàn)場視頻，其中20段視頻中存在工人走入危險區(qū)域的行為，余下14段視頻中工人并未進入危險區(qū)域，然后運行上述程序，根據(jù)程序運行的結(jié)果來判斷該算法的有效性。視頻中發(fā)現(xiàn)工人進入危險區(qū)域并且程序也識別出入侵行為的視頻數(shù)量為TP(True Positive)，發(fā)現(xiàn)工人未進入危險區(qū)域并且程序也未識別出入侵行為的視頻數(shù)量為TN(True Negative)，發(fā)現(xiàn)工人進入危險區(qū)域但程序未識別出入侵行為的視頻數(shù)量為FP(False Positive)，發(fā)現(xiàn)工人未進入危險區(qū)域但識別出入侵行為的視頻數(shù)量為FN(False Negative)。采用精確度(Precision)、準(zhǔn)確率(Accuracy)、召回率(Recall)三個模式識別中常用的指標(biāo)對實驗結(jié)果進行評價：

(9)

(10)

(11)

表2為工人進入危險區(qū)域的識別結(jié)果，34段視頻中共30段視頻識別正確，精確度(Precision)，準(zhǔn)確率(Accuracy)和召回率(Recall)分別達到了94.44%，88.23%，85.00%，三項指標(biāo)均達到了較高水平，證明本文提出的方法可以較為準(zhǔn)確地識別出工人進入危險區(qū)域的行為。

表2 實驗識別結(jié)果

3.4 結(jié)果討論

通過上述實驗驗證，本方法可以識別出侵入危險區(qū)域的行為，但是準(zhǔn)確性仍然有待提高，識別失敗的情況主要包括誤報和目標(biāo)遺漏。導(dǎo)致識別失敗的原因主要有以下幾點：

(1)工人身穿衣服的顏色和工地圖像背景顏色相近，難以將工人從復(fù)雜的背景中識別出來。

(2)由于攝像頭安裝的距離高度不同，在某些遠景圖像中，工人尺度小，遺漏目標(biāo)。

(3)監(jiān)控區(qū)域內(nèi)已經(jīng)存在的機械，材料等其他物體的移動也會被該方法識別出，導(dǎo)致誤報。

(4)拍攝視頻的質(zhì)量和圖像的背景噪聲也會影響識別精度。

本文僅使用34段視頻來識別危險區(qū)域的入侵行為，主要針對基坑、洞口等區(qū)域，后續(xù)研究將在其他場景驗證該方法的有效性。

4 結(jié) 語

基于計算機視覺技術(shù)的目標(biāo)檢測算法為基坑施工的安全管理提供了有效的幫助，為提高施工過程的信息化水平，減少人工監(jiān)控視頻所耗費的人力、物力、財力，為自動識別危險區(qū)域侵入行為提供了一個新的思路。本文結(jié)合基坑施工的特點，研究了計算機視覺技術(shù)在施工危險區(qū)域安全管理中的應(yīng)用。通過對危險區(qū)域進行預(yù)先定義劃分，將目標(biāo)檢測算法應(yīng)用到施工過程安全監(jiān)控中，結(jié)合危險區(qū)域劃分規(guī)則和視頻目標(biāo)檢測方法，實現(xiàn)了實時監(jiān)控工人侵入危險區(qū)域的目的，可以實時反饋危險區(qū)域人員侵入的信息，為侵入行為的矯正和預(yù)防提供依據(jù)，以求降低危險區(qū)域的侵入行為發(fā)生率。