淺談圖像識別+物聯(lián)網(wǎng)在高速公路施工安全管理中的應用

龐星宇

摘要： 目前深圳正在大力推進高速公路等交通基礎設施的建設，由于施工安全管理手段缺乏、建筑工人安全意識疏忽導致施工安全事故頻發(fā)，亟需引入合適技術去改善施工安全管理水平，減少事故傷害。本文初步調(diào)研了目前行業(yè)現(xiàn)狀以及主要需求，計劃運用深度神經(jīng)網(wǎng)絡、生成對抗網(wǎng)絡、圖像處理算法等人工智能技術以及定制化物聯(lián)網(wǎng)設備，對工程現(xiàn)場及施工生產(chǎn)過程中關鍵的人、設備、環(huán)境變化進行實時分析計算，實現(xiàn)后臺對高速公路工程施工的數(shù)字化、精細化、智能化生產(chǎn)安全監(jiān)測，探索解決未按規(guī)定佩戴安全帽、未系安全繩和掛鉤、臨邊防護缺失等長期困擾施工安全管理的難題。

關鍵詞：工地安全管理;圖像識別;物聯(lián)網(wǎng);可行性分析

中圖分類號：U416?文獻標識碼：A?文章編號：1672-9129（2020）10-0088-03

1?基本情況

1.1應用背景。當前，深圳正搶抓建設粵港澳大灣區(qū)和支持深圳建設中國特色社會主義先行示范區(qū)“雙區(qū)驅(qū)動”的重大歷史機遇，攜手港澳及珠三角各市共建國際一流灣區(qū)和世界級城市群。深圳正大力推進“東進、西協(xié)、南聯(lián)、北拓、中優(yōu)”戰(zhàn)略，大力投入建設四通八達的交通基礎設施：公路、地鐵、鐵路等構成的龐大路網(wǎng)，猶如城市的血管，串起每一個遍布城市各個角落的交通樞紐工程，奠定了深圳市大灣區(qū)主要交通樞紐城市的地位。高速公路等交通基礎設施的迅速延伸蘊含著廣大高速建筑工人夜以繼日的辛勤勞動。然而，高速公路建設快速發(fā)展過程中由于施工安全管理手段缺乏、建筑工人人員安全意識疏忽導致了很多起施工生產(chǎn)安全事故。深圳的建筑施工生產(chǎn)安全事故數(shù)占全省的三成以上，“遙遙領先”省內(nèi)其他地市，這個嚴峻的數(shù)據(jù)反映了深圳在發(fā)展過程中施工安全管理手段的滯后，深圳亟需引入先進技術去改善施工安全管理水平，減少事故傷害。

1.2主要內(nèi)容。本文計劃以超高清智能攝像機和定制化物聯(lián)網(wǎng)掛鉤為基礎，通過高性能圖像傳感器結合物聯(lián)網(wǎng)技術以及人臉識別等視頻智能化分析技術實現(xiàn)對施工人員違規(guī)作業(yè)狀態(tài)進行智能判別的同時進行現(xiàn)場廣播自動告警并同時報送遠程管理人員預警，基于攝像機自帶嵌入式處理器的神經(jīng)網(wǎng)絡內(nèi)核實現(xiàn)對安全帽、安全繩、臨邊防護圍欄的智能分析和報警，采用NB-IoT技術的物聯(lián)網(wǎng)實現(xiàn)對掛鉤狀態(tài)的監(jiān)測，最終實現(xiàn)對上述三大施工現(xiàn)場人員不安全行為及時報警和預警。

主要研究內(nèi)容包括：

（1）安全帽的智能視頻檢測方法研究;安全帽檢測采用深度神經(jīng)網(wǎng)絡模型，通過人頭檢測和是否帶安全帽的分類實現(xiàn)安全帽檢測。

（2）安全繩的智能視頻檢測技術研究和物聯(lián)網(wǎng)掛鉤的研究;該算法是基于人體檢測算法、安全帶檢測算法，融合物聯(lián)網(wǎng)掛鉤對錨定狀態(tài)的采集，通過數(shù)據(jù)綜合判別實現(xiàn)對高處作業(yè)人員不安全行為的預警。

（3）臨邊防護檢測算法的研究;將通過臨邊防護缺失檢測是針對臨邊防護圍欄進行實時監(jiān)測，如發(fā)現(xiàn)監(jiān)測區(qū)域出現(xiàn)較大面積的防護缺口時，由系統(tǒng)自動分析并產(chǎn)生警告上報。

2?行業(yè)現(xiàn)狀及需求分析

2.1現(xiàn)狀分析。

（1）安全帽、安全帶智能檢測技術的應用現(xiàn)狀。安全帽和安全帶檢測在人工智能技術上研究者并不多，安全帽檢測相對多一些，安全帶則屬于空白。針對安全帽的檢測，大連理創(chuàng)科技有限公司開發(fā)了一種基于卡口的安全檢測設備[1]，能夠有效的在出入口檢測出工人是否佩戴安全帽。但缺陷也很明顯，該識別只能放在門口等固定位置，無法在條件復雜的開闊工地進行大范圍監(jiān)控，不適合高速施工上的應用。

通過視頻進行大范圍監(jiān)控是一個相對上述辦法高效的多的方法，然而，通過視頻就需要研究安全帽的檢測算法，這塊屬于圖像分類、圖像識別領域，這方面由廣東工業(yè)大學提出了基于特征工程的檢測方法[2]，通過獲取多幅背景環(huán)境的深度圖像、佩戴安全帽的深度圖像以及未佩戴安全帽的深度圖像，分別提取佩戴安全帽與不佩戴安全帽的人體頭部圖像的HoG特征，生成支持向量機模型，實現(xiàn)了對安全帽特征的有效提取，實現(xiàn)了安全帽的檢測。但安全帽特征工程在復雜的工地實現(xiàn)起來其特征工程提取將工作量巨大，難以取得良好效果。

2019年4月，由伯克利大學等機構提出了基于熱力圖的檢測算法CenterNet[3]，在提高精度和速度的同時，有效的解決了yolo等基于錨點的算法的缺陷。在準確率上有10%以上的提升。

2019年11月，Google提出了基于自適應特征金字塔（BiFPN）的EfficientDe[4]目標檢測算法，在速度和性能上表現(xiàn)優(yōu)異?；谏疃葘W習方法的人工智能技術應用于安全帽檢測，不僅準確率高，環(huán)境適應能力強，而且隨著技術的進步，相關算法模型在移動端的部署成為現(xiàn)實，這也將大大的降低部署成本。

（2）安全繩、防護掛鉤技術的發(fā)展現(xiàn)狀。近年來，隨著工地施工安全意識的提高，國內(nèi)外一些企業(yè)和研究機構也逐步開展了一些針對高空作業(yè)安全繩和掛鉤智能檢測的研究工作。

2009年，寧夏電力公司銀川供電局提出了一種安全帶扣環(huán)驗證發(fā)聲器[5]。該裝置通過掛鉤扣環(huán)與掛鉤的接觸狀態(tài)觸發(fā)無線電信號，并通過發(fā)聲器進行安全帶狀態(tài)的確認。

2010年，日本藤井電工株式會社提出了一種安全帶及其使用狀況確認系統(tǒng)[6]。該系統(tǒng)提供了一種能夠檢測在掛扣了安全鉤的狀態(tài)下發(fā)生跌倒或墜落的情況以便能夠?qū)ψ鳂I(yè)人員進行迅速救助的安全帶。該裝置用壓力傳感器和開閉傳感器對掛鉤狀態(tài)進行檢測，一定程度上實現(xiàn)了對掛鉤的智能監(jiān)測。

2012年，中國十七冶集團有限公司提出了一種用于安全繩佩戴狀態(tài)的遠程監(jiān)測裝置[7] [8]。該方法采用微動開關監(jiān)測掛鉤狀態(tài)、陀螺儀重力加速度傳感器檢測安全繩晃動狀態(tài)，通過無線網(wǎng)絡實時將檢測數(shù)據(jù)傳遞給專家系統(tǒng)進行智能判斷，輔以智能報警裝置，監(jiān)測人員可通過網(wǎng)絡集中監(jiān)測不同施工地點高空作業(yè)人員安全繩佩戴情況，提升高空作業(yè)人員工作安全性。

2018年，深圳市安力達科技有限公司提出了一種基于高空作業(yè)的物聯(lián)網(wǎng)智能安全繩的使用方法[9]。該方法使用時，當作業(yè)人員吊籃高度升高到設定高度以上，卡扣會自動鎖住確保人身安全，當作業(yè)人員到達安全高度范圍內(nèi)則會自動解鎖。

2.2業(yè)務需求分析。據(jù)廣東省住房和城鄉(xiāng)建設廳發(fā)布的2019年1-6月全省建筑施工生產(chǎn)安全事故通報，按照事故發(fā)生的類型劃分：高處墜落事故16起，占總起數(shù)的48.48%;機械傷害事故6起，占總起數(shù)的18.18%;物體打擊事故5起，占總起數(shù)的15.15%;坍塌事故2起，占總起數(shù)的6.06%;觸電事故1起，占總起數(shù)的3.03%;其他傷害事故3起，占總起數(shù)的9.09%。

根據(jù)上述統(tǒng)計結果，高處墜落、物體打擊、機械傷害、坍塌傷害占比近9成。這些造成嚴重人身傷害的事故原因大多數(shù)都是因為工人未得到安全護具保護，其中以三類問題最為突出：未按規(guī)定佩戴安全帽、工人高空作業(yè)未系安全繩及掛鉤、工地臨邊防護缺失。

（1）未按規(guī)定佩戴安全帽。安全帽的主要作用是延遲并減少傳遞到頭部和頸部的壓力，吸收由撞擊帶來的大部分能量。安全帽的重要性不言而喻，但總有人因為各種主觀或客觀原因進入工地未戴安全帽，將生命置于高風險下。

（2）工人高空作業(yè)未系安全繩及掛鉤。工人高空作業(yè)存在很大的安全風險，為了對工作人員的人身安全保障，要求對高空作業(yè)的工人必須采取安全措施，而現(xiàn)在普遍都是使用安全帶來防護。

（3）工地臨邊防護缺失。建筑工地的臨邊防護是建筑施工現(xiàn)場保護施工人員傷害必備的一種保護設施，適用于各類建筑施工工地的安全防護，醒目的藍色、黃色、紅色或者白色可以起到提醒施工人員注意安全。

3?技術可行性分析

本文計劃以超高清視頻和物聯(lián)網(wǎng)智能掛鉤為基礎，通過深度神經(jīng)網(wǎng)絡、生成對抗網(wǎng)絡、幀差檢測等方法，同時基于物聯(lián)網(wǎng)掛鉤錨定狀態(tài)數(shù)據(jù)，實現(xiàn)對安全生產(chǎn)狀況的全方面監(jiān)測。下面就各個需求的實現(xiàn)技術途徑進行詳細分析。

3.1安全帽檢測。安全帽檢測采用深度神經(jīng)網(wǎng)絡模型，通過人頭檢測和是否帶安全帽的分類實現(xiàn)。在施工現(xiàn)場的復雜環(huán)境下，安全帽檢測難以使用傳統(tǒng)的圖像處理方法實現(xiàn)，而深度神經(jīng)網(wǎng)絡的發(fā)展為解決這類問題提供了高效可靠的解決途徑。在計算機視覺領域，安全帽檢測問題屬于目標檢測問題和分類問題的綜合，可分解為人頭檢測和是否帶安全帽的分類。

人頭檢測，即目標檢測問題，考慮到工程的實際應用，使用one-stage方式，即端到端的方式（比如YoLo，SSD）。下面簡單描述一下檢測的基本原理（以YoLo為例）。

原理描述：首先搭建一個用于特征提取的深度神經(jīng)網(wǎng)絡，為防止網(wǎng)絡深度過深可能導致梯度消失，采用了殘差結構，特征提取下采樣后再進行上采樣，是最后的特征包含更不同維度的特征信息，同時在大小目標的兼顧上面做適當?shù)钠胶狻?/p>

如圖所示，輸入一張圖片，經(jīng)過多層殘差結構的卷積和多次下采樣，不斷提升特征維度，同時進行上采樣操作，最后輸出3個不同尺度和維度的特征向量。將最后特征映射為目標的中心位置、寬和高、分類置信度。模型的訓練依賴數(shù)據(jù)的同時，損失函數(shù)是非常重要的。損失函數(shù)包括位置損失函數(shù)、置信度損失函數(shù)和分類損失函數(shù)。

位置損失函數(shù)：預測框盡可能嚙合實際目標框。其中位置損失函數(shù)的目的是讓預測框?qū)誓繕宋?，綜合評價指標就是IoU，即交集與并集的比值。

因為安全帽特征較簡單，而且與人頭結合才有意義，以上原理可實現(xiàn)人頭的檢測，為了檢測是否戴了安全帽，如果采用檢測完成后再進行是否戴安全帽的分類也是可以的。但是當場景中出現(xiàn)較多目標時，就必須進行多次的判斷，時間上面就會疊加，可能不能保證實時同時檢測頻率上面將大大折扣。在檢測人頭的基礎上高效的實現(xiàn)安全帽檢測，我們采取在上面網(wǎng)絡輸出上面增加一項是否戴安全帽項，損失函數(shù)參考置信度損失函數(shù)，判斷是否戴帽子（在數(shù)據(jù)標注時也需要增加這項），這樣不管多少目標都是和目標物一起檢測出來的。實現(xiàn)了人頭和安全帽的有效檢測和區(qū)分。

3.2安全繩和掛鉤的檢測。

（1）安全繩視頻檢測算法。安全繩的檢測是基于目標檢測和物體分類的方法，安全帶要穿在工人身上才有意義，因此也是要先檢測工人，然后判斷是否穿戴安全帶。工人的檢測問題可以使用參考行人檢測方法，在行人檢測數(shù)據(jù)集基礎上適當?shù)脑黾邮┕がF(xiàn)場標注了工人的數(shù)據(jù)集，增加網(wǎng)絡模型的泛化能力。能夠訓練檢測安全帶網(wǎng)絡的數(shù)據(jù)集是比較龐大的，數(shù)據(jù)的收集是非常困難的。為解決安全帶圖片數(shù)據(jù)缺失問題，考慮使用圖像增強來產(chǎn)生更多的佩戴安全帶數(shù)據(jù)。

對抗生成網(wǎng)絡（GAN）是一種很好的解決方案，Generative adversarial networks，它包含兩個網(wǎng)絡，一個是生成網(wǎng)絡，一個是對抗網(wǎng)，從二人零和博弈中受啟發(fā)，通過兩個網(wǎng)絡互相對抗來達到最好的生成效果。首先，有一個一代的 generator，它能生成一些很差的圖片，然后有一個一代的discriminator，它能準確的把生成的圖片，和真實的圖片分類，簡而言之，這個 discriminator 就是一個二分類器，對生成的圖片輸出0，對真實的圖片輸出1。接著，開始訓練出二代的 generator，它能生成稍好一點的圖片，能夠讓一代的 discriminator 認為這些生成的圖片是真實的圖片。然后會訓練出一個二代的 discriminator，它能準確的識別出真實的圖片，和二代 generator 生成的圖片。以此類推，會有三代，四代，┉，n 代的 generator 和 discriminator，最后 discriminator 無法分辨生成的圖片和真實圖片，這個網(wǎng)絡就擬合了。

下面簡單介紹一下其中的一種方法CycleGAN。CycleGAN是伯克利的學者在2017年提出的一種unpair的圖像生成方法。CycleGAN的核心是優(yōu)化以下Loss Function：前面兩個部分是對兩個mapping function的損失，最后一個部分是避免A全部映射到B的一張圖片，限制mapping空間大小所做的限制。保證domain A轉換到domain B還能夠再轉換回來，這也是CycleGAN名字的由來。使用一個稍加改進的CycleGAN進行樣本擴充，并引進噪音，利用一個baseline的網(wǎng)絡進行訓練，并將造出來的圖的標簽平滑化，引入一個平滑超參，來一定程度上抑制假圖帶來的負面影響。生成對抗網(wǎng)絡（GAN），CycleGAN只是我們用來做數(shù)據(jù)增強的一種，更多改進版本的對抗生成網(wǎng)絡我們將應用到實際工程中。

（2）物聯(lián)網(wǎng)掛鉤狀態(tài)檢測實現(xiàn)方法。

（a）功能

為了檢測工人在進行高空作業(yè)時是否將安全繩上的掛鉤掛在安全錨點上，需實時檢測掛鉤的狀態(tài)。目前市場上還沒有實現(xiàn)這一功能的智能掛鉤在實際中應用，因此實際應用中需定制開發(fā)智能掛鉤，以滿足實際需求。

智能掛鉤需要實現(xiàn)的功能有：

1）實時檢測掛鉤是否扣在安全錨點上;

2）將檢測結果實時發(fā)送給NB-IoT基站;

3）能源自給，無需充電，提高使用便利性。

（b）組成

根據(jù)以上功能需求，智能掛鉤由掛鉤孔狀態(tài)傳感器、掛鉤垂直狀態(tài)傳感器、數(shù)據(jù)采集和處理模塊、檢測數(shù)據(jù)發(fā)送模塊、小型鋰電池和小型太陽能接收器組成。智能掛鉤各組成部件除小型太陽能接收器外均設置在金屬掛鉤內(nèi)部。掛鉤孔狀態(tài)傳感器各點分布在環(huán)形鉤內(nèi)側，小型鋰電池、掛鉤垂直狀態(tài)傳感器、數(shù)據(jù)采集和處理模塊均設置在掛鉤底部，檢測數(shù)據(jù)發(fā)送模塊設置在掛鉤側部。檢測數(shù)據(jù)發(fā)送模塊的發(fā)射天線開窗，防止信號被屏蔽。小型太陽能接收器布置在掛鉤外表面，以便于接受太陽光照射。

掛鉤孔狀態(tài)傳感器檢測掛鉤是否扣在錨點上，其掛鉤孔內(nèi)是否有安全桿。掛鉤垂直狀態(tài)傳感器檢測掛鉤是否處于掛鉤孔在上、掛鉤繩在下的垂直狀態(tài)。掛鉤孔狀態(tài)傳感器和掛鉤垂直狀態(tài)傳感器的檢測數(shù)據(jù)發(fā)送給數(shù)據(jù)采集和處理模塊，后者對這些數(shù)據(jù)進行采集和處理，當同時檢測到掛鉤孔內(nèi)有安全桿且掛鉤處于垂直狀態(tài)時，判斷掛鉤已經(jīng)安全的掛在錨點上。只要有一個條件不滿足，即判斷掛鉤沒有安全的掛在錨點上。數(shù)據(jù)采集和處理模塊將檢測結果發(fā)送給檢測數(shù)據(jù)發(fā)送模塊，后者將結果數(shù)據(jù)無線發(fā)送到NB-IoT基站。

3.3臨邊防護檢測。臨邊防護缺失檢測是針對基坑圍欄和臨邊圍欄進行實時監(jiān)測，如發(fā)現(xiàn)臨邊防護監(jiān)測區(qū)域出現(xiàn)較大面積的缺口時，由系統(tǒng)自動分析并產(chǎn)生告警上報的一系列流程。

設計方案如下：

（1）現(xiàn)場標定設置敏感區(qū)域進行布防。現(xiàn)場標定過程中，需從實時視頻中框選四邊形圍欄區(qū)域。框選監(jiān)測區(qū)域時，要求四邊形框盡量貼合圍欄邊界;要求框選區(qū)域必須包含完整的被監(jiān)測區(qū)域;要求監(jiān)測區(qū)域的臨邊防護必須是完好無缺失，無遮擋。

（2）啟動監(jiān)測功能。完成標定布防后，通過管理軟件啟動監(jiān)測功能。啟動之后，由攝像機自動完成場景自學習，并自動構建背景建模。具體算法流程如下：

（a）攝像機采集一張降噪后的YUV視頻幀圖片，采集完成后針對監(jiān)測區(qū)域進行灰度建模，并完成灰度圖片的提取，完成灰度直方圖統(tǒng)計。

（b）根據(jù)灰度直方圖統(tǒng)計，獲取灰度值的正態(tài)分布，根據(jù)正態(tài)分布曲線提取背景模板的二值化閾值T，再根據(jù)閾值T將圖片進行二值化。

（c）監(jiān)控過程中，以T值為閾值，將當前幀進行二值化，并采用幀差法，將當前實時幀和背景幀二值化圖相減，提取兩者之間的差值，幀差效果類似如下：

（4）提取幀差圖的行列直方圖，行列直方圖可以明確表述監(jiān)測區(qū)域各行和各列的灰度分布，在完成幀差之后，通過行列直方圖可以分析出圍欄缺失部分所占的區(qū)域坐標。然后根據(jù)區(qū)域各頂點坐標結合如下公式求得區(qū)域近似面積。

（5）將步驟（4）中的面積和已知面積閾值ST進行比較，當 S > ST 時，判定為臨邊防護有缺失，并根據(jù)缺失持續(xù)時間來上報告警。

4?效益分析

由于在施工現(xiàn)場采用了人工智能監(jiān)控技術和物聯(lián)網(wǎng)掛鉤，通過高性能的傳感器采集現(xiàn)場視頻和設備狀態(tài)參數(shù)，通過采用人工智能技術，有較大的可能性解決困擾高速施工多年的現(xiàn)場人員行為安全管理問題，將會產(chǎn)生顯著的管理效益與經(jīng)濟效益，主要包括有：

（1）減少施工事故，降低施工事故成本;

（2）自動考核監(jiān)督施工人員，降低日常管理人力成本并提高管理效率;

（3）事故發(fā)生后高清影像記錄現(xiàn)場證據(jù)，降低事故后處理時間與協(xié)調(diào)成本;

（4）相對于傳統(tǒng)模擬與數(shù)字監(jiān)控，本文采用的人工智能監(jiān)控前沿技術，大幅度降低傳統(tǒng)監(jiān)控的多點布設、多點維護與數(shù)據(jù)存儲綜合成本并大幅度提升使用效率;

（5）可擴展性強，可挖掘的應用場景廣泛，一次部署，可在高速公路建設全周期內(nèi)應用和優(yōu)化，大幅度降低未來施工管理系統(tǒng)的綜合開發(fā)成本;

參考文獻：

[1]專利號201810931596.5

[2]專利號201710236122.4

[3]UT Austin，UC Berkeley Objects as Points https：//arxiv.org/pdf/1904.07850.pdf

[4]EfficientDet： Scalable and Efficient Object Detection https：//arxiv.org/pdf/1911.09070.pdf

[5]專利號200920143915.2

[6]專利號201010521686.0

[7]專利號CN201110417470.4

[8]王江濤. 基于物聯(lián)網(wǎng)的安全繩佩戴狀態(tài)遠程監(jiān)測新方法[J]. 城市建設理論研究：電子版， 2012（13）.

[9]專利號201811498925.8