智慧工廠安全管理中視頻智能分析的應用

段瑞霞 張帆

摘 ?要：在施工工程現(xiàn)場，由于現(xiàn)場對象多、分布分散，采用傳統(tǒng)的手工安全監(jiān)管模式很難做到全面監(jiān)測和及時發(fā)現(xiàn)問題，且多數(shù)傳統(tǒng)的手工安全監(jiān)管模式只是用于事后的回溯證據(jù)，不能對不安全人員的行為、不安全物品的狀況進行有效的辨識與預警?？梢越柚悄苁┕がF(xiàn)場的智能視頻分析系統(tǒng)來解決這一問題，該系統(tǒng)能夠?qū)η胺降膱D像進行收集，可以準確提取出目標事故中的重要因素，實現(xiàn)事前預警、事中常態(tài)檢測、事后規(guī)范處理，為解決施工現(xiàn)場的安全管理問題提供一套完整的解決方案。

關(guān)鍵詞：智慧工地；人臉識別；無感考勤；智能測溫

中圖分類號：TP39 ? 文獻標識碼：A ? 文章編號：2096-4706（2023）16-0125-06

Application of Video Intelligent Analysis in Safety Management of Smart Factories

DUAN Ruixia， ZHANG Fan

（Tianjin Branch of Cnooc Information Technology Co.， Ltd.， Tianjin ?300452， China）

Abstract： At the construction site， due to the large number and scattered distribution of on-site objects， it is difficult to achieve comprehensive monitoring and timely detection of problems using traditional manual safety supervision models. Moreover， most traditional manual safety supervision models are only used for retrospective evidence after the event， and cannot effectively identify and warn the behavior of unsafe personnel and the condition of unsafe items. The intelligent video analysis system on the intelligent construction site can be used to solve this problem. The system can collect images in front of it， accurately extract important factors in target accidents， achieve pre warning， normal detection during the process， and standardized processing afterwards， providing a complete solution for solving safety management problems on the construction site.

Keywords： smart construction site; face recognition; senseless attendance; intelligent temperature measurement

0 ?引 ?言

當前，我國建設工程的安全問題依然十分嚴峻，為探索致使建設安全日趨嚴重的因素，研究人員對施工現(xiàn)場的安全管理進行了實地調(diào)查。調(diào)查結(jié)果表明，傳統(tǒng)的人力安全管理主要存在以下問題：工地的安全管理涉及的范圍廣，關(guān)注點也多，傳統(tǒng)的安全管理方法不能實現(xiàn)全面覆蓋并及時發(fā)現(xiàn)問題。施工現(xiàn)場對象多、維度多、分布分散，受人力物力的制約，監(jiān)控的覆蓋范圍較小，監(jiān)控的時間較短；監(jiān)控方式所實現(xiàn)的監(jiān)控存在一定的時間差，存在監(jiān)測盲點，由于證據(jù)不足，很難起到有效的威懾作用。采用常規(guī)的監(jiān)控模式，難以保障建設企業(yè)實現(xiàn)科學、高效的安全經(jīng)營。

1 ?智慧工廠概述及發(fā)展趨勢

1.1 ?智慧工廠概述

智慧工廠以數(shù)字車間為核心，將物聯(lián)網(wǎng)、大數(shù)據(jù)、云計算等新一代信息技術(shù)融入車間的全生命周期中，讓車間具備自組織、自學習和自適應的功能，進而提升車間的管理和生產(chǎn)效能。與常規(guī)生產(chǎn)型企業(yè)相比，智能企業(yè)最大的優(yōu)勢在于其全生命周期的可視化。智慧工廠的核心部分包括設備層、感知層、控制層、操作層、運營層和決策層。運用現(xiàn)代信息技術(shù)可以突破層與層之間的障礙，達到整個過程可知、可視、可控的目的。

1.2 ?智慧工廠的發(fā)展趨勢

隨著21世紀的到來，我國的人口優(yōu)勢逐漸喪失，各大公司也開始面臨招工難、人力成本上升等問題。與此同時，在國家節(jié)能環(huán)保的倡導下，一些老工藝和老設備逐漸被淘汰，此外，隨著國際貿(mào)易往來的日益頻繁，一些公司也在竭盡全力地通過減少成本來增強自己的競爭力。這些都讓智慧工廠的發(fā)展變得越發(fā)火熱，更多的公司也在試圖開發(fā)出更強的智慧工廠。從市場趨勢來看，智慧工廠的普及是現(xiàn)代化制造業(yè)發(fā)展的一種必然趨勢，也是能夠使公司轉(zhuǎn)型升級的最優(yōu)途徑。在發(fā)展方向上，智能化的生產(chǎn)將會被更多地運用到生產(chǎn)當中；在科技發(fā)展方面，新科技的運用以及智能制造被建構(gòu)并納入云中，可提高制造企業(yè)的經(jīng)營與運作效能；從目前的政策動向來看，我國在能耗控制和排放控制等方面的支持也在不斷增強，這些都是推動公司向智能化方向發(fā)展的重要因素。

2 ?“端—邊—云”協(xié)同智慧工地

智慧工地利用移動互聯(lián)、物聯(lián)網(wǎng)、人工智能、GIS、大數(shù)據(jù)等信息技術(shù)，實現(xiàn)對建設施工現(xiàn)場人、機、法、料等各環(huán)節(jié)要素的集中管理和智能化管理，開發(fā)并實現(xiàn)可控化、可視化的智能化系統(tǒng)，實現(xiàn)對建設施工現(xiàn)場全方位、立體化的監(jiān)控。

2.1 ?設計思路

在工地上設置監(jiān)測設備，形成一個智能化監(jiān)測與預警系統(tǒng)。通過前端的可視傳感器，可以實現(xiàn)對現(xiàn)場監(jiān)控數(shù)據(jù)的實時獲取，并以有線和無線的方式將數(shù)據(jù)傳送給AI。智慧施工現(xiàn)場的監(jiān)控系統(tǒng)通過對現(xiàn)場人員的安全情況進行實時監(jiān)控，并將監(jiān)控信息與工程信息、工人數(shù)據(jù)等進行整合，從而達到業(yè)務協(xié)同、數(shù)據(jù)聯(lián)動的目的。本文介紹了智能化檢測的優(yōu)勢，并給出了具體的實現(xiàn)方案。本系統(tǒng)的結(jié)構(gòu)如圖1所示，主要包括人工智能的影像服務、分析服務、資料呈現(xiàn)等。分析服務主要包括數(shù)據(jù)的采集、存儲、挖掘等。AI視頻業(yè)務可以與現(xiàn)場的各個子系統(tǒng)連接，獲得該子系統(tǒng)中的視頻數(shù)據(jù)并對這些數(shù)據(jù)進行分析，從而完成對穿戴管理、行為管理、區(qū)域管理、人員管理、安防管理、環(huán)境管理等各方面的智慧分析檢測。以大屏、PC端、移動端、管理報表、決策報告等方式展示這些數(shù)據(jù)。

在終端層面，通過多角度、多類型的相機獲取圖像；在邊緣層面，利用邊界計算與人工智能等方法，解決圖像的傳輸時延問題，節(jié)省云端的資源消耗，為人工智能技術(shù)的實用化奠定良好的基礎。云計算可與建設項目的商業(yè)情景相融合，實現(xiàn)對項目的有效集成，為項目建設和運營管理提供優(yōu)質(zhì)的服務。

圖2顯示了完整的系統(tǒng)解決方案，我們可以將人工智能的深度圖像解析方法應用于邊緣終端，并將其存儲于互聯(lián)網(wǎng)上的存儲磁盤，以人工智能的方式進行融合。通過已有的數(shù)據(jù)網(wǎng)絡，將所獲得的預測數(shù)據(jù)連同拍攝到的圖片，壓縮成一條結(jié)構(gòu)化的預警消息并將其發(fā)送到中央控制中心的監(jiān)控中心，通過AI的視頻解析方法，實現(xiàn)對監(jiān)控中心二次深層次的解析與數(shù)據(jù)挖掘。該方法通過AI的處理，實現(xiàn)了對違法事件的實時跟蹤，包括違法事件的生成、違法事件的描述、違法事件被捕捉到的圖片、違法人員、違法鏡頭、違法處理情況等。

所探測到的事件，主要包括以下回饋途徑：在施工現(xiàn)場，運用智慧工地的監(jiān)控模塊對危險事件進行指示燈閃爍警告；對危險事件圖片進行抓取，并利用移動通信網(wǎng)絡將其發(fā)送到對應崗位管理人員、項目負責人及企業(yè)相關(guān)部門、公司領導移動端，以便于對其進行快速處理。此外，工程現(xiàn)場大屏、智慧安全監(jiān)控云平臺、移動端APP均可顯示違規(guī)日期、類型、地點、人員維度等。在此，監(jiān)督人員可對被系統(tǒng)記錄下來的違法行為進行定時抽樣，同時推送監(jiān)督事項的處理意見，從而促進問題的盡快解決，提高管理效能。

2.2 ?智能視頻分析系統(tǒng)的實施部署方式

在云計算環(huán)境下，用戶可以在終端安裝攝像機，并將圖像數(shù)據(jù)直接上傳至終端。采集到數(shù)據(jù)后將數(shù)據(jù)保存到云端，對其進行邏輯分析，并與云端中的數(shù)據(jù)進行融合。該方法適用于頭盔和反光衣監(jiān)控等對實時性要求不是很高的場合。然而，在云端中，智慧視頻的應用仍存在傳輸時延高、網(wǎng)絡不可靠以及用戶信息安全性差等問題。

本項目面向工程現(xiàn)場安全監(jiān)測、設備設施監(jiān)測和突發(fā)事件處置等高實時性的應用場景，在云端進行智能計算，并將計算工作從云端向具有一定計算能力的終端設備遷移，實現(xiàn)實時業(yè)務與智能應用的協(xié)同。在智能視頻分析中，邊緣端的應用可以進行快速的辨識和解析，可以實現(xiàn)諸如有人進入危險區(qū)域、高空施工人員沒有系安全索等對實時性要求較高的分析探測工作。

此外，與終端的視頻解析相比，邊緣端的操作更容易控制，能夠保障數(shù)據(jù)的傳輸速率與傳輸穩(wěn)定。同時，通過對網(wǎng)絡中的圖像進行邊界化分析，可以有效防止云端下的用戶隱私泄露。通過模型裁剪、量化加速等手段，實現(xiàn)模型的高效計算，并在此基礎上實現(xiàn)計算、存儲、通信等邊界信息的有效整合，實現(xiàn)人工智能的高效計算。

2.3 ?基于AI邊緣計算的視頻智能分析裝置

在硬件上，采用英偉達和寒武紀公司的先進芯片，研制出適用于施工現(xiàn)場的視頻圖像處理設備，并通過以太網(wǎng)的方式與互聯(lián)網(wǎng)的錄像設備或轉(zhuǎn)播設備連接，實現(xiàn)自主知識產(chǎn)權(quán)、高分辨率、高質(zhì)量、高精度、可持續(xù)、可擴展、可重復使用、可移動、低功耗、低成本、高效率的目標。在此基礎上，搭建嵌入式的特殊設備，降低網(wǎng)絡中的通信時延，降低服務端的運算負擔，從而達到對網(wǎng)絡中圖像快速訪問與實時處理的目的，如圖3所示。AI的邊界計算箱可以同時容納1～4個場景，4～16個1 080P視頻源，可以提供5～60 f/s的視頻采集，還可以根據(jù)場景數(shù)目、視頻源數(shù)目和采集幀數(shù)調(diào)整其處理能力，滿足視頻數(shù)據(jù)實時處理的需要。一個人工智能邊界運算箱的造價取決于其所使用的設備，大概一萬到兩萬元的價格不等。

2.4 ?AI深度學習視頻分析算法及模型加速

在場景辨識中，我們采用一種基于YOLOv5的偵測方法，它具有平均加權(quán)文件數(shù)少、學習與推斷速度快等優(yōu)點。目前，以深度神經(jīng)網(wǎng)絡為基礎的機器視覺系統(tǒng)包含數(shù)以百萬計的數(shù)據(jù)，盡管其識別精度很高，但同時對計算資源和存儲的需求也非常大，致使其在存儲和計算資源受限的情況下難以得到有效的應用。本項目擬采用TensorRT技術(shù)對YOLOv5進行快速優(yōu)化，以減小數(shù)據(jù)冗余性、運算復雜性以及內(nèi)存的消耗，并將其應用于邊界終端，達到提高邊界終端數(shù)據(jù)的目的。通過TensorRT算法實現(xiàn)YOLOv5算法的快速計算，其計算速率可以提高20個百分點，可達45 f/s，具有較高的實時性和精度。

3 ?智能視頻在智慧工地中的應用分析

以工地上工人的不安全行為、工地環(huán)境安全問題為目標，完成作業(yè)人員安全監(jiān)測、設備安全監(jiān)測與預警、環(huán)境監(jiān)測、安全監(jiān)控等智能視頻分析。

3.1 ?無感考勤和陌生面孔的探測

無感考勤和陌生面孔的探測需要配備專用的檢測儀器，采用寬角攝像機即可以實現(xiàn)對各個出入口的全方位監(jiān)控，對人臉進行遠程捕捉實現(xiàn)無感考勤，這樣可以在很大程度上緩解工人排隊過久的問題，大大改善了工人的入門感受，顯著提高了工作效率。無感考勤系統(tǒng)是基于人臉識別技術(shù)而建立的，運用了深度學習技術(shù)，對人臉數(shù)據(jù)進行采集和梳理，并對其進行了定制，從而可以實現(xiàn)對人臉的檢測和識別。將算法裝入高性能的邊緣設備中，可以完成多人員的無感、快速識別考勤任務。在方法上，利用深度學習、分布式人臉訓練、場景自適應等技術(shù)，實現(xiàn)對人流密度和交通高峰時段行人的準確辨識和實時跟蹤。系統(tǒng)會自動將所捕獲員工的動態(tài)面孔與面孔數(shù)據(jù)庫進行對比，并將對比不合格的人員標記為陌生人，以便于對陌生人進行實時監(jiān)控。通過在工地上安裝臉部辨識攝影機，可以即時了解人員出入工地的時間與地點等信息，以便于追蹤其移動路線。本項目擬采用基于行為的智能影像解析技術(shù)，對人群進行面部特征的分析，實現(xiàn)對人群的識別，從而有效解決建設施工作業(yè)區(qū)域等復雜環(huán)境中的面部識別難題，如圖4所示。

3.2 ?對項目實施之前的安全檢查

每天早晨舉行一次早班會議，強調(diào)施工現(xiàn)場的安全工作。目前，早會的人員出勤管理是采用手動打卡的方式。手動打卡是指在早會的時候，由一個項目工程團隊的領導來召開早會，將出席會議人員的照片和視頻拍攝下來，并將其發(fā)送給相關(guān)的管理人員。事實上，早會真正按時開展的施工現(xiàn)場只有38%。在進行完一次早會之后，可以對安全宣傳平臺進行自動檢測和辨識，根據(jù)隊伍的形狀和數(shù)量對在該區(qū)域中進行的會議做出判定。如果檢測到早會，這個程序就會啟動攝像機，對早會前后的場景進行捕捉，并將其保存起來，之后再用移動電話APP及時將這些錄像匯報給安全管理人員。

3.3 ?安全帽等穿戴情況的檢驗員

通過錄像監(jiān)視即時探測技術(shù)，對在職人員未按規(guī)定執(zhí)行保安措施的行為進行警示。在項目出入口和工作面等地方，可以對建設施工工人的安全帽、反光衣、高空作業(yè)安全繩等的佩戴與否進行監(jiān)測，如果發(fā)現(xiàn)有人未佩戴相應的安全用品，就會立刻報警，向安全管理人員報告，如圖5所示。

3.4 ?進入危險區(qū)和在危險區(qū)逗留的檢查

對可能出現(xiàn)意外的危險區(qū)域（如塔吊、柵欄等）進行探測，一旦有人進入，影像解析體系會自動發(fā)出警報，并給出語音提醒。該測試體系能夠?qū)κ┕がF(xiàn)場的安全隱患進行實時監(jiān)測和預警，從而減少意外事故的發(fā)生，大大提升了施工質(zhì)量，如圖6所示。

3.5 ?現(xiàn)場人員統(tǒng)計和人群聚集情況的檢測

利用視頻監(jiān)控的即時探測技術(shù)，可以定制多個分區(qū)或劃分出一個作業(yè)平面，完成對監(jiān)控范圍內(nèi)工人人數(shù)和現(xiàn)場人數(shù)的統(tǒng)計。對現(xiàn)場人員集中情況進行監(jiān)測，通過在各個監(jiān)測范圍設置一個不同人員集中情況的下限，一旦監(jiān)測范圍內(nèi)的人員超出下限就會發(fā)出警報，如圖7所示。

3.6 ?人員攀爬、吸煙、打電話的檢測

一旦有用戶摔倒時，監(jiān)測系統(tǒng)會捕捉到用戶摔倒的畫面，并發(fā)出警報?？梢酝ㄟ^設立實體柵欄或虛擬柵欄的方式，對一些人的違規(guī)翻墻行為進行監(jiān)測，并在發(fā)現(xiàn)有人試圖做出翻墻行為時進行報警和拍照。在一些工地或是高處的工作區(qū)域，可以為工作人員安裝手機監(jiān)控裝置，避免工作人員在通話過程中因走神等因素而發(fā)生意外，如圖8所示。

3.7 ?煙火煙霧探測

在工地的加工區(qū)、材料堆放區(qū)等容易產(chǎn)生火災的潛在危險地區(qū)設置煙火報警裝置，當有濃煙和火苗出現(xiàn)時，該裝置會對此情況進行報警，使有關(guān)的項目部工作人員快速做出反應。在此基礎上，利用圖像分析與深度神經(jīng)網(wǎng)絡等技術(shù)，實現(xiàn)對煙氣和火災的識別與預警。在不設置常規(guī)傳感裝置的情況下，可以大范圍內(nèi)對在視頻監(jiān)管區(qū)域中剛開始產(chǎn)生的濃煙和火苗進行快速、精確的辨識，做到無誤報，無漏報。將警報的快照、錄像保存到資料庫中，并將警報的訊息即時推送至有關(guān)部門。煙火煙霧探測可以幫助管理者對所監(jiān)測的區(qū)域進行實時的監(jiān)測和預警，如圖9所示。

3.8 ?缺少邊界保護的探測

在缺少保護措施的高空作業(yè)中存在作業(yè)人員高空跌落的危險，需要開發(fā)一個可以對沒有保護的高空工作表面進行報警和語音播報警示的探測體系，并且將報警截圖和視頻存儲到一個數(shù)據(jù)庫中，可以按一定的時間間隔查詢報警記錄、報警截圖和視頻，如圖10所示。

該系統(tǒng)可以實現(xiàn)對安全帽、反光衣、安全繩佩戴與否的檢測，實現(xiàn)對某人跨越危險區(qū)域等不安全行為的檢測，以及實現(xiàn)對火焰、煙霧、臨洞等環(huán)境和物體的不安全狀態(tài)檢測。實驗結(jié)果表明，本方案的識別準確度高達90%以上，錯誤識別率低于10%。

4 ?結(jié) ?論

針對目前工程建設中普遍存在的“低效率、重工作量”問題，以及現(xiàn)有的“云”安保技術(shù)的不足，項目擬開展基于“端—邊—云”協(xié)作的智慧工地視頻智能解析研究，以降低深度學習算法對服務器及云端計算的依賴性，完成對視頻信息的準確辨識及處理，從而提升工程建設中視頻信息的處理效率；同時，還可以利用云端輔助的二次解析服務器，完成對復雜視頻信息及深層數(shù)據(jù)的挖掘。本項目旨在解決施工現(xiàn)場人員不安全行為、施工現(xiàn)場環(huán)境安全等方面的問題。以長沙國際航空運輸一體化樞紐為例，在此體系中進行了初步的運用，取得了良好的應用效果。在智慧工地中進行的對智能視頻分析技術(shù)的研發(fā)與運用，可以將AI技術(shù)與施工情景深度融合，從而改變原本的人工視頻監(jiān)督方式，推動傳統(tǒng)被動型建設施工工地視頻監(jiān)控業(yè)務向智能化方向轉(zhuǎn)變。

參考文獻：

[1] 姚立權(quán).智慧工廠安全生產(chǎn)監(jiān)控與決策管理系統(tǒng)設計分析 [J].管理學家，2020（6）：142-143.

[2] 姜浩，范志鵬.數(shù)字孿生在智慧工廠中的應用探討及案例分析 [J].現(xiàn)代信息科技，2022，6（12）：146-149+155.

[3] 楊韶華，柳召輝.智慧工廠安全生產(chǎn)監(jiān)控與決策管理系統(tǒng)設計 [J].物聯(lián)網(wǎng)技術(shù)，2015，5（3）：103-104.

[4] 吳宇駒，吳偉生，雷振，等.基于CiteSpace知識圖譜的智慧工廠研究熱點及趨勢實證分析 [J].科技資訊，2021，19（15）：198-200.

[5] 房鴻海.智慧工廠安全生產(chǎn)監(jiān)控與決策管理系統(tǒng)設計 [J].科技成果縱橫，2019，28（18）：245.

[6] 張奧博.校園安全管理中視頻智能分析的應用 [J].數(shù)碼設計（上），2018（9）：92.

作者簡介：段瑞霞（1986.09—），女，漢族，山西運城人，高級工程師，碩士，研究方向：人工智能。