基于AI的多場景實(shí)物監(jiān)測平臺*

黃 娜 ， 徐 陽 ， 劉德錟 ， 譚 可 ， 汪 濤 ， 尉 俊

（重慶移通學(xué)院，重慶 401520）

1 研究背景

在生產(chǎn)過程中，安全是首位的。據(jù)不完全統(tǒng)計(jì)，2019年全國各類生產(chǎn)安全事故共死亡29 519人。工礦商貿(mào)企業(yè)就業(yè)人員每10萬人生產(chǎn)安全事故死亡人數(shù)1.474人，煤礦每百萬噸死亡人數(shù)0.083人。其中佩戴安全帽和未戴安全帽占比分別約為60%和40%。傳統(tǒng)的安防方式是安排專人坐在監(jiān)控室，這種方式雖然能減少安全事故的發(fā)生，但造成的人力資源浪費(fèi)又成了一大新問題，并且人工監(jiān)測存在一定的視覺盲區(qū)，監(jiān)控人員也容易視力疲倦。雖然目前一些施工現(xiàn)場已經(jīng)有了智能監(jiān)控識別的應(yīng)用，但在應(yīng)用場景的類型上仍然具有一定的局限性，缺少異常事件的報(bào)警功能，并且模型的預(yù)訓(xùn)練相對比較復(fù)雜，更新迭代的周期比較長。例如，一些深度學(xué)習(xí)開發(fā)工程師想到了使用卷積網(wǎng)絡(luò)進(jìn)行物體的識別檢測[1]，以此來達(dá)到監(jiān)控的目的，但此方式需要大量數(shù)據(jù)做支撐，且具有模型迭代時(shí)間長、成本高等問題。因此，課題組提出一個(gè)最優(yōu)的物體檢測方式，來對施工現(xiàn)場、維修現(xiàn)場、一線醫(yī)療現(xiàn)場等的安全環(huán)境進(jìn)行實(shí)時(shí)監(jiān)控，并產(chǎn)生信息反饋，最終達(dá)到實(shí)時(shí)監(jiān)控與報(bào)警系統(tǒng)的實(shí)時(shí)通信，從而達(dá)到更好地保證施工人員人身安全的目的。在整個(gè)系統(tǒng)設(shè)計(jì)中更加注重預(yù)訓(xùn)練模型優(yōu)化設(shè)計(jì)的方便性和準(zhǔn)確性，在現(xiàn)場部署的過程中注重平臺的兼容性和平穩(wěn)性[2-3]。

2 總體方案及工作原理

從整體上來講，本產(chǎn)品分成三大部分，一是視頻監(jiān)控系統(tǒng)，二是物體檢測系統(tǒng)，三是信息反饋系統(tǒng)。各個(gè)系統(tǒng)功能如下。

視頻監(jiān)控系統(tǒng)：主要負(fù)責(zé)接入現(xiàn)有施工現(xiàn)場的視頻監(jiān)控系統(tǒng)進(jìn)行施工現(xiàn)場的實(shí)時(shí)監(jiān)控。視頻監(jiān)控系統(tǒng)可以實(shí)現(xiàn)對門禁處全時(shí)間上的監(jiān)控，并且可以對視頻進(jìn)行調(diào)取，查看現(xiàn)場的狀況。

物體檢測系統(tǒng)：創(chuàng)建基于物體檢測技術(shù)建立的各類事件檢測模型，并對施工工地的人員安全進(jìn)行實(shí)時(shí)的監(jiān)測。物體檢測系統(tǒng)能夠準(zhǔn)確識別進(jìn)入施工現(xiàn)場的人員佩戴安全帽的情況，佩戴安全帽的人員準(zhǔn)以放行，沒有佩戴安全帽的人員隔離在外，并且語音通報(bào)具體存在的問題，以保障施工人員安全[4-6]。

信息反饋系統(tǒng)：一是對監(jiān)測到的人員信息進(jìn)行數(shù)據(jù)存儲，可以回調(diào)事件監(jiān)測模型進(jìn)行異常事件的記錄，當(dāng)監(jiān)測到不安全行為時(shí)可以對管理人員進(jìn)行異常事件報(bào)警提示；二是對未識別的數(shù)據(jù)進(jìn)行檢測反饋，便于新模型的建立和完善。

整體功能拓?fù)鋱D如圖1所示。

圖1 整體功能拓?fù)鋱D

首先，視頻監(jiān)控系統(tǒng)通過互聯(lián)網(wǎng)以固定IP方式或者離線的SDK部署，將現(xiàn)有視頻監(jiān)控系統(tǒng)中的網(wǎng)絡(luò)硬盤錄像機(jī)（Network Video Recorder，簡稱NVR）接入視頻監(jiān)控系統(tǒng)，然后通過接入的NVR直接調(diào)用終端攝像頭對物體進(jìn)行實(shí)時(shí)的識別，將用于檢測的物體檢測數(shù)據(jù)進(jìn)行存儲，同時(shí)數(shù)據(jù)進(jìn)入信息反饋系統(tǒng)，將未識別的檢測數(shù)據(jù)反饋到物體檢測系統(tǒng)當(dāng)中去[7]?？梢曰卣{(diào)事件監(jiān)測模型進(jìn)行數(shù)據(jù)存儲的記錄，并對管理人員進(jìn)行異常事件報(bào)警提醒。

3 工作流程

模型的預(yù)訓(xùn)練是根據(jù)現(xiàn)場進(jìn)行采集的大量圖片數(shù)據(jù)，然后通過EasyDL平臺進(jìn)行數(shù)據(jù)集創(chuàng)建、數(shù)據(jù)集標(biāo)注、模型訓(xùn)練、模型校驗(yàn)和現(xiàn)場驗(yàn)證五個(gè)環(huán)節(jié)。根據(jù)現(xiàn)場驗(yàn)證的結(jié)果，分析模型目前存在的問題，并進(jìn)行有針對性的調(diào)整，以達(dá)到現(xiàn)場的使用標(biāo)準(zhǔn)。當(dāng)模型訓(xùn)練好之后，將預(yù)訓(xùn)練模型封裝到現(xiàn)場的小型設(shè)備當(dāng)中進(jìn)行離線部署。

基于AI的多場景實(shí)物監(jiān)測平臺主要由實(shí)物監(jiān)測模塊、信息存儲模塊、報(bào)警系統(tǒng)三部分組成。施工現(xiàn)場設(shè)置有門禁，當(dāng)施工人員靠近門禁時(shí)，通過傳感器和攝像頭的捕捉與實(shí)時(shí)識別，對施工人員是否符合現(xiàn)場安全要求標(biāo)準(zhǔn)進(jìn)行對比分析。當(dāng)檢測的結(jié)果符合規(guī)定的現(xiàn)場安全標(biāo)準(zhǔn)時(shí)，門禁自動開啟，正常放行；當(dāng)檢測結(jié)果不符合規(guī)定的現(xiàn)場安全標(biāo)準(zhǔn)，門禁不會開啟，并且語音提示該施工人員當(dāng)前存在的問題，同時(shí)將該信息反饋給現(xiàn)場管理人員；同時(shí)，對于未識別的實(shí)物模型信息進(jìn)行存儲與反饋，便于后面對模型的優(yōu)化調(diào)整。在小型設(shè)備上部署可以實(shí)現(xiàn)拍照識別和實(shí)時(shí)識別兩種模式，拍照識別是對實(shí)物進(jìn)行手動拍照，然后將采集到的圖片數(shù)據(jù)跟預(yù)訓(xùn)練模型進(jìn)行比對；實(shí)時(shí)識別是以視頻的方式實(shí)時(shí)對實(shí)物進(jìn)行信息采集，并與預(yù)訓(xùn)練模型進(jìn)行實(shí)時(shí)比對。

系統(tǒng)工作流程圖如圖2所示。

圖2 系統(tǒng)工作流程圖

4 主要設(shè)備選型

4.1 視頻監(jiān)控設(shè)備

主要采用的設(shè)備：選用Intel（英特爾）Real Sense系列的深度攝像頭D455。Intel Real Sense D455攝像頭具有可以輕松設(shè)置、便于攜帶、容易校準(zhǔn)等優(yōu)點(diǎn)。Intel Real Sense D455 攝像頭可捕獲室內(nèi)或室外環(huán)境，具有遠(yuǎn)距離抓拍功能以及高達(dá)1 280×720的深度分辨率[30幀每秒（fps）]。并且將深度傳感器之間的距離延長到了95 mm，從而將深度誤差提高到4 m時(shí)不到2%。除此之外，D455攝像頭還支持Windows、Linux、Android系統(tǒng)和Python、C++、C#等語言。

4.2 物體檢測設(shè)備

主要采用Jetson Nano。Jetson Nano是一個(gè)小巧卻功能強(qiáng)大的計(jì)算機(jī)，硬件為四核Cortex-A57 CPU，GPU則是規(guī)模最小的Maxwell架構(gòu)顯卡，只有128個(gè)CUDA單元，配備了4 GB LPDDR4內(nèi)存以及16 GB存儲空間，它可以并行運(yùn)行多個(gè)神經(jīng)網(wǎng)絡(luò)、對象檢測、分割和語音處理等應(yīng)用程序，有足夠的AI計(jì)算能力[8-10]。同時(shí)，具有小體積、低功耗的特點(diǎn)，可以同時(shí)處理多個(gè)高分辨率傳感器，有多種硬件接口，可以保障物體檢測的實(shí)時(shí)性，并且具有40PIN GPIO擴(kuò)展接口，可以連接報(bào)警裝置和AI離線計(jì)算，保障了數(shù)據(jù)的安全性。

5 主要技術(shù)

5.1 視頻監(jiān)控技術(shù)

視頻監(jiān)控系統(tǒng)包括前端攝像機(jī)、傳輸線纜、視頻監(jiān)控平臺。攝像機(jī)可分為網(wǎng)絡(luò)數(shù)字?jǐn)z像機(jī)和模擬攝像機(jī)兩種，二者都可以作為前端視頻圖像信號的采集工具，是一種防范能力較強(qiáng)的綜合監(jiān)控系統(tǒng)。視頻監(jiān)控技術(shù)以其直觀、準(zhǔn)確、及時(shí)和信息內(nèi)容豐富而廣泛應(yīng)用于許多場合。視頻數(shù)據(jù)通過4G/5G/WIFI傳回控制主機(jī)（也可以是智能手機(jī)），主機(jī)可對圖像進(jìn)行實(shí)時(shí)觀看、錄入、回放、調(diào)出及儲存等多種操作，從而實(shí)現(xiàn)移動互聯(lián)的視頻監(jiān)控。

5.2 物體檢測技術(shù)

物體檢測技術(shù)通常是指在一張圖像中檢測出物體出現(xiàn)的位置及對應(yīng)的類別，主要包括的物體類別有Xmin、Ymin、Xmax和Ymax，它是一項(xiàng)非?；A(chǔ)的任務(wù)，圖像分割、物體追蹤、關(guān)鍵點(diǎn)檢測等通常都要依賴于物體檢測。本產(chǎn)品結(jié)合自動搜索模型技術(shù)、Transfer learning、Early stopping、物體檢測預(yù)置算法等技術(shù)，保證模型效果領(lǐng)先訓(xùn)練物體檢測模型，可以滿足不同場景對性能、效果的不同需求。

5.3 傳感器技術(shù)

傳感器（Sensor）是一種常見的卻又很重要的器件，它是感受規(guī)定的被測量的各種量并按一定規(guī)律將其轉(zhuǎn)換為有用信號的器件或裝置。平臺采用的是距離傳感器，對傳感器的檢測距離進(jìn)行設(shè)置后，當(dāng)外來人員接近現(xiàn)場門閘一定范圍內(nèi)，傳感器檢測到外來人員后核心控制器會發(fā)出一個(gè)實(shí)時(shí)檢測的指令；當(dāng)外來人員檢測正常通過閘機(jī)后，傳感器會檢測到人員進(jìn)入后的信號，核心控制器會發(fā)送一個(gè)關(guān)閉閘機(jī)的指令。

6 平臺優(yōu)勢

1）模型優(yōu)化迭代周期短。傳統(tǒng)的模型訓(xùn)練優(yōu)化迭代長，對模型無法識別的物體不能進(jìn)行反饋、快速訓(xùn)練和更新。而基于AI的多場景實(shí)物監(jiān)測平臺的數(shù)據(jù)集模型是在云端上進(jìn)行訓(xùn)練的，當(dāng)某些實(shí)物不能識別時(shí)，可以在云端當(dāng)中快速訓(xùn)練并進(jìn)行模型的更新，并且預(yù)訓(xùn)練模型能夠較好地適應(yīng)各種復(fù)雜的應(yīng)用場景。

2）部署簡單，可快速查看模型識別效果?？梢栽谠贫诉M(jìn)行部署，去除了在線下煩瑣的部署過程，加快了工程化和應(yīng)用于場景的進(jìn)度?？梢园延?xùn)練好的模型直接封裝到手機(jī)上進(jìn)行模型的校驗(yàn)，對預(yù)訓(xùn)練模型在校驗(yàn)的過程中出現(xiàn)的問題可以快速做出調(diào)整，在實(shí)景當(dāng)中查看模型識別效果。并且訓(xùn)練好的模型可以選擇通用小型設(shè)備，進(jìn)行離線部署。

3）模型封裝支持多系統(tǒng)和定制化。支持模型封裝到本地服務(wù)器上，將模型封裝成適配本地服務(wù)器（支持Linux和Windows）的SDK和專項(xiàng)適配硬件，可集成在其他程序中運(yùn)行。通用小型設(shè)備SDK-純離線服務(wù)和API-端云協(xié)同服務(wù)支持Android、iOS、Windows、Linux操作系統(tǒng)。專項(xiàng)適配硬件支持方案Edgeboard（FZ）、Edgeboard（VMX）、Jetson（Nano/TX2/Xavier）。不僅如此，還支持模型的定制化，節(jié)約了企業(yè)建立模型的成本，企業(yè)可以直接進(jìn)行安裝和使用。

7 總結(jié)

基于AI的多場景實(shí)物監(jiān)測平臺是智能化施工現(xiàn)場監(jiān)管的有效手段，該平臺可以實(shí)現(xiàn)模型數(shù)據(jù)集的快速訓(xùn)練、封裝、快速優(yōu)化，并且具有可以離線部署、設(shè)備小型化等優(yōu)勢，極大地減輕了現(xiàn)場施工監(jiān)管人員的工作量，節(jié)省了人力成本，避免出現(xiàn)傳統(tǒng)施工現(xiàn)場人員監(jiān)管時(shí)，因?yàn)槿藛T疲憊等原因造成漏查漏檢的現(xiàn)象。該平臺預(yù)訓(xùn)練模型訓(xùn)練好之后可以應(yīng)用到不同的施工環(huán)境當(dāng)中，對不戴安全帽、抽煙等不良行為的監(jiān)控具有較高的檢測精度，并且預(yù)訓(xùn)練模型訓(xùn)練簡單，在云端上就可以進(jìn)行模型的訓(xùn)練、升級和效果查驗(yàn)，極大程度地提高了開發(fā)者的工作效率。同時(shí)，其現(xiàn)場部署簡單、成本低，加快了施工現(xiàn)場工程化和可以快速應(yīng)用于場景的效率，在現(xiàn)場施工安全運(yùn)維上具有極強(qiáng)的適應(yīng)性，極大地保障了施工現(xiàn)場的人員安全，減少安全事故發(fā)生的概率，提高了施工現(xiàn)場安全運(yùn)維的智能化水平。