基于計(jì)算機(jī)視覺的工業(yè)廠區(qū)人員安全警戒系統(tǒng)

顧成偉，丁 勇，李登華

（1.南京理工大學(xué)理學(xué)院，江蘇 南京 210094; 2.南京水利科學(xué)研究院，江蘇 南京 210024）

0 引 言

工業(yè)廠區(qū)中起重機(jī)械在提高生產(chǎn)效率與產(chǎn)量的同時(shí)，由于其設(shè)備本身存在高度大、覆蓋面廣、吊裝物品種類繁多、操作盲區(qū)多等安全隱患，每年工業(yè)廠區(qū)中由起重機(jī)械引起的安全事故居高不下，對起重機(jī)械的安全管理，以保障工作人員安全和避免安全事故是廠區(qū)企業(yè)安全工作中的重中之重［1-2］。傳統(tǒng)的起重機(jī)械作業(yè)安全管理主要是靠閃光信號(hào)、地面指導(dǎo)人員指揮等方式，由于其信號(hào)單一、過多依賴人眼觀測等缺陷在保證人員安全上仍有不足［3］。伴隨著人工智能和圖像識(shí)別技術(shù)的不斷發(fā)展給起重機(jī)械安全管理提供了更多的技術(shù)支撐和思路，圖像識(shí)別技術(shù)是人工智能研究的一個(gè)重要分支，其利用計(jì)算機(jī)對圖像進(jìn)行處理、分解，以識(shí)別圖像中各種信息數(shù)據(jù)的技術(shù)。目前圖像識(shí)別技術(shù)應(yīng)用已十分廣泛，例如人臉識(shí)別、指紋識(shí)別、車牌識(shí)別、無人駕駛等［4］。自CNN 深度學(xué)習(xí)技術(shù)以提出以來，圖像識(shí)別技術(shù)又邁入了新的高度，利用與人類神經(jīng)網(wǎng)絡(luò)相似的卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練圖像，對圖像樣本特征進(jìn)行深層次的學(xué)習(xí)，大大提高了圖像識(shí)別精度與速率，基于深度學(xué)習(xí)的圖像識(shí)別技術(shù)在智能監(jiān)測領(lǐng)域廣泛地被運(yùn)用［5-6］。

針對起重機(jī)械安全事故頻發(fā)以及現(xiàn)有的相關(guān)安全管理技術(shù)上的不足，本文提出一種基于計(jì)算機(jī)視覺的工業(yè)廠區(qū)人員安全警戒系統(tǒng)。該系統(tǒng)可以通過目標(biāo)檢測算法自動(dòng)識(shí)別作業(yè)區(qū)域內(nèi)人員目標(biāo)并分析輸出相應(yīng)控制指令，實(shí)現(xiàn)起重機(jī)械自動(dòng)警戒控制，最后通過現(xiàn)場搭建系統(tǒng)進(jìn)行測試相關(guān)性能來驗(yàn)證該系統(tǒng)的可行性及穩(wěn)定性。

1 系統(tǒng)構(gòu)成與基本原理

基于計(jì)算機(jī)視覺的工業(yè)廠區(qū)人員安全警戒系統(tǒng)（以下簡稱“警戒系統(tǒng)”）是利用計(jì)算機(jī)視覺中的目標(biāo)檢測算法對采集到的起重機(jī)械作業(yè)范圍內(nèi)的監(jiān)控視頻進(jìn)行人員目標(biāo)檢測，得到人員信息數(shù)據(jù)并根據(jù)數(shù)據(jù)分析結(jié)果自動(dòng)控制起重機(jī)械進(jìn)行減速或剎停的操作，保證作業(yè)范圍人員的安全。

警戒系統(tǒng)主要由視頻采集、圖像計(jì)算、數(shù)據(jù)分析和控制輸出4個(gè)模塊［7-8］構(gòu)成。

1）視頻采集模塊采用的是?？低昐mart26型號(hào)攝像機(jī)，視頻輸出格式是H.264，分辨率是1920×1080，并安裝在起重機(jī)械大車橫梁的4 個(gè)角點(diǎn)位置實(shí)時(shí)采集作業(yè)范圍內(nèi)人員監(jiān)控視頻。

2）圖像計(jì)算模塊是以NVIDIA Jetson TW-T506計(jì)算平臺(tái)為核心部件（以下簡稱“計(jì)算平臺(tái)”）以及工業(yè)路由器、硬盤錄像機(jī)等輔助硬件組成，計(jì)算平臺(tái)內(nèi)置Xavier 模塊并具備21 TOPS 浮點(diǎn)運(yùn)算的AI 處理能力，可以部署運(yùn)行目標(biāo)檢測算法，對現(xiàn)場作業(yè)人員進(jìn)行檢測處理。

3）數(shù)據(jù)分析模塊采用的是MCGS1071Gt 型號(hào)智能物聯(lián)網(wǎng)嵌入式觸摸屏，可以進(jìn)行TCP/IP 通訊以及物聯(lián)網(wǎng)串口通訊，并且內(nèi)置諸多當(dāng)下使用較為頻繁的物聯(lián)網(wǎng)模塊設(shè)備驅(qū)動(dòng)，可以與編碼器、modbus 揚(yáng)聲器以及西門子PLC等硬件進(jìn)行數(shù)據(jù)交互和操作控制。

4）控制輸出模塊是由SIMATIC S7-1200 型可編程控制器（以下簡稱“PLC”）以及與起重機(jī)械各個(gè)檔位電路相連的繼電模塊組成，繼電模塊中的繼電器與PLC 中的DQ 信號(hào)點(diǎn)相連組成閉合回路。PLC 根據(jù)接收到的控制指令改變DQ信號(hào)點(diǎn)觸點(diǎn)的開合狀態(tài)控制繼電模塊的吸合與斷開，繼而通過繼電模塊控制相應(yīng)檔位的斷合，實(shí)現(xiàn)起重機(jī)械的自動(dòng)安全警戒控制。

由4個(gè)模塊構(gòu)成的警戒系統(tǒng)的運(yùn)行流程如圖1所示。首先是對現(xiàn)場作業(yè)人員監(jiān)控視頻數(shù)據(jù)進(jìn)行采集并輸入計(jì)算平臺(tái)進(jìn)行目標(biāo)檢測運(yùn)算得到人員的類別、數(shù)量、位置等數(shù)據(jù)結(jié)果。該數(shù)據(jù)結(jié)果通過協(xié)議通道傳輸?shù)綌?shù)據(jù)分析模塊觸摸屏中。此外計(jì)算平臺(tái)還會(huì)將含有人員檢測結(jié)果的圖像重新編譯成視頻并通過rtsp 格式取流鏈接在觸摸屏窗口實(shí)時(shí)顯示并播報(bào)相應(yīng)語音警報(bào)提示［9］。然后人員數(shù)據(jù)結(jié)果經(jīng)觸摸屏分析處理后會(huì)向控制輸出模塊發(fā)出控制指令，PLC 根據(jù)指令通過對繼電模塊的控制間接控制起重機(jī)械相應(yīng)檔位的開合，最終實(shí)現(xiàn)起重機(jī)械針對作業(yè)人員的自動(dòng)安全警戒控制［10-11］。

圖1 警戒系統(tǒng)構(gòu)成與運(yùn)行流程圖

2 算法改進(jìn)

2.1 嵌入注意力模塊

針對工業(yè)廠區(qū)起重機(jī)械作業(yè)特點(diǎn)，警戒系統(tǒng)要求人員檢測算法需快速檢測運(yùn)算得到結(jié)果數(shù)據(jù)并輸出相應(yīng)控制命令，因此警戒系統(tǒng)中的目標(biāo)檢測算法選取了計(jì)算量小、識(shí)別速率較快的一階段目標(biāo)識(shí)別網(wǎng)絡(luò)中的YOLOv5 作 為 基 礎(chǔ) 框 架［12］。YOLOv5 網(wǎng) 絡(luò) 結(jié) 合NVIDIA 計(jì)算核心硬件中搭載的TensorRT 優(yōu)化模塊可快速實(shí)時(shí)識(shí)別監(jiān)控視頻中的人員目標(biāo)，在快速識(shí)別的同時(shí)快速做出相應(yīng)的控制操作［13-14］。

本文所采用的YOLOv5 網(wǎng)絡(luò)算法結(jié)構(gòu)中大量運(yùn)用卷積操作，多次卷積的目的主要有2 個(gè)，一方面是不斷地提取圖像中的深層特征，另一方面是減少模型的計(jì)算量，使得到的特征信息更加精簡。但是實(shí)現(xiàn)這2 個(gè)目的的同時(shí)，也會(huì)帶來一些問題，通過深層次的卷積得到的特征圖尺度會(huì)越來越小，此時(shí)圖像樣本就很容易損失某些特征信息，尤其是圖像中的小目標(biāo)特征進(jìn)過多層次的卷積更容易產(chǎn)生特征的丟失現(xiàn)象。本文警戒系統(tǒng)采集到的圖像樣本中人員占整個(gè)圖像比例較小，屬于小目標(biāo)類別，因此人員目標(biāo)存在特征丟失問題［15］。針對這個(gè)問題，本文在警戒系統(tǒng)目標(biāo)檢測算法中采用嵌入注意力機(jī)制模塊的方法提升算法對圖像中主要目標(biāo)的提取，保留關(guān)鍵感興趣目標(biāo)特征?？紤]到單張圖像中不單單存在一個(gè)人員目標(biāo)，因此在注意力集中上不僅僅需要考慮通道的角度也需要空間角度，最后選取基于空間和通到融合注意力機(jī)制的CBAM 模塊。該模塊是輕量級(jí)的通用模塊，可以忽略該模塊的開銷而將其集成到Y(jié)OLOv5s 網(wǎng)絡(luò)架構(gòu)中，并且可以與網(wǎng)絡(luò)一起進(jìn)行端到端的訓(xùn)練。最后本文嵌入模塊的位置分別是在Backbone 結(jié)構(gòu)BottleneckCSP 模塊的殘差網(wǎng)絡(luò)中add 操作后和在Neck 結(jié)構(gòu)BottleneckCSP 模塊的集成卷積模塊CONV 的最后處理步驟中［16-17］。

圖2 為CBAM 模塊的整個(gè)處理流程，該模塊先經(jīng)過通道注意力模塊的處理，然后將通道注意力模塊的輸出結(jié)果經(jīng)過空間注意力模塊處理，得到最終的輸出特征權(quán)值［18］。CBAM 模塊的通道注意力模塊如圖2上半部分所示，輸入的特征圖分別經(jīng)過基于width 和height 的全局最大池化和全局平均池化操作，處理結(jié)果經(jīng)過共享全連接層后再通過Elementwise 加和和Sigmoid 激活操作后生成最終的通道注意力權(quán)值。如圖2 下半部分所示，生成的通道注意力權(quán)值和輸入特征進(jìn)行Elementwise 乘法生成空間注意力模塊的輸入特征，在空間注意力模塊處理中，首先對輸入特征作基于通道的全局最大池化和全局平均池化，并將2 個(gè)結(jié)果進(jìn)行基于通道的concat融合，融合后的特征經(jīng)過卷積處理降維為1 個(gè)通道，然后經(jīng)過Sigmoid 激活生成空間注意力權(quán)值，最后將權(quán)值與輸入特征做乘法就得到CBAM模塊最終的輸出特征［19-20］。

圖2 CBAM注意力機(jī)制模塊處理流程圖

2.2 引入人員跟蹤算法

通過對工業(yè)廠區(qū)內(nèi)作業(yè)環(huán)境的考察發(fā)現(xiàn)，廠區(qū)起重機(jī)械吊裝作業(yè)多為大體積平面鋼材等大體積材料，作業(yè)周邊人員遮擋情況存在較多，在吊裝大體積物件時(shí)存在因人員遮擋而導(dǎo)致無檢測結(jié)果生成的情形。針對這些問題本文引入基于SORT 的人員跟蹤算法預(yù)測人員位置，在遮擋情形中根據(jù)預(yù)測結(jié)果與檢測結(jié)果修正融合得到最優(yōu)的檢測結(jié)果，避免人員因被遮擋漏檢而導(dǎo)致起重機(jī)械的自動(dòng)安全警戒控制被錯(cuò)誤中斷［21-22］。

基于SORT 的人員跟蹤算法處理流程如圖3 所示。算法將人員目標(biāo)的檢測結(jié)果和跟蹤預(yù)測進(jìn)行匹配，然后根據(jù)匹配結(jié)果進(jìn)行不同的處理，其中匹配結(jié)果分為3 種類型：Matched Tracks、Unmatched Detections 和Unmatched Tracks。針對這3 種結(jié)果處理方式如下［23-24］：

圖3 人員跟蹤算法處理流程圖

1）Matched Tracks。

匹配成功的track 和detection 結(jié)果進(jìn)行融合更新得到最優(yōu)的人員檢測結(jié)果作為最終輸出，同時(shí)通過該最優(yōu)結(jié)果不斷更新跟蹤算法中的Klaman濾波參數(shù)。

2）Unmatched Detections。

未匹配成功的detection 作為新的初始跟蹤目標(biāo)，并將該檢測結(jié)果作為此目標(biāo)初始幀跟蹤結(jié)果輸入到跟蹤序列數(shù)據(jù)中。

3）Unmatched Tracks。

未匹配成功的track 分為確認(rèn)狀態(tài)和不確認(rèn)狀態(tài)2 種處理方式。確認(rèn)狀態(tài)下未匹配成功的track 根據(jù)最大壽命值max_age 閾值進(jìn)行判斷，超過則認(rèn)為目標(biāo)長時(shí)間消失，刪除此track 結(jié)果，未超過則認(rèn)為目標(biāo)存在短暫消失的被遮擋場景，未檢測到目標(biāo)，則將track作為最終檢測結(jié)果并輸出；不確認(rèn)狀態(tài)下未匹配成功的track直接進(jìn)行刪除處理［25］。

本文目標(biāo)檢測算法以YOLOv5 網(wǎng)絡(luò)為基礎(chǔ)，并針對實(shí)際運(yùn)用過程中遇到的小目標(biāo)人員特征易丟失和人員被遮擋時(shí)易漏檢問題分別采用嵌入注意力機(jī)制模塊和引入人員跟蹤算法進(jìn)行改進(jìn)，最終改進(jìn)后的目標(biāo)檢測算法整體框架如圖4 所示。輸入圖像經(jīng)過改進(jìn)的YOLOv5 算法網(wǎng)絡(luò)后，生成檢測到的人員目標(biāo)信息和邊框信息即人員檢測結(jié)果。與此同時(shí)圖像經(jīng)過跟蹤算法也生成了對應(yīng)的跟蹤預(yù)測結(jié)果，然后2個(gè)結(jié)果進(jìn)行互相匹配更新融合生成最優(yōu)的人員檢測結(jié)果并輸出。

圖4 本文目標(biāo)檢測算法框架圖

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集建立與優(yōu)化

為了提高人員識(shí)別算法中權(quán)重模型的識(shí)別效率與魯棒性能，網(wǎng)絡(luò)訓(xùn)練過程中采用的圖像數(shù)據(jù)集均通過工業(yè)廠區(qū)人員實(shí)際作業(yè)監(jiān)控視頻數(shù)據(jù)采集得到，視頻經(jīng)抽幀得到人員圖像并自動(dòng)標(biāo)注生成xml 文件，該方法采集建立的數(shù)據(jù)集可以有效提高模型權(quán)重的識(shí)別效率和降低車間復(fù)雜環(huán)境帶來的誤識(shí)別可能性。

如圖5 所示，本文圖像樣本標(biāo)注過程中采取的是人工標(biāo)注與自動(dòng)標(biāo)注相結(jié)合的方法，其處理流程為：1）對現(xiàn)場監(jiān)控視頻抽幀采集得到待標(biāo)注圖像；2）對圖像進(jìn)行分組，按比例分為1/5 圖像樣本和4/5 圖像樣本，其中1/5 圖像樣本采用用人工標(biāo)注方法仔細(xì)準(zhǔn)確地標(biāo)注人員位置，并將標(biāo)注好的圖像樣本通過本文改進(jìn)后的YOLOv5 算法訓(xùn)練得到預(yù)檢測模型，由于這部分的數(shù)據(jù)集數(shù)量較少，且數(shù)據(jù)也未經(jīng)過優(yōu)化處理，因此將該模型稱之為預(yù)檢測模型，只用于圖像標(biāo)注過程中，后期不斷訓(xùn)練迭代得到質(zhì)量優(yōu)越的模型后將更新替換；3）剩余的4/5 圖像樣本通過預(yù)檢測模型進(jìn)行人員檢測，檢測結(jié)果通過標(biāo)注工具算法自動(dòng)轉(zhuǎn)化成標(biāo)注文件；4）將人工標(biāo)注和自動(dòng)生成的標(biāo)注數(shù)據(jù)集整合并對其中不合理的標(biāo)注數(shù)據(jù)進(jìn)行自動(dòng)剔除處理；5）經(jīng)過剔除處理剩余的圖像樣本再經(jīng)過人工的復(fù)核微調(diào)后，即可完成對全部圖像數(shù)據(jù)集的檢測框標(biāo)注工作，此方法在保證標(biāo)注合格準(zhǔn)確的基礎(chǔ)上通過結(jié)合自動(dòng)標(biāo)注、數(shù)據(jù)自動(dòng)剔除等方法提高了傳統(tǒng)標(biāo)注工作的效率［26］。

圖5 圖像樣本標(biāo)注流程圖

圖5 中自動(dòng)剔除處理是針對標(biāo)注文件中出現(xiàn)的錯(cuò)誤標(biāo)簽xml 文件的處理，根據(jù)標(biāo)簽數(shù)據(jù)邏輯關(guān)系自動(dòng)剔除錯(cuò)誤標(biāo)注文件及圖像樣本。自動(dòng)剔除處理準(zhǔn)則如下［27］：

1）剔除無人員存在的樣本。

視頻數(shù)據(jù)經(jīng)過抽幀得到的圖像中可能無人員存在，此時(shí)根據(jù)xml 文件中無object 數(shù)據(jù)原則自動(dòng)剔除相對應(yīng)的圖像和xml文件。

2）剔除圖像尺寸錯(cuò)誤的樣本。

現(xiàn)場監(jiān)控視頻通過抽幀方法得到的圖像數(shù)據(jù)集過程中可能存在圖像尺寸數(shù)據(jù)錯(cuò)誤情形，此時(shí)xml 文件中圖像size 數(shù)據(jù)中會(huì)存在weight 或height 小于0 的異常情況，若是存在weight 或height 小于0 即判定圖像尺寸數(shù)據(jù)異常，將此圖像以及相應(yīng)的標(biāo)注文件自動(dòng)剔除。

3）剔除box尺寸錯(cuò)誤的數(shù)據(jù)。

根據(jù)xml 文件中bbox 的xmin、xmax、ymin、ymax數(shù)據(jù)邏輯關(guān)系，當(dāng)出現(xiàn)min 大于max 或max 大于圖像height、weight 以及x或y小于0 等異常數(shù)據(jù)值時(shí)，則將其判定為異常bbox 數(shù)據(jù)，并將圖像目錄自動(dòng)輸出進(jìn)行人工復(fù)核，將異常標(biāo)記框微調(diào)或者刪除。

本文針對自建數(shù)據(jù)集還采用一些方法對其進(jìn)行結(jié)構(gòu)優(yōu)化，優(yōu)化方法如下：

1）數(shù)據(jù)集數(shù)據(jù)均衡。

圖像數(shù)據(jù)中各個(gè)類別的占比數(shù)量通常是不均衡的，存在某類別偏多，某類別偏少，這樣的數(shù)據(jù)集訓(xùn)練時(shí)得到的模型權(quán)重會(huì)由于存在數(shù)據(jù)不均衡的情況而影響模型識(shí)別效率。針對數(shù)據(jù)集中數(shù)據(jù)不均衡的情況，本文采用基于Label Shuffling 的數(shù)據(jù)增廣方法進(jìn)行數(shù)據(jù)集類別數(shù)量的均衡，優(yōu)化數(shù)據(jù)集。

2）數(shù)據(jù)集數(shù)據(jù)增強(qiáng)。

針對在有限數(shù)量圖像數(shù)據(jù)集情況下可能產(chǎn)生的圖像訓(xùn)練過擬合現(xiàn)像，以及為了提高模型泛化能力和魯棒性，在原數(shù)據(jù)集中采用數(shù)據(jù)增強(qiáng)的方法產(chǎn)生更多的特征，使得訓(xùn)練更全面深入從而優(yōu)化得到的模型權(quán)重，提高識(shí)別效率。本文采用的方法包括圖像翻轉(zhuǎn)方法，分為水平翻轉(zhuǎn)和垂直翻轉(zhuǎn)；圖像旋轉(zhuǎn)方法，依次將原圖進(jìn)行順時(shí)針90°旋轉(zhuǎn)，豐富圖像數(shù)據(jù)集；比例縮放方法，依次將圖像向外縮放20%；Mosaic數(shù)據(jù)增強(qiáng)方法，將原圖進(jìn)行翻轉(zhuǎn)、旋轉(zhuǎn)等變換后重新生成一張圖像。

3.2 實(shí)驗(yàn)結(jié)果分析

本文基于YOLOv5 算法進(jìn)行了相關(guān)改進(jìn)，為了驗(yàn)證改進(jìn)前后算法在本文數(shù)據(jù)集中的檢測性能是否得到提升，特將YOLOv5 算法與本文改進(jìn)后的YOLOv5算法在自建數(shù)據(jù)集上的檢測結(jié)果進(jìn)行對比分析。

對比過程中采用的訓(xùn)練數(shù)據(jù)集和訓(xùn)練環(huán)境均一致，數(shù)據(jù)集樣本共計(jì)27564 張，含有79532 個(gè)標(biāo)記框，按照6：2：2 比例劃分訓(xùn)練集、驗(yàn)證集和測試集進(jìn)行訓(xùn)練。訓(xùn)練的服務(wù)器為buntu18.04 系統(tǒng)、i5-12600K 型號(hào)CPU 以及NVIDIA RTX3060（12 GB）型號(hào)GPU 進(jìn)行訓(xùn)練。

目標(biāo)檢測算法常用的評價(jià)指標(biāo)主要是精確度Precision、召回率Recall 以及平均精度mAP 等。YOLOv5網(wǎng)絡(luò)在訓(xùn)練結(jié)果中會(huì)自動(dòng)生成各個(gè)訓(xùn)練階段的Precision、Recall 及mAP 等指標(biāo)的結(jié)果統(tǒng)計(jì)圖。YOLOv5 改進(jìn)前后的精確度與召回率隨訓(xùn)練批次的收斂曲線如圖6 所示，圖中橫坐標(biāo)表示訓(xùn)練批次數(shù)，縱坐標(biāo)標(biāo)表示Precision 和Recall 對應(yīng)的結(jié)果值，圖6（a）、圖6（b）是原YOLOv5 算法的收斂曲線，圖6（c）、圖6（d）是本文改進(jìn)后的YOLOv5 算法的收斂曲線。圖中精確度和召回率隨著訓(xùn)練批次的增加，結(jié)果值逐漸收斂，可看出YOLOv5 算法與本文改進(jìn)的YOLOv5 算法的Precision 和Recall 結(jié)果值均在100 個(gè)批次左右逐步達(dá)到收斂狀態(tài)，之后的結(jié)果數(shù)值只是在小范圍內(nèi)浮動(dòng)。

圖6 YOLOv5和改進(jìn)YOLOv5算法的PR指標(biāo)收斂曲線圖

YOLOv5 算法改進(jìn)前后訓(xùn)練結(jié)果中各個(gè)評價(jià)指標(biāo)結(jié)果對比如表1所示。本文改進(jìn)后的YOLOv5目標(biāo)檢測算法較原YOLOv5 算法的精確度、召回率及平均精度上均有所提高。改進(jìn)后算法的精確度提高了2.85個(gè)百分點(diǎn)，召回率方面提高了2.786個(gè)百分點(diǎn)，在IOU閾值為0.5的mAP結(jié)果上提高了3.414個(gè)百分點(diǎn)。最后對比了2 種算法的處理速度，改進(jìn)后的YOLOv5算法的速度指標(biāo)FPS 略微下降了2 個(gè)數(shù)值左右，但結(jié)合本文警戒系統(tǒng)在現(xiàn)場運(yùn)行情況分析，其處理速度在25 FPS 以上即可滿足實(shí)時(shí)檢測運(yùn)算需求，因此改進(jìn)后的YOLOv5 算法在檢測速度上已滿足要求?？偟膩碚f，結(jié)合檢測精度與檢測速度2 個(gè)方面對比來看，本文改進(jìn)后的YOLOv5算法較原YOLOv5算法在檢測性能上有著明顯的提升。

表1 YOLOv5算法改進(jìn)前后的檢測結(jié)果

4 系統(tǒng)實(shí)現(xiàn)與測試

4.1 系統(tǒng)實(shí)現(xiàn)

警戒系統(tǒng)搭建實(shí)現(xiàn)的現(xiàn)場是某鋼鐵公司鐵路運(yùn)輸維修車間。該車間起重機(jī)械型號(hào)為QD 型雙梁橋式起重機(jī)，起重量為2015 t，跨度為19.2 m。該車間作業(yè)內(nèi)容主要是對運(yùn)輸原材料的鐵路車廂進(jìn)行檢修作業(yè)，檢修機(jī)器零件等起重作業(yè)比較頻繁。

首先將警戒系統(tǒng)硬件部分進(jìn)行安裝和組網(wǎng)，涉及的硬件有攝像機(jī)、計(jì)算平臺(tái)、觸摸屏及PLC 等。攝像機(jī)共計(jì)4 路，安裝在如圖7 中圓點(diǎn)所示的4 個(gè)端角處，拍攝角度充分覆蓋橋式起重機(jī)作業(yè)區(qū)域；觸摸屏安裝在駕駛室內(nèi)，方便駕駛?cè)藛T查看人員檢測結(jié)果視頻以及進(jìn)行相關(guān)參數(shù)設(shè)置；計(jì)算平臺(tái)機(jī)箱和PLC控制機(jī)箱安裝在起重機(jī)械大車主梁上方［28-29］（硬件安裝示意見圖7）。

圖7 硬件安裝及區(qū)域設(shè)置示意圖

其次，根據(jù)現(xiàn)場實(shí)際作業(yè)區(qū)情況劃分出起重機(jī)械的各個(gè)警戒區(qū)域，圖7 起重機(jī)械下方中間方形區(qū)域?yàn)樾≤嚲鋮^(qū)域，主要是警戒小車縱向作業(yè)，兩側(cè)方形區(qū)域?yàn)榇筌囎髠?cè)和右側(cè)警戒區(qū)域，主要是警戒大車向左或向右作業(yè)，左右側(cè)細(xì)分為減速區(qū)域和停止區(qū)域。根據(jù)現(xiàn)場實(shí)際要求每個(gè)域區(qū)橫向距離設(shè)定為5 m 跨度，縱向距離直接為起重機(jī)械跨度19.2 m。隨后在起重機(jī)械下方對應(yīng)界限位置拉上警戒紅線，并在計(jì)算平臺(tái)后臺(tái)中根據(jù)攝像機(jī)拍攝到的警戒紅線為基準(zhǔn)，畫出大車左減速、左停止、大車右減速、右停止和小車區(qū)域5個(gè)區(qū)域（警戒區(qū)域設(shè)置見圖7和圖8）。

圖8 現(xiàn)場警戒區(qū)域設(shè)置圖

4.2 數(shù)據(jù)協(xié)議命令設(shè)置

上文介紹了警戒系統(tǒng)的硬件部分安裝及現(xiàn)場區(qū)域劃分設(shè)置，警戒系統(tǒng)的數(shù)據(jù)分析模塊與計(jì)算平臺(tái)間的數(shù)據(jù)傳輸協(xié)議在運(yùn)行使用前也需要進(jìn)行預(yù)設(shè)工作［30］。

計(jì)算平臺(tái)完成視頻數(shù)據(jù)的處理后會(huì)得出人員的類別、數(shù)量、位置等數(shù)據(jù)信息，這些數(shù)據(jù)會(huì)根據(jù)設(shè)定的規(guī)則通過MQTT 協(xié)議傳輸?shù)接|摸屏中。該協(xié)議中人員類別和數(shù)量通過20 B 的連續(xù)數(shù)字指令傳輸，每2 B 代表一個(gè)區(qū)域中的一類人（根據(jù)車間實(shí)際生產(chǎn)情況人員分為human 和guider 這2 類），4 B 表示一個(gè)警戒區(qū)域，其中區(qū)域依次為左減速、左停止、小車、右停止、右減速區(qū)域。例如“01010000000000000000”指令代表大車左側(cè)減速警戒區(qū)域內(nèi)有human 和guider 人員各一人，該條指令只代表一個(gè)攝像機(jī)拍攝范圍內(nèi)識(shí)別到的人員，多路攝像機(jī)則多條發(fā)送。

人員坐標(biāo)信息只有在小車區(qū)域內(nèi)需要獲取，因?yàn)樾枰摂?shù)據(jù)判斷人員在小車前側(cè)或后側(cè)，小車警戒區(qū)域人員坐標(biāo)也是通過20 B 協(xié)議進(jìn)行傳輸，前10 B 代表小車區(qū)域5名human類別人員坐標(biāo)，后10 B代表小車區(qū)域5名guider類別人員坐標(biāo)（根據(jù)現(xiàn)場生產(chǎn)需求，小車區(qū)域?qū)嶋H作業(yè)人數(shù)均不會(huì)超過5 人）。與數(shù)量指令相似，每一條指令只代表一路攝像機(jī)識(shí)別到的，多路攝像機(jī)則多條發(fā)送，例如“10-1-1-1-1-1-1-1-1-1”代表小車區(qū)域有一名human 人員在拍攝區(qū)域坐標(biāo)10 位置出現(xiàn)，“-1”代表無識(shí)別人員，以此數(shù)據(jù)結(jié)合小車行程數(shù)據(jù)即可判斷人員與小車前后關(guān)系［31-32］。

觸摸屏接收到MQTT指令后，后臺(tái)根據(jù)解讀獲取的人員數(shù)據(jù)首先通過語音模塊發(fā)出“某區(qū)域有人”語音提示駕駛?cè)藛T注意警戒區(qū)域人員，其次根據(jù)人員位置類別數(shù)據(jù)分析判斷，通過后臺(tái)與PLC的通訊通道向其發(fā)出控制指令，控制PLC與起重機(jī)械檔位直接連接的繼電模塊的吸合或斷開，實(shí)現(xiàn)直接自動(dòng)控制起重機(jī)械檔位作業(yè)，做到人員在警戒區(qū)域內(nèi)的自動(dòng)警戒控制［33-34］。

4.3 系統(tǒng)測試

為了驗(yàn)證系統(tǒng)能否實(shí)現(xiàn)人員自動(dòng)安全警戒操作，本文選取3 種具有代表性的人員作業(yè)場景進(jìn)行測試警戒系統(tǒng)的自動(dòng)安全警戒操作實(shí)際運(yùn)行情況，分別是人員無遮擋情形、人員存在遮擋情形以及人員離開區(qū)域情形。

1）人員無遮擋情形。

該情形下人員無遮擋，警戒系統(tǒng)會(huì)根據(jù)檢測結(jié)果和跟蹤結(jié)果融合生成最優(yōu)的檢測結(jié)果作為最終輸出，并根據(jù)此結(jié)果輸出相應(yīng)控制命令，自動(dòng)控制起重機(jī)械相關(guān)檔位的開合。

圖9 為人員無遮擋情形中警戒系統(tǒng)某一時(shí)刻檢測結(jié)果顯示，圖中LD、LS、RD、RS和TR區(qū)域分別代表大車左減速、左停止、大車右減速、大車右停止以及小車區(qū)域共計(jì)5 個(gè)警戒區(qū)域，圖9 中的攝像機(jī)角度拍攝不到大車右減速區(qū)域RD，所以圖中未看到RD 區(qū)域。此時(shí)圖9 中的人員行進(jìn)到小車警戒區(qū)域TR 內(nèi)，警戒系統(tǒng)會(huì)自動(dòng)檢測到該人員，然后根據(jù)他在圖像上的坐標(biāo)位置，判斷人員是在小車的前側(cè)還是后側(cè)以及與小車的距離，此時(shí)經(jīng)后臺(tái)計(jì)算顯示人員在小車前方相距6 m 處，根據(jù)預(yù)先設(shè)定的在小車區(qū)域5 m 內(nèi)停止、10 m 內(nèi)減速的邏輯輸出切斷小車檔位中的二三四高速檔位的命令，只允許小車低速一檔作業(yè)，同時(shí)語音警報(bào)模塊也會(huì)實(shí)時(shí)語音提示“小車區(qū)域前方有人”。

圖9 無遮擋情形下檢測結(jié)果示意圖

為了查看控制命令輸出的準(zhǔn)確與否以及控制命令是否得到執(zhí)行，如圖10 所示，在觸摸屏界面中可實(shí)時(shí)監(jiān)測起重機(jī)械的檔位閉合狀態(tài)。該界面監(jiān)測原理是通過讀取PLC 與各個(gè)檔位相連的輸入寄存器I 的值來監(jiān)測其電路是否斷開，斷開的話則表示該相應(yīng)檔位被切斷。圖10 中左行、右行檔位代表大車左右運(yùn)行檔位，前進(jìn)、后退代表小車前后運(yùn)行檔位，下方主上下和副上下代表的是主副鉤的操作檔位。監(jiān)測界面中相應(yīng)警示燈亮綠燈表示檔位正常連通可執(zhí)行相關(guān)行進(jìn)操作，亮紅燈則表示該檔位被切斷無法執(zhí)行該檔位相應(yīng)操作。針對圖9 顯示的檢測結(jié)果，此時(shí)的控制輸出模塊應(yīng)輸出切斷小車二三四高速檔位，只允許低速一檔作業(yè)命令，如圖10所示監(jiān)測界面顯示小車的3個(gè)高速檔位均亮黑燈，表示這些檔位均被自動(dòng)切斷，此時(shí)小車只允許前進(jìn)一檔或者后退一檔的慢速作業(yè)。

圖10 控制輸出監(jiān)測界面

2）人員有遮擋情形。

該情形下僅根據(jù)YOLOv5 目標(biāo)檢測算法可能會(huì)由于人員被遮擋造成特征不明顯或特征偏少而導(dǎo)致該人員被漏檢，這樣會(huì)造成警戒系統(tǒng)控制被錯(cuò)誤中斷。本文引入人員跟蹤算法后，系統(tǒng)最終輸出的的人員檢測結(jié)果會(huì)結(jié)合YOLOv5 檢測結(jié)果和跟蹤算法的預(yù)測結(jié)果進(jìn)行相關(guān)匹配結(jié)合后再輸出，若是產(chǎn)生由于漏檢導(dǎo)致的無檢測結(jié)果情況，此時(shí)會(huì)將該幀跟蹤算法產(chǎn)生的預(yù)測結(jié)果作為最終的檢測結(jié)果輸出，并根據(jù)此結(jié)果輸出相應(yīng)控制命令。

如圖11 所示，此幀場景中人員處與小車警戒區(qū)域中，該人員因被吊裝電磁吸盤遮擋了大部分特征而導(dǎo)致YOLOv5 算法進(jìn)行檢測時(shí)未檢測到該人員，此時(shí)人員跟蹤算法的預(yù)測結(jié)果將作為系統(tǒng)最終的檢測結(jié)果，并且系統(tǒng)繼續(xù)輸出控制指令控制小車減速行駛，同時(shí)語音警報(bào)會(huì)提示“小車區(qū)域前方有人，且存在遮擋情形”，通過相應(yīng)語音提示司機(jī)也會(huì)和地面領(lǐng)航人員具體確認(rèn)地面被遮擋人員情況，觸摸屏中的控制指令監(jiān)測結(jié)果和情形1中一致。

圖11 遮擋情形檢測結(jié)果示意圖

3）人員離開區(qū)域情形。

人員離開警戒區(qū)域后，由于本文中引入的跟蹤算法中有最大壽命值閾值設(shè)定，此時(shí)雖無檢測結(jié)果，但是有跟蹤算法的預(yù)測結(jié)果存在并且該結(jié)果在低于閾值時(shí)會(huì)繼續(xù)將跟蹤算法的預(yù)測結(jié)果作為最終檢測結(jié)果，并繼續(xù)輸出相應(yīng)控制指令，其未匹配次數(shù)大于設(shè)定閾值時(shí)，會(huì)刪除此跟蹤目標(biāo)，認(rèn)為該人員已經(jīng)離開警戒區(qū)域。本文設(shè)定的閾值是25 幀，按現(xiàn)場監(jiān)控視頻每秒抽取5 幀進(jìn)行處理運(yùn)算原則可知，當(dāng)人員持續(xù)未檢測到時(shí)長達(dá)5 s 時(shí)就會(huì)認(rèn)為該人員已離開警戒區(qū)域，此段時(shí)間內(nèi)語音模塊在前15 幀未匹配成功時(shí)間段中會(huì)提示，例如“左側(cè)減速區(qū)域有人，且存在遮擋情形”，在連續(xù)15 幀未匹配成功后提示改為“左側(cè)減速區(qū)域有人，且疑似已離開區(qū)域”，同時(shí)在這5 s 內(nèi)警戒系統(tǒng)繼續(xù)輸出切斷大車高速二三四檔位的命令，只允許大車一檔慢速行駛，期間駕駛?cè)藛T可和地面領(lǐng)航人員再次進(jìn)一步確認(rèn)地面情況。未匹配次數(shù)大于閾值后，系統(tǒng)會(huì)刪除此跟蹤目標(biāo)并恢復(fù)切斷的檔位，即控制輸出界面中大車二三四檔位的指示燈將恢復(fù)為淺色狀態(tài)。

在以上3 種人員作業(yè)場景中警戒系統(tǒng)經(jīng)測試均可準(zhǔn)確輸出控制指令，實(shí)現(xiàn)起重機(jī)械的自動(dòng)安全警戒控制操作。為進(jìn)一步測試警戒系統(tǒng)自動(dòng)警戒控制的準(zhǔn)確性與穩(wěn)定性，隨機(jī)抽取了一周內(nèi)不同場景下的10 段監(jiān)控視頻，對此監(jiān)控視頻進(jìn)行自動(dòng)標(biāo)注并人工查檢，然后將此監(jiān)控視頻在警戒系統(tǒng)中處理后的檢測結(jié)果和人工標(biāo)注結(jié)果進(jìn)行比對，計(jì)算各個(gè)人員類別的檢測準(zhǔn)確率、檢測結(jié)果之間的IOU、漏檢率以及誤檢率等指標(biāo)結(jié)果，各項(xiàng)指標(biāo)計(jì)算結(jié)果如表2所示。

表2 警戒系統(tǒng)性能測試結(jié)果

從表2可看出警戒系統(tǒng)對human和guider類別的檢測準(zhǔn)確率P分別為94.4%和95.1%，檢測結(jié)果和人工標(biāo)注結(jié)果之間的平均交并比即IOU 分別為70.2%和73.5%，2 種類別人員的漏檢率和誤檢率中只有human 人員的誤檢率較高，為1.2%，其余均在1%以下，human 人員類別所穿的藍(lán)色工作服和現(xiàn)場鋼結(jié)構(gòu)構(gòu)建較為相似，因此存在略多誤檢，后期通過不斷對模型訓(xùn)練迭代，該指標(biāo)還會(huì)得到進(jìn)一步改善。綜合以上對警戒系統(tǒng)性能測試結(jié)果來看，警戒系統(tǒng)在現(xiàn)場運(yùn)行過程中對作業(yè)人員目標(biāo)有較好的檢測效果，可以準(zhǔn)確穩(wěn)定地執(zhí)行相應(yīng)自動(dòng)警戒控制操作，最大化地保障作業(yè)人員安全。

5 結(jié)束

現(xiàn)場安裝實(shí)現(xiàn)和測試結(jié)果表明警戒系統(tǒng)可以準(zhǔn)確地檢測到進(jìn)入警戒區(qū)域的作業(yè)人員，并根據(jù)設(shè)定的減停規(guī)則自動(dòng)控制起重機(jī)械減速或停止作業(yè)，實(shí)現(xiàn)起重機(jī)械針對作業(yè)范圍內(nèi)人員的自動(dòng)安全警戒控制，盡可能地保障了作業(yè)范圍內(nèi)的人員安全，也彌補(bǔ)了現(xiàn)有的工業(yè)廠區(qū)起重機(jī)械安全管理方法上人力投入過多、效果不明顯、操作不便捷等不足問題。

目前該系統(tǒng)在人員檢測結(jié)果共享方面做的還是略有不足，今后改進(jìn)研究方向可以嘗試將整個(gè)車間所有單個(gè)起重機(jī)械采集到的人員信息進(jìn)行共享處理，集中計(jì)算，多渠道顯示檢測結(jié)果，可嘗試通過終端計(jì)算站進(jìn)行更加快捷準(zhǔn)確的運(yùn)算檢測，以及通過大量數(shù)據(jù)結(jié)果更加深層次地對人員作業(yè)分布區(qū)域進(jìn)行整合分析，更好地指導(dǎo)起重機(jī)械的安全駕駛。