(中車永濟(jì)電機(jī)有限公司,山西 永濟(jì) 044500)
目前,企業(yè)的監(jiān)控系統(tǒng)已覆蓋廠區(qū)內(nèi)部重點(diǎn)生產(chǎn)區(qū)域和行政辦公區(qū)域,主要采用人員7×24小時(shí)的緊盯監(jiān)控屏幕的傳統(tǒng)監(jiān)控模式,存在如下方面的幾個(gè)問題[1-2]:
1)監(jiān)控人員的注意力不能長(zhǎng)時(shí)間集中,面對(duì)海量的監(jiān)控視頻,監(jiān)控人員難以萬無一失的審查每個(gè)視頻的每個(gè)細(xì)節(jié),容易因個(gè)人疏忽而錯(cuò)過將事故消除在萌芽階段的機(jī)會(huì),甚至因此導(dǎo)致企業(yè)蒙受損失;
2)數(shù)據(jù)分析困難,傳統(tǒng)視頻監(jiān)控系統(tǒng)缺乏智能因素,視頻數(shù)據(jù)無法被有效的分類存儲(chǔ),最多只能打上時(shí)間標(biāo)簽,導(dǎo)致數(shù)據(jù)分析工作費(fèi)時(shí)費(fèi)力,并難以迅速有效獲取用戶感興趣的相關(guān)信息[3];
3)被動(dòng)監(jiān)控,目前的視頻監(jiān)控系統(tǒng)僅起到一個(gè)“錄像”的工作,多數(shù)情況都是在事故已經(jīng)發(fā)生之后,通過視頻回放調(diào)閱的方式進(jìn)行事后的查驗(yàn),但此時(shí)損失和影響已經(jīng)造成,無法挽回[3-4];
本文提出一種基于策略的廠區(qū)安全與監(jiān)控系統(tǒng),通過硬件采集終端、軟件管理平臺(tái)和安全監(jiān)測(cè)策略的組合方式[5-6],實(shí)現(xiàn)對(duì)廠區(qū)內(nèi)部關(guān)鍵區(qū)域的權(quán)限管控、危險(xiǎn)識(shí)別、異常預(yù)警、報(bào)警轉(zhuǎn)發(fā)等功能,將傳統(tǒng)監(jiān)控系統(tǒng)的“被動(dòng)監(jiān)控”模式提升為行為可智能識(shí)別和預(yù)警的“主動(dòng)監(jiān)控”模式[7-8]。
系統(tǒng)采用B/S+硬件終端的系統(tǒng)架構(gòu),系統(tǒng)總體結(jié)構(gòu)如圖1所示,
圖1 系統(tǒng)架構(gòu)設(shè)計(jì)
在應(yīng)用方面,系統(tǒng)提供基于PC客戶端操作方式和基于便攜式移動(dòng)終端的兩種操作方式。
系統(tǒng)將安全策略以服務(wù)的形式進(jìn)行封裝和調(diào)用,采用開放的平臺(tái)架構(gòu),實(shí)現(xiàn)提供符合標(biāo)準(zhǔn)接口的服務(wù)的擴(kuò)展,針對(duì)目前的系統(tǒng)需求,系統(tǒng)在感知層只需網(wǎng)絡(luò)閘機(jī)和智能攝像頭實(shí)現(xiàn)權(quán)限管控和視頻信息采集。
基于策略的廠區(qū)安全與監(jiān)控管理系統(tǒng)阿是以硬件終端聯(lián)網(wǎng)為基礎(chǔ),以智能視頻分析為核心,以多種類型的大數(shù)據(jù)倉(cāng)庫(kù)為存儲(chǔ),以遠(yuǎn)程授權(quán)、告警聯(lián)動(dòng)等多種業(yè)務(wù)功能的綜合監(jiān)控平臺(tái)。
對(duì)于車間、辦公區(qū)域等需要管控的進(jìn)出入口,提供網(wǎng)絡(luò)閘機(jī)的遠(yuǎn)程授權(quán)和放行管控,管理員將權(quán)限規(guī)則(任務(wù)班組信息、角色、職責(zé)等)信息遠(yuǎn)程下發(fā)到相應(yīng)的閘機(jī)終端(包括區(qū)域權(quán)限、時(shí)間段權(quán)限),授權(quán)人員可刷卡進(jìn)入相應(yīng)的區(qū)域。
對(duì)于廠區(qū)內(nèi)部重點(diǎn)區(qū)域,提供基于視頻分析的異常行為監(jiān)控,通過計(jì)算機(jī)視覺技術(shù)、人體識(shí)別技術(shù)和人工智能技術(shù),實(shí)現(xiàn)特定區(qū)域、特定時(shí)間段自動(dòng)監(jiān)控,自動(dòng)分析視頻圖像數(shù)據(jù),識(shí)別出人體運(yùn)動(dòng)目標(biāo)所做出的不同行為,并且分類出可疑人物、危險(xiǎn)行為、突發(fā)事件異常發(fā)生,再及時(shí)準(zhǔn)確的通知相關(guān)人員。
圖2 系統(tǒng)工作原理
系統(tǒng)工作原理如圖2所示,本系統(tǒng)在部署過程中包括車間、廠區(qū)關(guān)鍵區(qū)域、信息中心、管理人員辦公樓等環(huán)境。
1)企業(yè)車間入口分為人員進(jìn)出通道(人門)和車輛物資進(jìn)出通道(車門),在人門入口部署門禁系統(tǒng),以從MES系統(tǒng)中獲取的排產(chǎn)計(jì)劃為基礎(chǔ),進(jìn)行車間人門通行權(quán)限的下發(fā);人門入口視頻監(jiān)控配置安全帽檢查策略,對(duì)進(jìn)入車間人員是否佩戴安全帽進(jìn)行檢查和告警;
2)廠區(qū)關(guān)鍵區(qū)域進(jìn)行智能視頻監(jiān)控,對(duì)于倉(cāng)庫(kù)等關(guān)鍵區(qū)域配置人員滯留、徘徊安全檢查策略,對(duì)于供配電等危險(xiǎn)區(qū)域配置人員入侵(越界)檢測(cè)策略;
3)信息中心部署數(shù)據(jù)服務(wù)器和視頻處理服務(wù)器;
4)管理人員辦公室部署客戶端;
5)對(duì)移動(dòng)人員和廠外人員部署終端軟件;
系統(tǒng)硬件選用市場(chǎng)成熟的標(biāo)準(zhǔn)件,無須定制加工,系統(tǒng)硬件選型要求如下,
系統(tǒng)采用全自動(dòng)剪式門翼閘,門禁閘機(jī)部署在車間大門(人門),通過車間局域網(wǎng)與系統(tǒng)進(jìn)行數(shù)據(jù)通訊,網(wǎng)絡(luò)閘機(jī)選型主要技術(shù)指標(biāo)如表1所示。
表1 全自動(dòng)剪式門翼閘技術(shù)參數(shù)
系統(tǒng)采用支持紅外補(bǔ)光的高分辨率網(wǎng)絡(luò)式相機(jī),攝像頭部署在車間大門(人門)和廠區(qū)內(nèi)部關(guān)鍵區(qū)域,網(wǎng)絡(luò)攝像頭通過車間局域網(wǎng)與系統(tǒng)進(jìn)行數(shù)據(jù)通訊,智能攝像頭選型主要技術(shù)指標(biāo)如表2所示。
基于策略的廠區(qū)安全與監(jiān)控管理系統(tǒng)軟件平臺(tái)組成如圖3所示。
系統(tǒng)整體上由PC客戶端平臺(tái)和移動(dòng)終端平臺(tái)組成,其中PC客戶端主要負(fù)責(zé)權(quán)限規(guī)則制定、權(quán)限下發(fā)、視頻采集、存儲(chǔ)與分析和告警與轉(zhuǎn)發(fā)功能,對(duì)于移動(dòng)終端平臺(tái)使用人員,提供用戶認(rèn)證、權(quán)限視頻監(jiān)控和告警查看功能。
PC客戶端平臺(tái)面向廠區(qū)內(nèi)部人員使用,以企業(yè)廠區(qū)和車間局域網(wǎng)為通信基礎(chǔ),面向不同權(quán)限的人員提供不同的功能服務(wù)。
表2 高清網(wǎng)絡(luò)智能攝像機(jī)參數(shù)
圖3 系統(tǒng)軟件平臺(tái)功能組成
3.1.1 任務(wù)管理
廠區(qū)安全與監(jiān)控管理系統(tǒng)以生產(chǎn)任務(wù)為主線,通過生產(chǎn)任務(wù)與班組信息的關(guān)聯(lián),實(shí)現(xiàn)人員門禁權(quán)限的批量動(dòng)態(tài)分配,任務(wù)信息支持從現(xiàn)有系統(tǒng)中同步、支持外部數(shù)據(jù)導(dǎo)入、支持在系統(tǒng)中創(chuàng)建。
3.1.2 設(shè)備管理
在廠區(qū)環(huán)境中,針對(duì)重點(diǎn)監(jiān)控區(qū)域,采用網(wǎng)絡(luò)相機(jī)進(jìn)行安全狀態(tài)的監(jiān)控,并結(jié)合相關(guān)視頻處理算法,對(duì)非法入侵、滯留、不規(guī)范操作等進(jìn)行智能識(shí)別與實(shí)時(shí)上報(bào)。
1)門禁管理,實(shí)現(xiàn)對(duì)廠區(qū)內(nèi)部門禁設(shè)備的增加、編輯、刪除和授權(quán)操作,系統(tǒng)面向管理員角色,主要提供包括,門禁授權(quán)(人員、時(shí)間段)、實(shí)時(shí)監(jiān)控、出入記錄查詢統(tǒng)計(jì)、異常報(bào)警和遠(yuǎn)程放行的功能。
圖4 門禁管理工作流程
2)視頻監(jiān)控管理,視頻監(jiān)控管理功能模塊實(shí)現(xiàn)對(duì)廠區(qū)內(nèi)部重點(diǎn)區(qū)域進(jìn)行全面監(jiān)控與實(shí)時(shí)分析,包括視頻信號(hào)采集、存儲(chǔ)與展示、實(shí)時(shí)視頻流數(shù)據(jù)分析、視頻數(shù)據(jù)標(biāo)簽化存檔和回放、視頻數(shù)據(jù)查詢與統(tǒng)計(jì)等功能。
3)安全策略管理,系統(tǒng)以算法組件的方式提供安全策略,包括入侵、徘徊、滯留、倒地等安全策略,后期可擴(kuò)展標(biāo)準(zhǔn)接口的安全策略。
安全策略主要采用圖像識(shí)別和人員行為分析技術(shù),系統(tǒng)通過對(duì)智能攝像頭采集的視頻流幀數(shù)據(jù)的數(shù)字化處理、特征值提取,通過特征值與行為模型匹配,進(jìn)行行為認(rèn)定。
圖5 圖像識(shí)別和行為分析
1)人員入侵檢測(cè)策略,入侵檢測(cè)包括進(jìn)入禁區(qū)檢測(cè)和越線檢測(cè),進(jìn)入?yún)^(qū)域檢測(cè)針對(duì)預(yù)定區(qū)域進(jìn)行檢測(cè),可設(shè)定警戒區(qū)域(區(qū)域大小、出入方向均可設(shè)),若目標(biāo)出入該區(qū)域,服務(wù)器可立即檢測(cè)識(shí)別并實(shí)時(shí)報(bào)警,檢測(cè)時(shí)間也可以由用戶設(shè)定;越線檢測(cè)策略在服務(wù)器上設(shè)置一條或多條虛擬折線,設(shè)定越線方向后,任何符合該規(guī)則的越線目標(biāo)可被檢測(cè)到并觸發(fā)實(shí)時(shí)報(bào)警;
2)人員徘徊、滯留檢測(cè)策略,徘徊、滯留檢測(cè)策略即探測(cè)在禁停區(qū)域逗留的目標(biāo)是否超過用戶設(shè)定時(shí)間并觸發(fā)報(bào)警,當(dāng)人員在警戒區(qū)內(nèi)滯留超過用戶自定義的時(shí)間時(shí)產(chǎn)生報(bào)警,滯留的判別不受人員在警戒區(qū)內(nèi)的行為影響。
3)人員佩戴安全帽檢測(cè)策略,系統(tǒng)自動(dòng)識(shí)別人員是否佩戴安全帽。
4)人員倒地檢測(cè)策略,對(duì)在布防時(shí)間段內(nèi),規(guī)則區(qū)域內(nèi)的倒地行為進(jìn)行目標(biāo)產(chǎn)生報(bào)警。
3.1.3 報(bào)警管理
報(bào)警管理,實(shí)現(xiàn)對(duì)報(bào)警的查看、轉(zhuǎn)發(fā)、歷史報(bào)警信息日志管理, 報(bào)警數(shù)據(jù)包括:報(bào)警類型、報(bào)警拍照和報(bào)警短視頻。
1)報(bào)警查看,用戶可查看當(dāng)前的報(bào)警信息,報(bào)警信息包括報(bào)警類型(入侵、滯留、徘徊等)、截圖和報(bào)警時(shí)間段視頻,可直接查看報(bào)警監(jiān)控區(qū)域視頻信息;
2)報(bào)警轉(zhuǎn)發(fā),報(bào)警轉(zhuǎn)發(fā)和聯(lián)動(dòng)規(guī)則的定義,在中心監(jiān)控管理軟件設(shè)置下,統(tǒng)一快速接收現(xiàn)場(chǎng)監(jiān)控發(fā)送的報(bào)警信息并轉(zhuǎn)發(fā)給指定的客戶端,為所有系統(tǒng)管理的監(jiān)控設(shè)備提供報(bào)警接收轉(zhuǎn)發(fā)服務(wù)和遠(yuǎn)程報(bào)警服務(wù);
3)報(bào)警信息管理,對(duì)歷史報(bào)警信息的記錄、分類、查詢、查看和數(shù)據(jù)導(dǎo)出標(biāo)準(zhǔn)格式的功能。
3.1.4 系統(tǒng)管理
系統(tǒng)管理,實(shí)現(xiàn)對(duì)人員、部門、權(quán)限、角色、系統(tǒng)日志的管理。
實(shí)現(xiàn)人員信息、部門信息、角色信息的同步、導(dǎo)入、新增、編輯、刪除的功能。
實(shí)現(xiàn)為角色分配權(quán)限的功能,根據(jù)不同角色分配不同權(quán)限,人員同角色對(duì)應(yīng)。
實(shí)現(xiàn)系統(tǒng)日志的自動(dòng)記錄、查詢、導(dǎo)出、清空、刪除等操作。
授權(quán)用戶可通過移動(dòng)視頻監(jiān)控系統(tǒng)隨時(shí)隨地調(diào)取車間視頻監(jiān)控信息,對(duì)車間生產(chǎn)過程和車間關(guān)鍵區(qū)域進(jìn)行視頻監(jiān)控。
1)用戶登錄,用戶憑借用戶名和密碼進(jìn)行登錄操作;
2)視頻遠(yuǎn)程監(jiān)控,用戶登錄系統(tǒng)后,可進(jìn)行視頻遠(yuǎn)程監(jiān)控,終端系統(tǒng)根據(jù)登錄用戶的權(quán)限,查看相關(guān)區(qū)域視頻信息;
3)圖形抓拍,用戶監(jiān)控過程中,可通過移動(dòng)終端進(jìn)行視頻圖形的抓拍操作;
4)報(bào)警查看,區(qū)域監(jiān)控預(yù)警信息可發(fā)送到移動(dòng)終端,預(yù)警信息包括,報(bào)警類型、截圖、預(yù)警時(shí)間段視頻。
行為識(shí)別是憑借攝像頭采集的數(shù)據(jù)、根據(jù)觀測(cè)的場(chǎng)景條件,將某一動(dòng)作變化識(shí)別成具體行為的過程,行為識(shí)別就是將圖像序列標(biāo)注為某類行為模式的過程[5]。
本系統(tǒng)行為異常安全策略采用通過綜合分析運(yùn)動(dòng)軌跡和區(qū)域光流特征兩種特征變量,在多種環(huán)境下對(duì)異常行為進(jìn)行識(shí)別。異常行為識(shí)別方法流程如圖6所示。
圖6 人體異常行為識(shí)別流程
基于運(yùn)動(dòng)軌跡的識(shí)別過程,通過判斷目標(biāo)中心點(diǎn)軌跡曲線是否為閉合或者螺旋狀。如果運(yùn)動(dòng)軌跡不閉合且不呈螺旋狀,則說明目標(biāo)在正常行進(jìn)。反之,則目標(biāo)處于徘徊狀態(tài),需要通過對(duì)區(qū)域光流特征進(jìn)行分析,進(jìn)一步判斷是否發(fā)生昇常行為[7]。
圖7 螺旋軌跡曲線及識(shí)別原理圖
求出目標(biāo)運(yùn)動(dòng)軌跡的中心點(diǎn)(xz,yz),以(x0,y0)坐標(biāo)原點(diǎn),將運(yùn)動(dòng)區(qū)域平均分為8個(gè)子區(qū)域,依次判斷(x0,y0),(x1,y1),…,(xn-1,yn-1),(xn,yn)出現(xiàn)的區(qū)域。當(dāng)目標(biāo)軌跡中的各個(gè)位置點(diǎn)出現(xiàn)在各區(qū)域內(nèi)的概率相似時(shí),則可以判定目標(biāo)是在圍繞一個(gè)特定點(diǎn)運(yùn)動(dòng),即目標(biāo)處于近似徘徊狀態(tài),需要進(jìn)一步判別是否為異常行為,運(yùn)動(dòng)軌跡分析法識(shí)別人體異常行為流程如下,
1)計(jì)算目標(biāo)的中心點(diǎn)(xz,yz);
2)設(shè)坐標(biāo)原點(diǎn)(x0,y0),通過坐標(biāo)軸和兩條穿過原點(diǎn)的直線將目標(biāo)運(yùn)動(dòng)區(qū)域平均分成8個(gè)區(qū)域,每個(gè)區(qū)域的度區(qū)間相同;
3)計(jì)算點(diǎn)(x0,y0),(x1,y1),…,(xn-1,yn-1),(xn,yn)出現(xiàn)在哪個(gè)子區(qū)域中,
4)通過步驟3)的統(tǒng)計(jì)結(jié)果,判斷目標(biāo)軌跡是否呈螺旋曲線狀態(tài),如果判定目標(biāo)軌跡的各個(gè)位置點(diǎn)在各個(gè)區(qū)域內(nèi)分布概率相同,則目標(biāo)處于徘徊狀態(tài),需要利用區(qū)域流光特性做進(jìn)一步的識(shí)別。
目標(biāo)在視頻中進(jìn)行的運(yùn)動(dòng),可以看作是視頻序列中各個(gè)像素點(diǎn)運(yùn)動(dòng)的集合,所謂的光流就是對(duì)像素運(yùn)動(dòng)過程的一種描述。當(dāng)目標(biāo)進(jìn)行移動(dòng)時(shí),圖像中的像素會(huì)產(chǎn)生位移,從而形成速度矢量,這種速度矢量就是目標(biāo)像素的光流,而這些矢量的集合就是光流場(chǎng)。
假設(shè)相鄰的兩幀視頻圖像,基于光流場(chǎng)的亮度不變,即假定像素點(diǎn)在時(shí)刻t+δt運(yùn)動(dòng)到(x+δx,y+δy)位置,亮度保持不變,設(shè)I(x,y,t)代表圖像I中某一像素,則可以得到表達(dá)式:
I(x,y,t)=I(x+δt,y+δt,t+δt)
由于一般情況下亮度沿空間坐標(biāo)和時(shí)間軸的變化是線性連續(xù)的,所有可以通過泰勒級(jí)數(shù)展開法進(jìn)行變形,可以得到:
忽略高階項(xiàng),兩邊同時(shí)對(duì)δt求導(dǎo),得出光流的約束方程。
Ixu+Iyv= -It
為了檢測(cè)出人體的異常行為,如搏斗、破壞等。這些行為發(fā)生時(shí),人的動(dòng)作速度快,而且方向雜亂,區(qū)域光流持征幅值強(qiáng)度大,且和運(yùn)動(dòng)方向不一致。因此,選擇基于幅值加權(quán)的方向直方圖,對(duì)區(qū)域內(nèi)的光流特征描述。以此來判別目標(biāo)是處于正常的徘徊狀態(tài),還是發(fā)生了搏斗、破壞等異常行為。
以企業(yè)廠區(qū)車間人員進(jìn)出通道(人門)和倉(cāng)庫(kù)存儲(chǔ)貴重金屬的區(qū)域?yàn)樵圏c(diǎn),在人門配置網(wǎng)絡(luò)閘機(jī)和智能攝像頭,管理人員將車間生產(chǎn)任務(wù)排產(chǎn)信息(班組信息)從MES系統(tǒng)中導(dǎo)出,通過系統(tǒng)遠(yuǎn)程下發(fā)到網(wǎng)絡(luò)閘機(jī),進(jìn)行人員生產(chǎn)時(shí)間段的出入管控,對(duì)智能攝像頭配置人員安全帽佩戴檢查策略,進(jìn)行安全監(jiān)控,對(duì)于倉(cāng)庫(kù)貴重件數(shù)區(qū)域,對(duì)智能攝像頭配置人員入侵、人員徘徊、滯留安全策略,進(jìn)行重點(diǎn)區(qū)域的監(jiān)控、自動(dòng)告警轉(zhuǎn)發(fā)。
通過測(cè)試,車間人門處的網(wǎng)絡(luò)閘機(jī)可對(duì)當(dāng)前時(shí)間段有生產(chǎn)任務(wù)的生產(chǎn)員工憑借工作IC卡刷卡方式進(jìn)行正常放行(閘機(jī)識(shí)別率可達(dá)100%),對(duì)其他未授權(quán)人員進(jìn)行阻止。
通過人門攝像頭配置的安全帽檢查策略,可對(duì)生產(chǎn)人員安全帽是否佩戴行為進(jìn)行監(jiān)控和告警(對(duì)于單獨(dú)個(gè)人安全帽檢查識(shí)別率可達(dá)100%,對(duì)于群體檢查識(shí)別率可達(dá)95%)。
圖8 安全帽檢測(cè)試驗(yàn)結(jié)果展示
通過測(cè)試,對(duì)于倉(cāng)庫(kù)存放貴重金屬的終點(diǎn)區(qū)域,通過配置的人員入侵、徘徊、滯留安全策略,可對(duì)特定時(shí)間段,進(jìn)入?yún)^(qū)域的人員動(dòng)作進(jìn)行實(shí)時(shí)監(jiān)控和危險(xiǎn)動(dòng)作預(yù)警(區(qū)域人員入侵識(shí)別率可達(dá)100%)。
以企業(yè)現(xiàn)有的硬件為基礎(chǔ),通過對(duì)廠區(qū)不同區(qū)域配置不同的安全策略算法,基于策略的廠區(qū)安全與監(jiān)控系統(tǒng)實(shí)現(xiàn)了廠區(qū)重點(diǎn)區(qū)域的權(quán)限管控和智能監(jiān)控,將現(xiàn)有的“被動(dòng)監(jiān)控”模式提升為“主動(dòng)監(jiān)控”模式,將事后查詢提升為事前預(yù)警,系統(tǒng)以服務(wù)插件方式進(jìn)行安全策略的管理,后續(xù)可快速進(jìn)行安全策略的擴(kuò)展。
圖9 區(qū)域入侵檢測(cè)試驗(yàn)結(jié)果展示