露天礦山視頻智能后處理系統(tǒng)設計與應用

馬永亮，張博洋，雷 軍

露天礦山視頻智能后處理系統(tǒng)設計與應用

馬永亮1，張博洋2，雷 軍2

(1.江西銅業(yè)集團公司城門山銅礦，江西 九江市 332100；2.北銳人工智能科技有限公司，湖南 長沙 410131)

通過分析現(xiàn)有礦山視頻監(jiān)控系統(tǒng)應用中存在的問題，提出建設視頻智能后處理系統(tǒng)，對設定的異常事件進行自動識別和告警，并提出系統(tǒng)建設的設備組成、層次架構和應用功能，對系統(tǒng)融合進入礦山生產(chǎn)管控系統(tǒng)的閉環(huán)管理提出具體解決方案，各特定異常事件自動識別的算法在銅礦山現(xiàn)場的識別率和應用效果顯著。

露天礦山;視頻智能后處理;深度學習;閉環(huán)管理;邊緣檢測

0 引 言

隨著視頻監(jiān)控技術水平的不斷完善和硬件成本的逐步降低，目前各露天礦山都建立起較為完備的視頻監(jiān)控系統(tǒng)，基本覆蓋生產(chǎn)過程的主要區(qū)域并具備高清晰顯示能力，但是在實際應用中，依然存在以下幾點問題：

（1）監(jiān)控值班人員難以持續(xù)集中注意力，無法及時有效察覺安全威脅；

（2）圖像無法全部顯示，一般采取將重點區(qū)域投放大屏或通用巡視的方式；

（3）數(shù)據(jù)分析困難，監(jiān)控錄像不能有效分類存儲，導致后續(xù)數(shù)據(jù)分析工作非常耗時[1-2]。

深度學習技術的發(fā)展使得計算機圖像的識別能力得到極大提高，目前在人臉識別、行人追蹤、姿態(tài)識別、物體識別等方面得到了較為成熟的應用，將深度學習在圖像識別領域的應用與露天礦山視頻監(jiān)控系統(tǒng)相結合，建設視頻監(jiān)控智能后處理系統(tǒng)是對上述問題的有效解決手段[3]。

本文在原有露天礦山視頻監(jiān)控系統(tǒng)的基礎上，通過搭建分布式視頻處理服務器集群接入監(jiān)控網(wǎng)絡，獲取網(wǎng)絡高清攝像頭視頻流，訓練專用識別模型進行在線分析，對違反安全規(guī)程的人員、關鍵生產(chǎn)設備異常狀態(tài)告警和進出卡口的人員車輛進行記錄，并將告警結果輸入閉環(huán)管控流程，以實現(xiàn)對影響礦區(qū)生產(chǎn)安全事件的快速處理和響應。

1 系統(tǒng)架構和功能設計

1.1 系統(tǒng)組成

露天礦山視頻智能后處理系統(tǒng)主要由各視頻分析服務器和存儲轉發(fā)服務器組成，如圖1所示，所有設備均通過網(wǎng)絡連接，前端連接網(wǎng)絡監(jiān)控攝像頭，后端連接礦生產(chǎn)管理中心。

視頻分析服務器集群由多個視頻分析服務器通過網(wǎng)絡連接組成，可采用集中式和分布式兩種形式，每個服務器連接若干數(shù)量的網(wǎng)絡攝像頭，并部署有視頻采集模塊和相應的算法模塊，對輸入的視頻圖像進行分析，發(fā)現(xiàn)異常情況時生成事件記錄，同時產(chǎn)生截圖和視頻片段。

視頻分析服務器應具備較快的視頻圖像分析處理能力。在滿足實時視頻圖像分析處理要求的同時，需要能夠同時分析和處理更多路輸入視頻。因此，視頻分析服務器需要配置若干塊GPU顯卡以支持需要大規(guī)模數(shù)據(jù)計算的視頻圖像處理，還需要配置較強的CPU，具有較好的多線程并發(fā)能力和較高的主頻。除此之外，較快的硬盤和網(wǎng)絡數(shù)據(jù)交換速度也是視頻分析服務器需要具備的能力[4]。

存儲轉發(fā)服務器由數(shù)據(jù)庫和視頻智能后處理管理系統(tǒng)組成，負責存儲視頻分析服務器推送的事件以及相應的圖片和視頻片段，并將生成的事件通過視頻智能后處理管理系統(tǒng)推送給用戶和礦生產(chǎn)管理中心，用戶通過瀏覽器使用用戶名和密碼登陸管理系統(tǒng)，同時通過托盤小程序接收事件提醒。

各服務器以及服務器與用戶和礦生產(chǎn)管理中心的網(wǎng)絡連接均采用寬帶連接，礦山主干網(wǎng)絡帶寬應在萬兆級，二級單位網(wǎng)絡帶寬應在千兆級，視頻分析服務器和存儲轉發(fā)服務器接入視頻監(jiān)控專網(wǎng)，同時存儲轉發(fā)服務器通過主交換機與辦公網(wǎng)絡連接。

圖1 視頻智能后處理系統(tǒng)組成

1.2 系統(tǒng)架構

系統(tǒng)采用分層架構，共分為4層，如圖2所示，分別是連接層、基礎層、算法層、應用層[5-6]。

圖2 視頻智能后處理系統(tǒng)架構

1.3 系統(tǒng)功能

（1）算法識別內(nèi)容及性能參數(shù)。安全帽識別算法和外來人員識別算法是在人體識別算法基礎上實現(xiàn)的，安全帽識別算法的主要識別內(nèi)容是在采礦場和選礦廠的工作區(qū)內(nèi)，對出現(xiàn)的未按安全規(guī)定佩戴安全帽的人員進行識別，減小意外事件對人的傷害；外來人員識別算法主要應用在排土場等生產(chǎn)工作區(qū)，對出現(xiàn)的未穿戴礦山制式工作服的人員進行識別，避免附近村民在生產(chǎn)工作區(qū)因撿拾礦石而導致安全生產(chǎn)隱患。

皮帶停止和偏移算法是對運送礦石皮帶的實時監(jiān)視，當皮帶停止或發(fā)生明顯偏移時，及時提醒，避免因意外導致的生產(chǎn)終止或設備損壞；人員和車輛檢測是在進出礦區(qū)的卡口處，對進出礦區(qū)的人員車輛進行識別記錄。

各個算法的性能參數(shù)如表1所示。

（2）報警策略。報警在策略選擇上分兩種：提示和告警（見表2）。提示是無明顯風險但需要記錄的事件發(fā)生時采取的動作，主要用于事后梳理、查詢；告警是存在風險且有可能導致危險發(fā)生時采取的動作，主要用于事前警示、預防風險。告警可根據(jù)需要設定不同的級別，采取不同的響應措施。

表2 報警策略對比

1.4 閉環(huán)管理流程

針對需要告警的異常情況，需要采用閉環(huán)管理的方式確保告警得到了響應，閉環(huán)管理的流程如圖3所示。

圖3 閉環(huán)管理流程

整個閉環(huán)管理涉及到兩個循環(huán)，一個循環(huán)在視頻智能后處理系統(tǒng)內(nèi)部，另一個循環(huán)在視頻智能后處理系統(tǒng)與礦生產(chǎn)管控中心之間。前者包含需要處置異常的相應業(yè)務部門，是閉環(huán)管理的“行動”過程；后者加入礦生產(chǎn)管控中心，是閉環(huán)管理的“監(jiān)督”過程。

在異常事件出現(xiàn)后，首先對異常進行識別，生成告警事件，告警事件中含有是否已被響應的信息，一方面根據(jù)告警信息的性質和發(fā)生地點匹配相應的責任單位，另一方面將告警事件發(fā)送至礦管理中心；如果責任單位來響應，則持續(xù)性的發(fā)送告警信息，同時礦管理系統(tǒng)在判斷事件未被響應時，則通過管理系統(tǒng)通知責任單位；如果責任單位已響應，則上報至礦管理系統(tǒng)，管理閉環(huán)，從而實現(xiàn)了視頻智能后處理系統(tǒng)和礦管控系統(tǒng)的有機融合。

2 關鍵識別算法

2.1 基于深度學習的目標檢測與圖像分類算法

深度學習技術是近十年來人工智能領域取得的最重要的突破之一，在計算機視覺、圖像與視頻分析、語音識別、自然語言處理等諸多領域取得了巨大成功。本項目采用深度學習技術來解決安全帽識別、外來人員識別車輛識別等應用需求，基本思路是：采用基于深度學習的目標檢測方法對視頻中出現(xiàn)的人體、安全帽、車輛等目標進行檢測，采用基于深度學習的圖像分類方法進一步對人體圖像進行分類，判斷是否穿著制服，從而識別其是否為外來人員[7]。

對于是否為外來人員的判別，本項目采用基于深度學習的圖像分類方法對人體圖像進行是否穿著制服的分類。本項目設計了用于分類的卷積神經(jīng)網(wǎng)絡，該網(wǎng)絡由若干卷積層、池化層交替堆疊而成，網(wǎng)絡最后幾層為全連接層，最后一層全連接層有兩個節(jié)點，即分別表示穿著制服和未穿制服的兩種類別。采集穿著制服和未穿制服的人體圖像作為數(shù)據(jù)集訓練該分類網(wǎng)絡。

2.2 皮帶運行狀況識別算法

對于皮帶運行狀況的監(jiān)測包括皮帶上有礦石時停止運行的識別以及皮帶上無礦石仍然運行的識別。本項目提出的皮帶運行狀況識別算法分為兩個部分：皮帶上有無礦石的識別與皮帶是否運行的識別。通過對這兩個模塊識別的結果進行組合，就可以完成對皮帶運行狀況的監(jiān)測。

2.3 皮帶偏移識別算法

皮帶運行過程中，所傳送礦石重心位置的變化可能會引起皮帶運動的偏移。本項目通過攝像頭獲取皮帶在轉輪附近運轉的實時視頻，采用智能視頻圖像處理方法對皮帶偏移進行識別。通過研究皮帶偏移在視頻成像中呈現(xiàn)的規(guī)律，可以發(fā)現(xiàn)皮帶偏移最為顯著和最易為識別的特征是皮帶邊緣的運動變化。因此，本項目研發(fā)的皮帶偏移識別算法基本思路是：在轉輪附近選定包含皮帶邊緣的子區(qū)域，在該子區(qū)域內(nèi)進行皮帶邊緣直線的檢測，實時監(jiān)測皮帶邊緣直線的變化，當皮帶邊緣直線的變化大于一定閾值時則認為皮帶運動發(fā)生了偏移。

3 應用案例

江西銅業(yè)集團城門山銅礦于2018年進行數(shù)字化礦山一期建設，更新了原有的礦區(qū)監(jiān)控網(wǎng)絡，組成了以采礦場、選礦廠和綜治保衛(wèi)為視頻匯聚節(jié)點，以數(shù)字高清網(wǎng)絡攝像頭、硬盤錄像機、視頻寬帶專網(wǎng)為基礎的高清數(shù)字化視頻監(jiān)控網(wǎng)絡，基本覆蓋礦區(qū)的關鍵區(qū)域。

由于更新后監(jiān)控網(wǎng)絡擁有接近200個攝像頭，僅依靠人工監(jiān)視的方法顯得力不從心，同時人員也難以保持長時間的注意力集中，因此亟需自動化的監(jiān)控告警方式促使監(jiān)控網(wǎng)絡發(fā)揮效能。經(jīng)過對礦山的監(jiān)控需求分析，共確定了5類自動監(jiān)控識別行為：生產(chǎn)區(qū)未佩戴安全帽、外來人員進入礦區(qū)、皮帶運行停止和偏移、卡口人員出入和卡口車輛出入。

3.1 測試結果

（1）測試內(nèi)容和方式。測試針對每個特定的場景選擇攝像頭，在不同的時間段截取視頻，通過人工計數(shù)事件觸發(fā)數(shù)和系統(tǒng)自動識別事件觸發(fā)數(shù)進行比對，其中，各功能選取的攝像頭數(shù)目和總時長如表3所示，由于攝像頭夜視效果有限，因此僅隨機選取日間光線較好的時間段進行測試。

（2）性能測試結果。經(jīng)過測試，結果見表4。

表3 各功能測試攝像頭數(shù)目和時長

表4 系統(tǒng)測試結果

測試結果顯示，系統(tǒng)的識別率均在85%以上，具有良好的應用效果。

3.2 存在問題

（1）暗光線條件下識別率不高。由于礦山安裝的網(wǎng)絡高清攝像頭僅部分具備簡單的紅外夜視功能，在光線較暗的情況下存在觀察距離近、圖像不清晰和無色彩等問題，由于礦區(qū)不具備大范圍補光的條件，因此導致在夜間暗光線條件下對異常事件難以識別。

（2）室外環(huán)境下光線變化對識別的影響。針對外來人員的識別需要利用人員衣著顏色特征，因此在室外條件下，隨著時段不同，陽光的照射角度和亮度會使得人員衣著顏色在視覺上發(fā)生變化，以江銅集團的工作服為例，在正午陽光條件好的情況下工作服呈深藍色，在晨昏光線較弱時工作服呈藍黑色。此外，當周圍背景反光較強時衣著的顏色也會變深，這些都是影響系統(tǒng)識別的不確定因素。

4 結 論

隨著網(wǎng)絡攝像頭、硬盤錄像機等硬件設備價格的不斷降低以及視頻監(jiān)控系統(tǒng)在礦山的廣泛應用，海量監(jiān)控需求與監(jiān)控人力不足的矛盾日益突出，對于自動化智能化的實現(xiàn)監(jiān)控視頻特定目標和事件識別顯得尤為重要。

近年來，隨著深度學習為代表的人工智能技術迅速發(fā)展，計算機視覺在行業(yè)的應用不斷落地，為實現(xiàn)監(jiān)控視頻的智能后處理系統(tǒng)建設提供了可能。在礦山應用該系統(tǒng)并與生產(chǎn)管理流程相結合，具備以下3點優(yōu)勢：一是充分利用了現(xiàn)有的基礎設施，在成本投入不大的情況下實現(xiàn)較好的效果；二是與生產(chǎn)管理和控制軟件形成閉環(huán)，縮短了中間由人來反應的時間，提高了效率；三是釋放了人力，在提高監(jiān)控效果的同時降低了成本[8]。

隨著技術的不斷進步，計算機視覺與行業(yè)緊密結合的趨勢越來越明顯，隨著該項技術在礦山領域的應用逐步深入，將會在國家節(jié)能減排、產(chǎn)業(yè)升級、智能制造、降本增效等方面發(fā)揮越來越顯著的 作用。

[1] 黃凱奇,陳曉棠,康運鋒,譚鐵牛.智能視頻監(jiān)控技術綜述[J].計算機學報,2015,38(6):1093-1118.

[2] 吳 群,王 田,王漢武,賴永炫,鐘必能,陳永紅.現(xiàn)代智能視頻監(jiān)控研究綜述[J].計算機應用研究,2016,33(6):1601-1606.

[3] 黃鐵軍,鄭 錦,李 波,傅慧源,馬華東,薛向陽,姜育剛,于俊清.多媒體技術研究:2013——面向智能視頻監(jiān)控的視覺感知與處理[J].中國圖象圖形學報,2014,19(11):1539-1562.

[4] 高 云,胡 平.流媒體技術在礦山遠程視頻監(jiān)控系統(tǒng)中的應用[J].金屬礦山,2010,39(9):107-110.

[5] 張立亞.礦山智能視頻分析與預警系統(tǒng)研究[J].工礦自動化,2017, 43(11):16-20.

[6] 王 琨,楊青松,張 民,鄧 帥,王曉鵬.視頻監(jiān)控系統(tǒng)在礦山生產(chǎn)中的應用[J].信息技術,2013,(30):29-30.

[7] 馬鈺錫,譚 勵,董 旭,于重重.面向智能監(jiān)控的行為識別[J].中國圖象圖形學報,2019,24(2):282-290.

[8] 杜素忠,張宇鵬.數(shù)字視頻監(jiān)控系統(tǒng)在海外礦山的應用研究[J].冶金自動化,2018,42(5):7-11.

(2019-07-29)

馬永亮(1983—)，男，四川西昌人，本科，工程師，主要從事電氣自動化、礦山智能化、信息化管理工作，Email: 215634493@qq.com。