基于視頻智能識別的主井卸載口煤流與堵煤監(jiān)測系統(tǒng)

趙建軍 張愛鋒 王 奕 范舒銘

（1.山西鋪龍灣煤業(yè)有限公司；2.山西凌志達煤業(yè)有限公司；3.中國礦業(yè)大學信息與控制工程學院）

煤礦井下經(jīng)常發(fā)生安全事故隱患可分為3類：人的不安全行為、物體（設(shè)備）的不安全狀態(tài)和環(huán)境的不安全因素。按照應(yīng)急第一的原則，優(yōu)先對事件頻發(fā)、后果嚴重、可在后續(xù)溝通的隱患進行智能檢測，通過收集各類隱患樣本，逐步提高隱患識別的種類和檢出率。卸載口篦子堵塞不僅造成資源的浪費，還對井下工作人員造成嚴重的安全威脅。因此，迫切需要一種安全有效的卸載口堵煤情況監(jiān)測方法。

本項目從解決卸載口煤流監(jiān)測、堵煤監(jiān)測2個方面建立以視頻智能分析為基礎(chǔ)的卸載口堵煤監(jiān)測系統(tǒng)。混合高斯背景模型可以有效地識別煤流，以幀差法與背景差分法相結(jié)合的方式，對堵煤量的百分比進行確定；系統(tǒng)的軟件界面采用Microsoft Foundation Class以及OpencV軟件庫作為基礎(chǔ)，在監(jiān)測到堆煤量異常時，輸出報警信號［1-5］。

1 系統(tǒng)框架

本系統(tǒng)以海康攝像頭作為硬件支撐，對卸載口進行實時監(jiān)控，篦子口監(jiān)控模型如圖1所示。

軟件部分可以分為預(yù)處理系統(tǒng)、監(jiān)測系統(tǒng)、集成系統(tǒng)3個部分，系統(tǒng)總體框架如圖2所示。

2 預(yù)處理系統(tǒng)

首先，系統(tǒng)使用OpencV軟件庫對視頻進行視頻幀的提取，為了減少不必要的處理時間，檢測區(qū)域應(yīng)該在原始畫面上進行分隔和提取，在檢測畫面中以一個平行四邊形區(qū)域覆蓋落煤口和篦子口。然后系統(tǒng)對圖像進行灰度化和濾波，繪制區(qū)域的圖像為RGB三通道彩色圖像以達到預(yù)處理的效果。

對該區(qū)域進行灰度化，使其從彩色圖像轉(zhuǎn)換為灰色圖像，對于任何像素，轉(zhuǎn)換公式為

式中，Igray表示灰色圖像的像素；IR表示彩色圖像R（紅色）通道的像素分量；IG表示彩色圖像G（綠色）通道的像素分量；IB表示彩色圖像B（藍色）通道的像素分量。

然后，為了去除圖像中的噪點、塵霧和無關(guān)線條的干擾，需對將灰度圖再進行濾波處理，采用了效果比較穩(wěn)定的均值濾波。均值濾波主要采用鄰域平均法，其操作是將當前要處理的像素，與其最近鄰中的幾個像素組成模板，將模板中所有像素的灰度值進行求平均值操作，再把該均值賦予當前像素點I（x，y），作為處理后圖像在該點上的灰度g（x，y），即

式中，M為模板中像素的總量（包含當前像素）；S為繪制的模板區(qū)域（像素點集合）；I(m,n)為點()m,n處的灰度值（范圍為0～255）。

3 監(jiān)測系統(tǒng)

3.1 煤流監(jiān)測

卸載口篦子煤流監(jiān)測主要通過2個步驟實現(xiàn)，分別為背景建模和差分。在卸載口卸煤時，會有大量的煤流通過，但是篦子是靜止的，所以背景建?？梢院芎玫卦趫D像中識別出煤流。模板匹配是一種初級的圖像識別方法，通過固定的模板對檢測圖像進行一定的運算（通常是邏輯運算），來獲得某物在圖像中的特征，如大小、方位等。本系統(tǒng)通過一定的模板匹配算法來計算煤流。

背景差分法是通過對視頻圖像中時間連續(xù)的幀用已有的背景模板進行匹配，從而檢測當前場景中運動物體狀態(tài)的一種方法。

在連續(xù)視頻運動目標檢測中運用背景差分法時，影響檢測效果最首要的因素是背景圖像的模擬和建模。圖像場景的處理在運動目標檢測算法中是極為重要的一環(huán)，而在實際的作業(yè)環(huán)境中，由于所處場景中的因素并非全部可控，如監(jiān)測鏡頭的抖動、白天與黑夜的光照強度不同、非該場景下的目標物進入該場景、該場景下某些物體的意外位移等，都會對背景的模擬和建模造成困難。

背景差分法在工業(yè)中應(yīng)用的優(yōu)勢主要在于運動目標檢測速度快且易于實現(xiàn)。在實際的應(yīng)用場景下，通常不存在理想的靜止背景，考慮到本系統(tǒng)的具體應(yīng)用場景有光照的變化和監(jiān)測攝像機的移動，所以通常需要背景模型的重建，具體操作是通過設(shè)定不同時間（通常是早、中、晚）內(nèi)的一系列視頻幀來選擇性地更新背景。

在本系統(tǒng)應(yīng)用場景下，在篦子口出煤時，基本只有煤流的流動，所以通過與背景建模的差分法可以很好地在圖像中檢測出煤流及其特征。對于場景中光線昏暗特點的解決，本系統(tǒng)應(yīng)用高斯模型進行建模。單高斯模型對于例如現(xiàn)實世界中水面波動、樹葉晃動的整體偏移的多模態(tài)情形并不適用，通常只能模擬整體背景固定的單一模式。而對于圖像場景的整體偏移，混合高斯模型采用多個單高斯模型來描述移動前后的像素分布情況，從而防止了由于背景整體偏移而將無位移的物體作為運動物體的情況，提高了模型的魯棒性。由于混合高斯模型采用局部分割的方式，可以更好地比較出各個局部之間的細節(jié)差別。在混合高斯模型中，在新的一幀獲得圖像后更新模型，并且圖像中的每一個像素分別由多個單高斯模型描述：

式中，K表示單高斯模型的數(shù)量，基本設(shè)定為3～5個；ui(x,y,t)表示每個模型的均值；σi(x,y,t)2表示每個模型的方差；wi(x,y,t)表示每個模型的權(quán)重，滿足

3.2 堵煤監(jiān)測

主井篦子口可能會由于煤流中摻雜的大煤塊或大石塊而形成堵塞，并造成堆煤。針對此類現(xiàn)象，本系統(tǒng)結(jié)合了幀差法和背景差分法對煤流進行監(jiān)測。在計算面積時，通過具體場景下的實驗，賦予幀差法和背景差分法所得結(jié)果的權(quán)重，之后加權(quán)得出新的檢測結(jié)果，從而在一定程度上減少背景選擇不當和空洞帶來檢測結(jié)果的誤差。相較于單一地使用幀差法或背景差分法進行運動物體的檢測，該算法提高了檢測效果。

在卸煤的過程中，由于本身的物理性質(zhì)，觀察到大型煤塊和石塊相對于正常煤流中細碎的煤粒來說，反光率較高，反映到圖像中特征則是體現(xiàn)在灰度值上。因此，可以對監(jiān)測場景中劃定具體的檢測區(qū)域并對該區(qū)域進行運動目標檢測，之后設(shè)定閾值二值化處理，可以得到大煤塊和大石塊的分布情況。對所得的二值圖像計算劃定區(qū)域中的疑似大煤塊或石塊的像素數(shù)nc和劃定區(qū)域的總像素數(shù)n，兩者可得歸一化比值λs。通過反復(fù)的現(xiàn)場和系統(tǒng)實驗設(shè)定閾值Ts1與Ts2，其中，當λs大于閾值Ts1時，則判斷當前圖像中存在大煤塊或大石塊，當λs大于閾值Ts2(0＜Ts1＜Ts2＜1)時，則判斷有堆煤情況發(fā)生，并發(fā)出警報。

在本系統(tǒng)的具體算法中，首先使用幀差法，將連續(xù)視頻中相鄰兩幀灰度化圖像中的相同位置的像素值相減并取絕對值，得到幀差圖像。之后設(shè)定閾值，并對幀差圖像進行二值化處理，可以得到圖像中的運動物體的掩模圖像。

設(shè)作差的兩幀圖像為第k幀和第k+1幀，對應(yīng)的圖像的矩陣為fk(x,y),fk+1(x,y)；幀差圖像進行二值化的閾值為T；最后得到的掩模圖像用DI(x,y)表示。幀差法的具體公式如下：

遍歷DI(x,y)所有像素，使用幀差法計算煤粒像素數(shù)ncI：

之后使用背景差分法，設(shè)當前幀為fk(x,y)，背景幀為B(x,y)，差分圖像為G(x,y)，差分圖像的二值化閾值為T。背景差分法的具體公式如下：

遍歷DB(x,y)所有像素，計算背景差分法中煤粒像素數(shù)ncB：

之后加權(quán)求相對面積，設(shè)面積系數(shù)為α(0＜α＜1)，則相對面積的計算公式為

式中，n為總像素數(shù)。

在實際的煤流中，煤流的流速比較快，幀差法出現(xiàn)空洞的概率較??；而對于背景差分法，在有煤流經(jīng)過場景下的背景模型選擇困難。當實際場景中無煤流經(jīng)過或者存在大煤塊、大石塊時，背景模型的灰度值集中分布在較高的部分，使用背景差分法的檢測誤差較大。而當煤塊或石塊過大時，相鄰兩幀圖像中的大塊就會有空間上的部分重疊，反映在使用幀差法時就會出現(xiàn)檢測上的空洞。此時，相較于幀差分法，背景差分法更能正確檢測出場景中的運動目標。在具體的應(yīng)用中，無煤塊或石塊的情況遠遠大于出現(xiàn)煤塊或石塊的情況，所以可以增加幀差法在面積計算中的權(quán)重，面積系數(shù)α可設(shè)置為(0.7＜α＜0.9)，且由于權(quán)值的存在，有效分擔了面積計算的誤差。最后，將求得的相對面積λs與經(jīng)過具體場景的實踐檢測而設(shè)定的閾值Ts1,Ts2(0＜Ts1＜Ts2＜1)相比較，輸出結(jié)果：

3.3 OPC UA通信

OPCUA是OPC基金會提供的新一代技術(shù)，其目的是為了實現(xiàn)數(shù)據(jù)或信息由低級工作層到高級決策層的雙向傳輸。通過OPCUA，每個被授權(quán)的人員或應(yīng)用都可以不依賴于原制造廠商的應(yīng)用編程語言和操作系統(tǒng)而在相關(guān)的系統(tǒng)中獲取所需要的的信息。相較于目前已經(jīng)廣泛應(yīng)用的OPC工業(yè)標準，OPCUA提供重要的一些功能補充，包括如平臺的獨立、允許擴展，更高的信息傳輸可靠度和連通互聯(lián)網(wǎng)的能力。本系統(tǒng)通過OPCUA對客戶端與服務(wù)端進行通信，對篦子堵塞的百分比、煤流的百分比以及輔助數(shù)據(jù)（主箕斗的深度信號、副箕斗的深度信號、主箕斗到位信號、副箕斗的到位信號）進行信息交互，使客戶端與服務(wù)端信息同步。

4 集成系統(tǒng)與界面

集成系統(tǒng)以C++編程語言為基礎(chǔ)，通過OpencV3以及Microsoft Foundation Class數(shù)據(jù)庫進行主界面設(shè)置，對卸載口煤流以及堵煤進行實時監(jiān)控并在發(fā)生堵煤時輸出報警信息。除了報警功能外，系統(tǒng)也可對攝像頭的監(jiān)控內(nèi)容進行實時抓拍或錄制，系統(tǒng)主界面如圖3所示。

5 結(jié)語

系統(tǒng)提取視頻幀、描繪ROI范圍，并進行相關(guān)的圖像預(yù)處理，然后使用圖像處理解決了卸載口煤流量監(jiān)測、篦子口堵煤2個問題。針對卸載口煤流量監(jiān)測，混合高斯背景模型可以對其有效識別；針對堵煤監(jiān)測，系統(tǒng)以幀差法與背景差分法相結(jié)合的方式，對堵煤占比進行確定。系統(tǒng)的軟件界面采用Microsoft Foundation Class以及OpencV軟件庫作為基礎(chǔ)，在監(jiān)測到堆煤量異常時，輸出報警信號。本系統(tǒng)在類似智能監(jiān)測項目中具有一定參考價值。