基于視頻智能識(shí)別的主井扇形門(mén)與堵煤監(jiān)測(cè)系統(tǒng)

游吉 尤楊楊 葉含梅 洪勇 潘本華

摘要：針對(duì)目前主井深指系統(tǒng)無(wú)法監(jiān)測(cè)扇形門(mén)的開(kāi)閉狀態(tài)以及篦子堵煤現(xiàn)象，且緊急情況僅能通過(guò)人工報(bào)警的問(wèn)題，提出一種基于視頻智能識(shí)別的主井扇形門(mén)堵煤監(jiān)測(cè)系統(tǒng)。首先提取視頻幀并且劃定 ROI區(qū)域并作了相關(guān)的圖像預(yù)處理工作，然后針對(duì)扇形門(mén)監(jiān)測(cè)、篦子堵煤兩個(gè)問(wèn)題利用圖像處理方法分別予以解決。為了解決扇形門(mén)開(kāi)閉監(jiān)測(cè)問(wèn)題，采用混合高斯背景模型識(shí)別箕斗扇形門(mén);使用基于標(biāo)準(zhǔn)相關(guān)性系數(shù)的相似度函數(shù)來(lái)進(jìn)行模板匹配。為了解決篦子堵煤監(jiān)測(cè)問(wèn)題，使用幀差法以及背景差分法，從而確定堵煤占比。最后采用 MFC以及 OpencV軟件庫(kù)設(shè)計(jì)了一個(gè)實(shí)際軟件系統(tǒng)界面，在解決上述兩個(gè)問(wèn)題的同時(shí)，抓拍照片或錄制異常視頻，從而輸出報(bào)警信號(hào)。設(shè)計(jì)的主井扇形門(mén)與堵煤監(jiān)測(cè)系統(tǒng)是監(jiān)測(cè)主井系統(tǒng)的必要手段，對(duì)提升主井運(yùn)輸效率以及安全具有重要意義。

關(guān)鍵詞：主井;扇形門(mén);智能識(shí)別

中圖分類(lèi)號(hào)：TP277???????????? 文獻(xiàn)標(biāo)志碼：A??????? 文章編號(hào)：1009-9492（2021）12-0147-04

Monitoring System of Main-shaft Fan Door and Coal Blocking Based on Video Recognition

You Ji1，You Yangyang2，Ye Hanmei1，Hong Yong1， Pan Benhua1

（1. Xintian Coal Mine， Yonggui Energy Development Co.， Ltd.， Bijie， Guizhou 551700， China;2. China University of Mining and Technology， Xuzhou， Jiangsu 221000， China）

Abstract： Aiming at the problem that the deep finger system of the main shaft cannot monitor the opening and closing state of the fan-shaped door and the phenomenon of grate blocking coal， and the emergency can only be alarm by manual， a fan-shaped door blocking coal monitoring system based on video intelligent recognition was proposed. The system firstly extracted video frame and delimited ROI area and did related image preprocessing work， and then used image processing method to solve the two problems of sector door monitoring and grate blocking coal. In order to solve the problem of monitoring the opening and closing of the fan door， the system adopted the mixed Gaussian background model to identify the skip fan door. A similarity function based on standard correlation coefficients was used for template matching. In order to solve the monitoring problem of grate blocking coal， frame difference method and background difference method was used to determine the proportion of blocking coal. Finally， MFC and OpencV software library were used to design a practical software system interface， which could capture photos or record abnormal videos while solving the above two problems， so as to output alarm signals. The main shaft fan-shaped door and coal blocking monitoring system designed is a necessary means to monitor the main shaft system， which has far-reaching and long-term significance to improve the transport efficiency and safety of the main shaft.

Key words： main shaft; fan door; intelligent recognition

0 引言

扇形門(mén)是箕斗上控制煤炭下放的剛性物體。在實(shí)際應(yīng)用中，有時(shí)候會(huì)出現(xiàn)箕斗到達(dá)井口，扇形門(mén)未開(kāi)啟或者開(kāi)啟不及時(shí)的現(xiàn)象，而在關(guān)閉時(shí)，有時(shí)候會(huì)出現(xiàn)扇形門(mén)關(guān)閉異?；蛘哧P(guān)閉不及時(shí)的情況。并且主井下方的篦子上常因?yàn)榇髩K存在而出現(xiàn)篦子堵塞現(xiàn)象。扇形門(mén)的開(kāi)閉異常以及堵煤現(xiàn)象輕則會(huì)使箕斗反復(fù)運(yùn)作，造成煤炭能源的浪費(fèi)，重則會(huì)威脅到在礦井中工作、維護(hù)和檢查的一線工作人員。因此亟需一種安全方式對(duì)主井扇形門(mén)及堵煤進(jìn)行有效監(jiān)測(cè)。

針對(duì)類(lèi)似問(wèn)題，許多觀點(diǎn)嘗試從各種角度切入進(jìn)行解決。有研究者分析了主井提升系統(tǒng)的自動(dòng)裝載的效率與安全性等各個(gè)方面，嘗試從提升系統(tǒng)本身入手解決問(wèn)題[1-5]。也有研究者主要著眼于液壓系統(tǒng)，從卸載液壓制動(dòng)系統(tǒng)方面著手解決問(wèn)題[6-10]。但是上述的解決方法始終逃不過(guò)對(duì)主井系統(tǒng)本身進(jìn)行改造，大大增加了解決成本與風(fēng)險(xiǎn)性。

本文從解決監(jiān)測(cè)扇形門(mén)開(kāi)閉狀態(tài)、堵煤監(jiān)測(cè)兩個(gè)方面建立基于視頻智能識(shí)別的主井扇形門(mén)與堵煤監(jiān)測(cè)系統(tǒng)。使用高斯背景建模及模板匹配有效識(shí)別扇形門(mén)并監(jiān)測(cè)其開(kāi)閉狀態(tài);使用幀差法與背景差分法監(jiān)測(cè)篦子堵煤;最后設(shè)計(jì)了實(shí)際軟件系統(tǒng)界面，將解決上述兩個(gè)問(wèn)題的方法融入系統(tǒng)中，并且輸出報(bào)警信號(hào)。系統(tǒng)依托于現(xiàn)有的主井監(jiān)控設(shè)備，在不增加其他硬件成本的情況下，使用先進(jìn)的視頻處理技術(shù)、目標(biāo)檢測(cè)技術(shù)，減少了硬件成本，大大提高了主井運(yùn)輸效率以及安全性。

1 總體框架

該系統(tǒng)以主井監(jiān)控設(shè)備以及礦下有線網(wǎng)絡(luò)為硬件基礎(chǔ)，確保系統(tǒng)運(yùn)行有效性以及實(shí)時(shí)性的基礎(chǔ)上，大幅降低硬件成本，監(jiān)控設(shè)備安裝圖如圖1所示。軟件部分可以分為預(yù)處理階段、監(jiān)測(cè)階段、集成階段3部分組成，系統(tǒng)框架如圖2所示。

2 預(yù)處理階段

系統(tǒng)首先使用 OpencV軟件庫(kù)提取視頻幀，對(duì)于攝像機(jī)拍攝的每一幀圖像，為了避免在直接進(jìn)行處理時(shí)增加無(wú)用處理時(shí)間，系統(tǒng)對(duì)需要作監(jiān)測(cè)的區(qū)域作了劃分提取。本系統(tǒng)提取了范圍覆蓋落煤口與篦子的一個(gè)矩形區(qū)域并將此區(qū)域作為檢測(cè)區(qū)域，示意圖如圖3所示。

該系統(tǒng)將圖像預(yù)處理分為灰度化以及濾波兩個(gè)步驟進(jìn)行。監(jiān)測(cè)區(qū)域的圖像為三通道 RGB 彩色圖像，首先要對(duì)其進(jìn)行灰度化，將其從彩色圖轉(zhuǎn)換成灰度圖。對(duì)于任一像素點(diǎn) I ，其轉(zhuǎn)換公式為：

得到灰度圖后，為了有效去除圖像中的噪聲或者與監(jiān)測(cè)內(nèi)容無(wú)關(guān)的一些線條干擾，本系統(tǒng)采用均勻?yàn)V波方法。在圖像上目標(biāo)像素規(guī)定一個(gè)固定鄰域的模板，由其近鄰的若干像素組成。首先去求在當(dāng)前像素鄰域中包括本身的所有像素的像素均值，再將此像素均值傳遞給當(dāng)前像素點(diǎn) I（x，y） ，作為其灰度值 g（x，y） ，即：

式中：M 為該鄰域中所有像素的個(gè)數(shù);S 為模板區(qū)域; I（m，n）為點(diǎn)（m， n）處的灰度值。

3 監(jiān)測(cè)階段

3.1 扇形門(mén)監(jiān)測(cè)

扇形門(mén)的監(jiān)測(cè)主要通過(guò)兩個(gè)步驟實(shí)現(xiàn)，分別為背景建模與模板匹配。在井口出煤口，只有箕斗在卸煤時(shí)有上升和下方的動(dòng)作，所以背景建?？梢院芎玫脑趫D像中識(shí)別出箕斗。所謂模板就是一幅已知的正常扇形門(mén)開(kāi)閉。模板匹配就是待檢測(cè)目標(biāo)與模版通過(guò)一定的算法將目標(biāo)進(jìn)行比對(duì)，確定該目標(biāo)同模板是否有相同的尺寸、方向，從而來(lái)判斷斗扇形門(mén)動(dòng)作情況是否正常。

3.1.1 背景建模

背景建模，通過(guò)“學(xué)習(xí)”背景的方式來(lái)區(qū)分前景目標(biāo)和背景模型，將學(xué)習(xí)到的背景模型與下一幀作對(duì)比，其中不變或者變化范圍較小的作為背景，變化較大的作為前景。在井口出煤口，只有箕斗在卸煤時(shí)有上升和下放的動(dòng)作，所以背景建模可以很好地在圖像中識(shí)別出箕斗。而高斯模型可以很好地解決主井工況下光線昏暗等問(wèn)題，所以本系統(tǒng)采用高斯模型進(jìn)行背景建模。下面將介紹高斯背景建模的理論依據(jù)，數(shù)學(xué)模型和實(shí)現(xiàn)步驟。

（1） 單高斯模型

單高斯模型將隨機(jī)過(guò)程應(yīng)用到圖像中每一個(gè)像素點(diǎn)的顏色值，并認(rèn)為該點(diǎn)的像素值屬于高斯分布。單高斯模型的基本原理就是針對(duì)每一個(gè)像素所在位置的求其方

差和均值，并在該位置上設(shè)置一個(gè)高斯模型。如，可設(shè)（x， y）處像素的均值為 u（x， y），方差為σ2（x，y），標(biāo)準(zhǔn)差為σ（x，y）。伴隨著視頻圖像序列的不斷輸入，與此同時(shí)，模型參數(shù)也在進(jìn)行更新，所以在不同時(shí)刻模型參數(shù)也是不一樣的，故不妨將模型參數(shù)表示為3個(gè)變量 x、y、t 的函數(shù)：均值 u（x， y， t）、方差σ2（x，y，t）、標(biāo)準(zhǔn)差σ（x， y， t）。使用單高斯模型進(jìn)行運(yùn)動(dòng)檢測(cè)有如下兩個(gè)步驟：第一步是對(duì)整體模型的初始化，第二步即更新每一個(gè)位置的參數(shù)并且重新記錄。

（2） 混合高斯模型

混合高斯模型每個(gè)像素由多個(gè)單模型描述： P（p）={[wi （x，y，t），ui （x，y，t），σi （x，y，t）2]}，i =1，2， … ，K ，一般在3～5之間選擇K 的值，其表示此混合高斯模型中所加權(quán)的單模型的個(gè)數(shù)， wi （x， y， t）表示每個(gè)模型的權(quán)重，滿足：

單高斯模型僅僅只能描述背景單一的模式，并且在樹(shù)葉晃動(dòng)、水面波動(dòng)等多模態(tài)形式時(shí)極易檢查出錯(cuò)，而混合高斯模型在圖像中心點(diǎn)發(fā)生移動(dòng)時(shí)，采取多個(gè)單高斯模型來(lái)模擬移動(dòng)前和移動(dòng)后的像素分布情況，防止模型將移動(dòng)的物體作為運(yùn)動(dòng)目標(biāo)，而專注于遠(yuǎn)動(dòng)前后的像素表示，從而增強(qiáng)了模型的魯棒性。從理論上來(lái)說(shuō)，混合高斯模型是一種比較實(shí)用的背景建模方式。傳統(tǒng)背景建模的閾值無(wú)論是固定的還是自適應(yīng)的，都屬于有缺陷的分割，這種缺陷是無(wú)論怎樣調(diào)節(jié)參數(shù)都無(wú)法完善的。而混合高斯模型采用局部分割的方式，可以更好的刻畫(huà)出局部之間的細(xì)節(jié)差別，在統(tǒng)計(jì)學(xué)的理論基礎(chǔ)上，更好的區(qū)分細(xì)節(jié)聯(lián)系整體。

3.1.2 模板匹配

模板匹配是一種最原始，最基本的模式識(shí)別方法，也是圖像處理中最基本，最常用的匹配方法。將打開(kāi)正常和關(guān)閉正常的扇形門(mén)圖片作為模板。當(dāng)扇形門(mén)到位時(shí)，將模板與區(qū)域內(nèi)的扇形門(mén)進(jìn)行比對(duì)，從而識(shí)別出當(dāng)前扇形門(mén)開(kāi)閉是否正常。如果異常，觸發(fā)異常警報(bào)，通知工作人員及時(shí)進(jìn)行維護(hù)修理。對(duì)于模板匹配算法來(lái)說(shuō)比較重要的一個(gè)環(huán)節(jié)是選擇合適的相似度函數(shù)來(lái)度量信息。

本系統(tǒng)模板匹配采用的相似函數(shù)為標(biāo)準(zhǔn)相關(guān)性系數(shù)匹配。在主井工況條件下，標(biāo)準(zhǔn)相關(guān)性系數(shù)具有簡(jiǎn)單準(zhǔn)確，計(jì)算速度快以及抗噪聲效果好的特點(diǎn)。所謂標(biāo)準(zhǔn)相關(guān)性系數(shù)匹配，實(shí)際上是先求匹配模板均值的相對(duì)值以及與當(dāng)前圖像均值的相對(duì)值，然后將兩者進(jìn)行匹配，其中1表示效果最好，-1表示效果最差，0 表示沒(méi)有相關(guān)。以8位灰度圖像為例，模板 T（m， n）疊放在被搜索圖 S（W， H）上不斷移動(dòng)，而在模板移動(dòng)到某一位置時(shí)會(huì)覆蓋一部分搜索圖區(qū)域，而那塊區(qū)域叫子圖 Sij ，i、j 為子圖左下角在被搜索圖 S 上的坐標(biāo)，搜索范圍是：1≤i ≤ W - n ，1≤j ≤H - m ?？梢杂孟率胶饬?T 和 Sij 的相似性：

D（i，j）= [Sij（m， n）- T（m， n）]2

將其歸一化，得模板匹配的相關(guān)系數(shù)：

當(dāng)模板和子圖一樣時(shí)，相關(guān)系數(shù) R（i，j）=1，在被搜索圖 S 中完成全部搜索后，找出 R 的最大值 Rmax （im ，jm），其對(duì)應(yīng)的子圖Simjm 即為匹配目標(biāo)。

3.2 堵煤監(jiān)測(cè)

落煤口大煤塊或大石塊可能造成篦子或其他位置堵塞，因此本節(jié)提出了一種改進(jìn)的監(jiān)測(cè)方法。該方法采用幀差法和背景差分法兩種算法分別對(duì)運(yùn)動(dòng)煤塊進(jìn)行監(jiān)測(cè)，然后對(duì)幀差法和背景差分法的監(jiān)測(cè)結(jié)果進(jìn)行加權(quán)結(jié)合，提高檢測(cè)結(jié)果的準(zhǔn)確性。

運(yùn)煤過(guò)程中，由于堵煤相比較于正常的煤沫擁有更高的反射率，所以在圖像中可以觀察到，堆煤存在的區(qū)域總處于灰度值較高的位置。因此是否存在堆煤分布可以對(duì)劃定的 ROI 矩形區(qū)域進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)，并對(duì)所得到的灰度圖進(jìn)行閾值分割也就是所謂的二值化來(lái)獲取。最終得到的結(jié)果是一個(gè)二值圖像，由此本系統(tǒng)提出了一個(gè)相對(duì)面積的概念λs ，λs 計(jì)算的是圖像中煤顆粒像素?cái)?shù) nc 和 ROI 區(qū)域總像素?cái)?shù) n 的比值，當(dāng)λs 大于閾值 Ts 1 時(shí)，判斷當(dāng)前圖像中存在大煤塊，當(dāng)λs 大于閾值 Ts2（0< Ts 1< Ts2<1）時(shí)，判斷可能造成堆煤情況發(fā)生。

3.2.1 分別用幀差法和背景差分法計(jì)算當(dāng)前幀的煤顆粒像素?cái)?shù)

（1） 幀差法

首先將視頻流中前后相連的兩幀圖像或相隔幾幀的兩幀圖像作差，然后對(duì)差值圖像作二值化分割從而獲取運(yùn)動(dòng)區(qū)域。設(shè)差值圖像的幀數(shù)分別是第 k 幀、第 k+1幀，其幀圖像分別為 fk （x， y），fk +1（x， y），設(shè)差值圖像的二值化分割閾值為 T ，差分圖像用 DI （x， y）表示，則此算法可被

遍歷 DI （x，y）內(nèi)的所有像素，計(jì)算在此區(qū)域內(nèi)所有可以作為煤沫的像素?cái)?shù) ncI：

（2） 背景差分法

首先不妨設(shè) fk （x， y）、B（x， y）是監(jiān)測(cè)區(qū)域的當(dāng)前一幀圖像和作為背景的一幀圖像，同樣的設(shè)置圖像二值化分割閾值為 T ，差分圖像用 B（x， y）表示，則背景差分法可被

遍歷 DB （x，y）內(nèi)的所有像素，計(jì)算在此區(qū)域內(nèi)所有可以作為煤沫的像素?cái)?shù) ncB ：

3.2.2 求相對(duì)面積并判斷

由3.2.1節(jié)的結(jié)果可得利用幀差法得到的煤沫像素?cái)?shù)ncI 和利用背景差分法得到的煤沫像素?cái)?shù) ncB ，下面進(jìn)行加權(quán)求相對(duì)面積。設(shè)置面積系數(shù)α（0<α<1） ，則相對(duì)面積計(jì)算方法為：

由于幀差法的空洞概率受煤流速度以及大塊存在的影響，此時(shí)使用背景差分法可以有效監(jiān)測(cè)運(yùn)動(dòng)目標(biāo)。而背景差分法存在背景選擇適宜性的問(wèn)題，當(dāng)選擇的背景幀不存在煤沫或具有大塊，此時(shí)背景幀亮度比較高，會(huì)出現(xiàn)監(jiān)測(cè)失誤，此時(shí)給予幀差法更大的權(quán)重可以有效補(bǔ)足不足之處。所以，對(duì)上述兩種算法進(jìn)行加權(quán)處理，可以各自補(bǔ)足對(duì)方的不足之處，有效分擔(dān)檢測(cè)過(guò)程中的誤差。最后，將求得的相對(duì)面積λs? 與閾值 Ts 1， Ts2（0< Ts 1< Ts2<1）相比較，輸出判斷結(jié)果：

4 集成系統(tǒng)與界面

根據(jù)實(shí)際的功能需求，本系統(tǒng)使用 C++編程語(yǔ)言、 OpencV3以及 MFC 界面控件完成設(shè)計(jì)?？梢愿鶕?jù)需求，對(duì)扇形門(mén)狀態(tài)以及堵煤進(jìn)行實(shí)時(shí)監(jiān)測(cè)并在異常時(shí)輸出報(bào)警信息。同時(shí)也可對(duì)監(jiān)控內(nèi)容進(jìn)行抓拍或錄制。與此同時(shí)，為了實(shí)現(xiàn)在系統(tǒng)內(nèi)對(duì)現(xiàn)有抓拍或錄制的樣本進(jìn)行分析，本系統(tǒng)借助于 OpencV3以及 MFC設(shè)計(jì)了一個(gè)子界面專門(mén)實(shí)現(xiàn)上述功能。用戶可在系統(tǒng)內(nèi)主動(dòng)讀取存儲(chǔ)的抓拍或錄制樣本，并在子界面內(nèi)觀察當(dāng)前樣本的監(jiān)測(cè)情況。若分析樣本為錄制視頻，則可以通過(guò)上方進(jìn)度條控制視頻進(jìn)度，并且可以暫?；虮端俨シ牛蟠筇岣吡讼到y(tǒng)與用戶之間的人機(jī)接口的人性化程度。系統(tǒng)主界面如圖4所示。

5 結(jié)束語(yǔ)

本文首先提取攝像頭拍攝的視頻幀后，劃定 ROI區(qū)域，也即落煤口區(qū)域;之后經(jīng)過(guò)圖像預(yù)處理，壓低噪聲，獲得較高質(zhì)量圖像;通過(guò)背景建模識(shí)別出箕斗形狀并通過(guò)模板匹配判斷扇形門(mén)開(kāi)閉狀態(tài);通過(guò)幀差法與背景差分法監(jiān)測(cè)主井篦子上是否存在堵煤;最后設(shè)計(jì)了一個(gè)軟件界面，實(shí)現(xiàn)上述功能的同時(shí)輸出報(bào)警信息。利用先進(jìn)視頻處理技術(shù)，保證了系統(tǒng)的有效性、實(shí)時(shí)性，在大幅節(jié)省硬件成本的同時(shí)確保其高可靠性，為主井安全生產(chǎn)保駕護(hù)航。

參考文獻(xiàn)：

[1]趙志武，王忠民，王超越.主井自動(dòng)卸載扇形門(mén)箕斗改造經(jīng)驗(yàn)[J].煤礦機(jī)械，2010，31（7）：158-160.

[2]蔣玉松，許培寬.箕斗扇形門(mén)固定軸的改進(jìn)[J].煤炭科學(xué)技術(shù)， 1993（10）：18-19.

[3]王飛.西門(mén)子自動(dòng)化與驅(qū)動(dòng)產(chǎn)品在主井提升機(jī)中的應(yīng)用[J].機(jī)械管理開(kāi)發(fā)，2019，34（6）：229-230.

[4]王新星.城鎮(zhèn)燃?xì)夤芫W(wǎng)優(yōu)化設(shè)計(jì)[J].住宅與房地產(chǎn)，2019（6）：222.

[5]金楠，李曼.箕斗定重裝載稱重方法研究[J].煤礦機(jī)械，2017，38（10）：38-40.

[6]王希澤， 梁福平，王迪，等.箕斗掛鉤閉鎖到位檢測(cè)裝置技改及其應(yīng)用[J].電工技術(shù)，2019（14）：142-143.

[7]黃化柏.礦井提升機(jī)更新改造的技術(shù)經(jīng)濟(jì)分析[J].礦山機(jī)械， 1988（4）：60-64.

[8]王憲朋，王立杰，涂光富，等.某鐵礦主井提升箕斗卸載液壓系統(tǒng)技術(shù)改造實(shí)踐[J].現(xiàn)代礦業(yè)，2019，35（9）：182-184.

[9]王文哲， 劉輝，王彬，等.基于背景建模與特征匹配的工業(yè)煙塵圖像分割方法[J].傳感器與微系統(tǒng)，2018，37（8）：37-39.

[10]魏旭賓，王向軍.基于累積差分圖像和高斯背景統(tǒng)計(jì)模型的煙塵目標(biāo)檢測(cè)[J].宇航計(jì)測(cè)技術(shù)，2007（2）：58-61.

[11]李吉太.蔣莊礦主井箕斗改造簡(jiǎn)介[J].煤礦設(shè)計(jì)，1994（2）：16-18.

[12]孫玉昌.主井井底箕斗減蹾裝置[J].煤礦設(shè)計(jì)，1978（2）：21.

第一作者簡(jiǎn)介：游吉（1994-），男，貴州人，助理工程師，研究領(lǐng)域?yàn)槊旱V機(jī)電。

（編輯：王智圣）