煤礦用智能視頻偵測圖像傳感器的研究

蔣澤

【摘要】針對現(xiàn)有煤礦部分堆煤、縱撕等傳感器檢測不可靠及視頻圖像數(shù)據(jù)處理應(yīng)用相對較少的實(shí)際情況，提出了視頻偵測圖像傳感器的概念，以高性能視頻采集處理單元為平臺，分析了視頻圖像處理的不同算法的特點(diǎn)，并得出解決煤礦的實(shí)際問題最佳算法，并指出現(xiàn)有煤礦在視頻偵測圖像傳感器的研究方向。

【關(guān)鍵詞】煤礦;圖像處理;傳感器

引言

目前，在礦井生產(chǎn)運(yùn)輸過程中經(jīng)常因堆煤、縱撕[1]等傳感器監(jiān)測不到位而造成皮帶冒煙、皮帶撕裂等問題時有發(fā)生。主要原因是現(xiàn)有堆煤傳感器[2][3]都是基于碰觸檢測方式來實(shí)現(xiàn)對皮帶堆煤檢測，當(dāng)有大的煤塊經(jīng)過，或是有工人誤碰觸時容易發(fā)生誤報(bào)警現(xiàn)象。

而井下作業(yè)人員或車輛非法闖入、滯留井下某些禁止區(qū)域如：井下變電所、炸藥庫、廢棄巷道、井下軌道等，而釀成重大事故的現(xiàn)象時有發(fā)生。由于煤礦井下環(huán)境的特殊性，采用現(xiàn)有的傳感器實(shí)現(xiàn)對人員或車輛闖入、滯留的檢測識別的難度較大。

目前工業(yè)電視系統(tǒng)[4][5]為煤礦安全生產(chǎn)、調(diào)度指揮提供了直觀、方便、可靠的手段，也在各大煤礦安裝到位。但現(xiàn)有的視頻監(jiān)控系統(tǒng)通常需要調(diào)度人員對作業(yè)現(xiàn)場進(jìn)行實(shí)時監(jiān)視，對調(diào)度人員要求較高，并且實(shí)際操作具有很大難度。而通過錄像錄制的視頻圖像所提供的信息是沒有經(jīng)過分析的原始視頻圖像，只能用作事后取證，沒有充分發(fā)揮圖像監(jiān)控的實(shí)時性和主動性[6]。

綜上所述，煤礦現(xiàn)有的視頻圖像處理等功能單一，不具備完整的圖像分析功能，其實(shí)際的數(shù)據(jù)利用率較低，而利用類似的圖像數(shù)據(jù)開發(fā)相應(yīng)的視頻偵測圖像傳感器是有著實(shí)際的應(yīng)用，并能解決煤礦現(xiàn)場的實(shí)際問題。

1.解決思路

本文引入了圖像偵測圖像傳感器的概念，每一個視頻監(jiān)測點(diǎn)就類似一個監(jiān)測傳感器，通過分析視頻畫面中的有效信息：煤流的異常狀態(tài)、煤塊高度、人員或車輛在監(jiān)控畫面的位置，進(jìn)而作出判斷，則可以較好的解決上述存在的問題。

1.1 智能視頻分析介紹及相關(guān)行業(yè)的應(yīng)用

智能視頻分析技術(shù)源自計(jì)算機(jī)視覺（CV，Computer Vision）與人工智能（AI，Artificial Intelligent）的研究[7] [8]，其發(fā)展目標(biāo)在于將圖像與事件描述之間建立一種映射關(guān)系， 使計(jì)算機(jī)從復(fù)雜的視頻圖像中分辯、識別出關(guān)鍵目標(biāo)物體。近年來，智能監(jiān)控技術(shù)在各個行業(yè)中得到了迅速發(fā)展，帶有智能監(jiān)控技術(shù)的產(chǎn)品已在機(jī)場、監(jiān)獄、軍事基地和其他大型基礎(chǔ)設(shè)施的監(jiān)控中得到應(yīng)用。特別是在重要基礎(chǔ)設(shè)施場所中，人員的 “入侵探測”應(yīng)用較為典型，例如：機(jī)場，它的周界太過分散，一個人或者多個人都無法完全監(jiān)控到所有周界。利用視頻分析技術(shù)能夠自動探測在某些特定場所或特定時間內(nèi)進(jìn)入或離開某一區(qū)域的可疑物體。

1.2 煤礦井下圖像分析現(xiàn)狀及可應(yīng)用的場所

雖然地面其它行業(yè)智能圖像識別算法比較成熟[9]，但由于煤礦井下環(huán)境比較惡劣，照度低、粉塵多、濕度大、礦工礦燈對攝像機(jī)易造成致盲現(xiàn)象，現(xiàn)有的圖像識別算法無法直接應(yīng)用到煤礦井下智能視頻識別裝備。需要針對煤礦特殊的環(huán)境研究能夠應(yīng)用于煤礦環(huán)境的視頻圖像分析算法。通過分析視頻中的有效信息如皮帶煤塊高度、人員車輛位置，判斷生產(chǎn)現(xiàn)場是否存在異常，如堆煤、區(qū)域入侵等現(xiàn)象，并根據(jù)不同異常直接進(jìn)行報(bào)警或采取控制措施，彌補(bǔ)部分傳感器的不足[10][11]。

為解決上述問題，提高對井下設(shè)備故障的準(zhǔn)確檢測和杜絕井下作業(yè)人員誤闖禁止區(qū)域，需要研究智能視頻偵測圖像傳感器，通過圖像偵測識別及時對設(shè)備故障和人員非法入侵行為及時報(bào)警并采取相應(yīng)控制措施，協(xié)助作業(yè)人員處理危機(jī)，并最大限度地降低誤報(bào)和漏報(bào)現(xiàn)象，避免事故發(fā)生。

2.主要研究內(nèi)容與方向

2.1 高性能視頻采集處理平臺的搭建

智能視頻偵測平臺（如圖1所示）擬基于TI公司的高性能TMS320DM6437進(jìn)行開發(fā)，TMS320DM6437處理器（簡稱DM6437）以64X+為內(nèi)核，最高600MHz工作主頻，處理性能5600MIPS，高度的靈活性和可編程性，同時外圍集成了非常完整的視頻和網(wǎng)絡(luò)通信等接口，通過MPEG4對視頻流進(jìn)行壓縮實(shí)現(xiàn)數(shù)據(jù)的快速傳輸。此外，針對特定視頻數(shù)據(jù)的預(yù)處理方法以及邊緣檢測、目標(biāo)跟蹤的高效算法保證了系統(tǒng)處理的實(shí)時性與準(zhǔn)確性。

平臺接口及圖像處理性能述如下：

●編碼形式：MPEG4的視頻編碼功能

●接口類：1個視頻輸入接口、1個視頻輸出接口、網(wǎng)絡(luò)接口、1組RS485接口

●實(shí)現(xiàn)待檢測目標(biāo)的檢測、跟蹤以及異常情況報(bào)警

●最大幀率25fps，智能報(bào)警延時<2s

圖1 平臺架構(gòu)圖

2.2 視頻圖像濾波增強(qiáng)算法的研究

煤礦井下圖像清晰度較低，且光斑、粉塵較多。對圖像進(jìn)行分析處理之前，必須對圖像進(jìn)行改善，例如增強(qiáng)圖像中的有用信息，改善圖像的視覺效果，強(qiáng)調(diào)某些感興趣的特征，擴(kuò)大圖像中不同物體特征之間的差別，抑制不感興趣的特征，加強(qiáng)圖像判讀和識別效果，滿足某些特殊分析的需要。 因此可采用光斑去除和圖像增強(qiáng)對其進(jìn)行預(yù)處理。

光斑去除最重要的是提取光斑區(qū)域，檢測光斑采用閾值分割法，目前已有很多經(jīng)典的算法，例如基于最大類間方差（Otsu法）、最大熵、迭代法等多種類型閾值選取方法。我們擬采用最大類間方差法來檢測光斑，最后根據(jù)處理后的圖像效果對此方法進(jìn)行優(yōu)化。

圖像增強(qiáng)可分成兩大類：頻率域法和空間域法。根據(jù)計(jì)算復(fù)雜度和資源的利用率，我們打算采用空間域法。空間域算法中具有代表性的有局部求平均值法和中值濾波（取局部鄰域中的中間像素值）法等，它們可用于去除或減弱噪聲。

2.3 目標(biāo)提取跟蹤識別算法研究及實(shí)現(xiàn)

2.3.1 目標(biāo)檢測

基于預(yù)處理得到辨識度較高的圖像后，接下來進(jìn)行目標(biāo)檢測。為了檢測是否有人員越界，首先要從序列圖像中將變化區(qū)域從背景圖像中提取出來，運(yùn)動前景對象的有效檢測對于對象跟蹤、目標(biāo)分類、行為理解等后期處理至關(guān)重要。

目前，運(yùn)動檢測常用的方法有幀間差分法、背景剪除法、光流法等?；跀z像機(jī)固定，井下光線變化不大等實(shí)際情況，擬采用背景剪除的方法進(jìn)行目標(biāo)檢測。

背景剪除法是一種有效的運(yùn)動對象檢測算法，基本思想是利用背景的參數(shù)模型來近似背景圖像的像素值，將當(dāng)前幀與背景圖像進(jìn)行差分比較實(shí)現(xiàn)對運(yùn)動區(qū)域的檢測，其中區(qū)別較大的像素區(qū)域被認(rèn)為是運(yùn)動區(qū)域，而區(qū)別較小的像素區(qū)域被認(rèn)為是背景區(qū)域。背景剪除法必須要有背景圖像，并且背景圖像必須是隨著光照或外部環(huán)境的變化而實(shí)時更新的，因此背景剪除法的關(guān)鍵是背景建模及其更新。

2.3.2 目標(biāo)跟蹤

在前面的步驟中系統(tǒng)已檢測出感興趣的目標(biāo)，然后進(jìn)行目標(biāo)跟蹤。目標(biāo)跟蹤就是在一個連續(xù)視頻序列中，在每一幀監(jiān)控畫面中找到感興趣的運(yùn)動目標(biāo)（例如，行人，車輛等）。跟蹤可以大致分為以下幾個步驟：

（1）目標(biāo)的有效描述，即提取出這些感興趣目標(biāo)的特征，以作為這些目標(biāo)的描述，為之后的跟蹤和后續(xù)處理提供數(shù)據(jù)支持。

（2）相似性度量計(jì)算。常用的方法有：歐式距離、馬氏距離、棋盤距離、加權(quán)距離、相似系數(shù)、相關(guān)系數(shù)等;

（3）目標(biāo)區(qū)域搜索匹配。如果對場景中出現(xiàn)的所有目標(biāo)都進(jìn)行特征提取、相似性計(jì)算，那么，系統(tǒng)運(yùn)行所耗費(fèi)的計(jì)算量是很大的。所以，通常采用預(yù)測算法對運(yùn)動目標(biāo)可能出現(xiàn)的區(qū)域進(jìn)行估計(jì)，從而減少冗余，加快目標(biāo)跟蹤的速度;常見的預(yù)測算法有：Kalman濾波、粒子濾波、均值漂移。

在此，可采用均值漂移算法進(jìn)行目標(biāo)的跟蹤，因?yàn)榫灯扑惴ǖ螖?shù)少，計(jì)算量小，所以實(shí)時性高的特點(diǎn)。

2.4 井下作業(yè)場所異常檢測的算法研究

2.4.1 煤塊堆積檢測算法

根據(jù)煤礦井下皮帶式輸送機(jī)卸載煤倉或煤倉的檢測和保護(hù)的要求，為防止物料堆積，造成堵塞事故，系統(tǒng)將通過圖像處理的方法對井下皮帶頭落煤處有煤塊堆積的現(xiàn)象進(jìn)行檢測。根據(jù)所采集的視頻，系統(tǒng)擬采用光斑去除和圖像增強(qiáng)的方法對采集的圖像進(jìn)行預(yù)處理。

光斑去除和圖像增強(qiáng)的方法與上文越界檢測算法中圖像預(yù)處理的方法一致。在得到較為清晰的圖像后，本系統(tǒng)擬采用光流法判斷煤塊是否運(yùn)動，因?yàn)楫?dāng)煤塊堆積造成傳送帶靜止時，基于運(yùn)動信息方法可以有效且快速的做出判斷，以便進(jìn)行后續(xù)的堆煤處理。光流法概念源自光流場，當(dāng)運(yùn)動物體的影象在表面上的模式運(yùn)動就是所謂的光流場，是一個二維速度場。而光流法根據(jù)連續(xù)多幀圖像序列，計(jì)算各象素點(diǎn)運(yùn)動的大小和方向，它反映了圖像上每一像點(diǎn)灰度的變化趨勢。它具有不需要背景建模，在無法預(yù)先獲得場景的任何信息的情況下，也能夠檢測出獨(dú)立的運(yùn)動對象的優(yōu)點(diǎn)。

檢測到煤塊停止運(yùn)動后，再通過邊緣算子對皮帶頭的煤塊進(jìn)行邊緣檢測。目前能夠檢測出邊緣的算子有：Roberts Cross算子，Prewitt算子，Sobel算子，Canny算子， Kirsch算子，羅盤算子等。其中，Canny算子（或者這個算子的變體）是最常用的邊緣檢測方法，它適用于不同的場合。它的參數(shù)允許根據(jù)不同實(shí)現(xiàn)的特定要求進(jìn)行調(diào)整以識別不同的邊緣特性。

獲取到煤塊的邊緣信息后，將其投影到二維坐標(biāo)中，通過y軸坐標(biāo)得到煤塊的高度信息，通過選取閾值判斷是否發(fā)生煤塊堆積的情況，并進(jìn)行報(bào)警處理。

2.4.2 皮帶煤塊傳輸檢測算法

判斷皮帶上有無煤塊傳輸也是保證井下工作正常有序的關(guān)鍵。同上述方法類似，仍采用類似的圖像預(yù)處理和運(yùn)動檢測的方法，判斷皮帶是否處于運(yùn)動模式，如果處于運(yùn)動模式，則根據(jù)運(yùn)動區(qū)域的紋理特征來識別是否有煤塊。

當(dāng)發(fā)現(xiàn)皮帶上有煤塊傳輸或無煤塊傳輸時，其運(yùn)動區(qū)域的紋理可以作為一個有效的特征來進(jìn)行判別。目前常用的紋理特征提取方法有：LBP算子，共生矩陣等。根據(jù)提取的運(yùn)動區(qū)域的紋理特征和模板進(jìn)行匹配，即可用于檢測有無煤塊傳輸。

3.視頻偵測圖像傳感器研究方向

通過以上的研究分析其應(yīng)用是可以滿足煤礦的實(shí)際使用要求，所以研究一類基于圖像識別的煤礦用傳感器，即在嵌入式平臺上移植煤礦井下視頻分析算法是有必要的。通過研究，實(shí)現(xiàn)同一平臺多種算法的移植：根據(jù)不同監(jiān)控場所的監(jiān)控需求，移植不同的圖像分析算法，如：在井下危險(xiǎn)場所，移植入侵檢測算法，人員滯留算法;在皮帶頭落煤處移植皮帶堆煤檢測算法;在皮帶下方通過視頻分析實(shí)現(xiàn)皮帶縱撕檢測;煤倉處移植煤位檢測算法等。

采用這種方式有以下優(yōu)點(diǎn)：

（1）由于井下視頻傳輸有一定的延時，采用前端智能的方式，實(shí)現(xiàn)現(xiàn)場報(bào)警，縮短報(bào)警時間;

（2）充分利用煤礦井下已安裝的攝像機(jī)和工業(yè)電視系統(tǒng)：嵌入式視頻分析軟件能夠完成包括目標(biāo)檢測、跟蹤、分類及規(guī)則定義等所有功能，并且選擇嵌入式視頻分析架構(gòu)能將現(xiàn)有的傳統(tǒng)視頻監(jiān)控系統(tǒng)升級為智能視頻監(jiān)控系統(tǒng)，是一種成本低且易于改造的方案，只需在前端攝像機(jī)增加視頻圖像處理設(shè)備便能實(shí)現(xiàn)視頻圖像分析功能。

4.結(jié)語

本文針對煤礦井下一些特殊場合視頻圖像傳感器的實(shí)際應(yīng)用做了一些算法研究，目前煤礦在此方面的應(yīng)用相對較少，而現(xiàn)有大部分煤礦都有視頻圖像監(jiān)測，隨著高清視頻在煤礦應(yīng)用逐步推廣，視頻智能視頻偵測圖像傳感器其發(fā)揮的作用會越來越大，能有效的提高煤礦安全生產(chǎn)和特殊場合的實(shí)際問題。

參考文獻(xiàn)

[1]張安寧，孫宇坤，尹中會.帶式輸送機(jī)防縱撕保護(hù)研究現(xiàn)狀及趨勢[J].煤炭科學(xué)技術(shù)，2007（12）.

[2]蔣志龍，張大女.基于ADXL335的堆煤傳感器的設(shè)計(jì)[J].工礦自動化，2012（08）：87-89.

[3]孫君，崔凱.基于水銀開關(guān)的礦用本安型堆煤傳感器的設(shè)計(jì)[J].工礦自動化，2011（05）：74-75.

[4]王政霏.工業(yè)電視監(jiān)控系統(tǒng)在煤礦工業(yè)的應(yīng)用[J].科技資訊，2006（09）：17.

[5]孫立峰，卜仁斌.工業(yè)電視監(jiān)控系統(tǒng)研究及其在礦井中的應(yīng)用[J].中國高新技術(shù)企業(yè)，2011（04）：130-132.

[6]袁小平，于洪珍，錢建生，陳偉信.圖像處理技術(shù)在煤礦工業(yè)電視系統(tǒng)中的應(yīng)用[J].電視技術(shù)，2001（8）.

[7]李子青.國內(nèi)智能視頻監(jiān)控技術(shù)的發(fā)展[J].智能建筑， 2008（01）.

[8]江擁輝.淺談智能視頻分析系統(tǒng)[J].科技信息，2010（4）.

[9]張家怡.圖像識別的技術(shù)現(xiàn)狀和發(fā)展趨勢[J].電腦知識與技術(shù)，2010（7）.

[10]梁玉偉，楊起，王忠平.智能視頻監(jiān)控在煤礦主井裝卸載系統(tǒng)中的應(yīng)用[J].中小企業(yè)管理與科技（下旬刊），2011（07）.

[11]張圣強(qiáng)，王建軍，丁蕾.選煤廠智能視頻監(jiān)控中的運(yùn)動人體目標(biāo)檢測方法[J].工礦自動化，2011（11）.