基于計(jì)算機(jī)視覺的礦井頂板事故監(jiān)控系統(tǒng)

劉逆凡，沈嘉韻，包文夏，李晨陽，王志遠(yuǎn)

（廣東東軟學(xué)院，廣東 廣州 528200）

0 引言

多年來，頂板事故造成的社會各方面損失難以估計(jì)。習(xí)總書記也多次在大型會議中強(qiáng)調(diào)安全生產(chǎn)的重要性，由此可見，安全生產(chǎn)對社會的穩(wěn)定發(fā)展是多么重要。計(jì)算機(jī)視覺在礦井頂板事故監(jiān)測技術(shù)中的應(yīng)用研究具有創(chuàng)新性，國內(nèi)外相關(guān)學(xué)者對計(jì)算機(jī)視覺在礦井板頂事故中的研究相對較少，四大數(shù)據(jù)庫收錄的相關(guān)文章也相對較少，研究的方向極具有創(chuàng)新性。做出一套完整的基于計(jì)算機(jī)視覺的礦井頂板事故監(jiān)控系統(tǒng)對未來安全生產(chǎn)的高效率管理的意義將會是重大的。

1 基本思路

計(jì)算機(jī)視覺科學(xué)計(jì)算系統(tǒng)通過軟硬件接口將軟件和硬件連接起來，硬件部分包括中央處理器，存儲器，I/0設(shè)備。針對硬件的開發(fā)采用百度AI大腦、 Arduino開發(fā)套件；軟件部分分為應(yīng)用軟件，軟件接口和數(shù)據(jù)庫三個部分。其中的應(yīng)用軟件采用java桌面應(yīng)用開發(fā)，數(shù)據(jù)庫部分采用本地數(shù)據(jù)庫和云存儲數(shù)據(jù)庫相結(jié)合的方法[1]。接下來將重點(diǎn)針對應(yīng)用開發(fā)中的礦井頂板圖像處理系統(tǒng)，礦井頂板圖像識別系統(tǒng)，頂板事故圖像分析系統(tǒng)和Python自動化管理后臺四部分進(jìn)行詳細(xì)介紹。對于產(chǎn)品的設(shè)計(jì)利用3D Max軟件，基于PC系統(tǒng)，設(shè)計(jì)出數(shù)據(jù)采集儀器的外觀模型，并進(jìn)行三維模型渲染。為設(shè)計(jì)模型“小盯“（寓意為一雙眼睛時刻盯著頂板的變化）。

目前大多數(shù)的礦井頂板監(jiān)測系統(tǒng)以傳感器測量技術(shù)為主，傳感器技術(shù)的更新速度較慢，可靠性差，性能和功能不足，并且沒有成像技術(shù)，如果用礦井工人的肉眼進(jìn)行觀察誤差會相對較大，與國外的智能化水平相差較大。因此研究更為科學(xué)的數(shù)據(jù)采集儀器更為重要，本項(xiàng)目數(shù)據(jù)科學(xué)采集儀器對礦井頂板數(shù)據(jù)進(jìn)行數(shù)據(jù)采集，數(shù)據(jù)科學(xué)采集儀器對礦井頂板數(shù)據(jù)進(jìn)行數(shù)據(jù)采集，AI智能頂板圖像采集儀對頂板的進(jìn)行圖像數(shù)據(jù)采集，Arduino頂板結(jié)構(gòu)傳感器中的力敏傳感器、溫濕度傳感器對頂板與煤巖層各部位的受力和地下巷道的溫濕度進(jìn)行檢測[2]。

（1）礦井頂板圖像處理系統(tǒng)：去噪處理：通過礦井頂板圖像處理系統(tǒng)進(jìn)行視覺增強(qiáng)處理，比如我們常說的圖像濾波處理，高斯濾波作為一種線性濾波器，以中心位置為標(biāo)準(zhǔn)，其他位置根據(jù)距離的遠(yuǎn)近，越遠(yuǎn)濾波系數(shù)權(quán)重越低；增強(qiáng)處理：通過礦井頂板圖像處理系統(tǒng)進(jìn)行視覺增強(qiáng)處理，進(jìn)行圖像的對比度增強(qiáng)處理，使圖像更加的立體，更加具有層次感；圖像分割：常見的分割又分為實(shí)例分割和語義分割,實(shí)例分割主用來分別出哪些是頂板，哪些是煤巖層，哪些是開采設(shè)備，類似于分類；而語義分割是對同類事物進(jìn)行像素分割，可以明確的對每一塊頂板進(jìn)行識別，判斷其狀態(tài)，構(gòu)建出更好的事故預(yù)測模型；三維重構(gòu)：將計(jì)算機(jī)視覺和計(jì)算機(jī)圖形學(xué)的知識相結(jié)合，對頂板圖像進(jìn)行三維重構(gòu)，相對于二維圖像信息，三維圖像的立體感更強(qiáng)，更清晰。MVE多視圖環(huán)境是用于基于圖像的幾何重構(gòu)的完整的端到端管道的實(shí)現(xiàn)。它具有動感結(jié)構(gòu)，多視圖立體聲和曲面重建功能[3]。

（2）頂板圖像識別系統(tǒng)：YOLO-V5是目前國際上運(yùn)用較為廣泛的開源目標(biāo)檢測算法，該算法不僅文件權(quán)重比較小，可以搭載在配置更低的文件上，并且相對于大多數(shù)目標(biāo)檢測器或同類模型算法效果更好，速度更快。

圖1 YOLO-V5模型運(yùn)行效果圖

（3）礦井頂板圖像分析系統(tǒng)：一般來說我們會首先檢測定位畫面中的頂板，然后在對頂板進(jìn)行關(guān)鍵點(diǎn)分析，通常會選用18個關(guān)鍵點(diǎn)，對應(yīng)頂板重要的結(jié)構(gòu)部位，用關(guān)鍵點(diǎn)的細(xì)微變化來預(yù)測出頂板的變化趨勢，及時的發(fā)出警報，避免事故的發(fā)生。

（4）頂板事故圖像檢索系統(tǒng)：構(gòu)建一個基于深度學(xué)習(xí)的頂板事故圖像檢索系統(tǒng)，首先我們需要一組能夠接收科學(xué)數(shù)據(jù)采集儀器采集的頂板圖像和各項(xiàng)傳感數(shù)據(jù)，并及時將檢索結(jié)果反饋給管理人員的前端界面。一個能提取頂板圖像特征，與頂板事故圖像特征索引庫進(jìn)行特征匹配并返回結(jié)果的后端系統(tǒng)。然后通過Java的Spring [web應(yīng)用框架]將前端和后端連接起來。

（5）Python自動化管理后臺：利用純Python的GUI自動化工具PyAutoGUI，使得程序自主操控鍵盤和鼠標(biāo)，實(shí)現(xiàn)人員和頂板事故統(tǒng)計(jì)的自動化管理，前端界面主要由layui框架進(jìn)行搭建。

（6）數(shù)據(jù)采集儀器采集到的數(shù)據(jù)通過總線串口上傳到計(jì)算機(jī)系統(tǒng)，然后對數(shù)據(jù)進(jìn)行處理，將處理后的數(shù)據(jù)存儲到系統(tǒng)的數(shù)據(jù)庫，最后通過可視化的方法呈現(xiàn)[4]。為了是分析更加全面，同時通過開源的Python發(fā)行版本Anaconda導(dǎo)入數(shù)據(jù)，pandas.numpy數(shù)據(jù)處理庫對礦井頂板和煤巖層的圖像，溫濕度，受力等傳感數(shù)據(jù)進(jìn)行數(shù)據(jù)處理;最后再通過可視化庫對處理后的數(shù)據(jù)進(jìn)行可視化。

圖2 頂板數(shù)據(jù)可視化平臺

2 行業(yè)狀況

由于目前地下礦井成像系統(tǒng)和傳輸介質(zhì)的不完善，圖像在其形成、傳輸記錄過程中往往會受到多種噪聲的干擾，極大降低了圖像質(zhì)量，影響圖像分類分割和圖像識別等后繼工作。煤炭企業(yè)會定時組織相關(guān)的專家對頂板的結(jié)構(gòu)進(jìn)行檢查，但是人為檢測的人力管理成本較高，受主觀因素影響，精度一般，效率低，速度慢。并且不適合惡劣的環(huán)境。計(jì)算機(jī)視覺檢測就不同，成本低，一次性投入，精度高，速度快，效率高和適合惡劣危險的環(huán)境的接。利用計(jì)算機(jī)視覺圖像分析系統(tǒng)中的邊緣檢測可以將新老頂板、煤巖層和開采頂板支架的分界線識別出來，是檢測的更便捷，成本更低。

3 項(xiàng)目應(yīng)用價值及轉(zhuǎn)換前景

根據(jù)《中華人民共和國安全生產(chǎn)法》中的法律：對發(fā)生一般事故、較大事故、重大事故、特別重大事故的分別處一年收入30%、40%、60%、80%的罰款。

煤炭行業(yè)的國企年利潤高達(dá)千億元，按照最低的處罰標(biāo)準(zhǔn)，一次煤礦事故將會造成上百億元的處罰。與此同時相應(yīng)的集團(tuán)負(fù)責(zé)人，礦區(qū)負(fù)責(zé)人等都會受到處罰。一套好的頂板事故監(jiān)測系統(tǒng)，能夠降低安全生產(chǎn)事故給企業(yè)帶來的損失，更有效的促進(jìn)企業(yè)利潤增長的可持續(xù)，促進(jìn)地方經(jīng)濟(jì)和國家經(jīng)濟(jì)的發(fā)展[5]。

4 結(jié)語

項(xiàng)目采用文獻(xiàn)調(diào)查法、觀察法、實(shí)驗(yàn)法和比較研究法等調(diào)查方法，通過科學(xué)數(shù)據(jù)采集儀器對礦井地下工作面頂板和煤巖層的圖像和傳感信息進(jìn)行數(shù)據(jù)采集，通過計(jì)算機(jī)視覺科學(xué)計(jì)算系統(tǒng)對圖像進(jìn)行處理，分析和理解，來對事故進(jìn)行預(yù)測和實(shí)時處理，將損失降到最低。