基于嵌入式技術(shù)的煤礦井下通信中圖像信號處理方法

張辰宇

(國家能源集團烏海能源公司，內(nèi)蒙古 烏海 016000)

煤礦井下監(jiān)控是煤炭企業(yè)安全管控的重中之重，但礦井內(nèi)巷道較深與地面距離較遠[1]，為其安全管控帶來了一定難度。當代通訊技術(shù)的不斷發(fā)展，使煤礦礦井內(nèi)逐步被通信網(wǎng)絡覆蓋，使監(jiān)控設備遍布整個礦井開采工作面內(nèi)，為煤礦安全管控提供了有效手段，但煤礦井下監(jiān)控視頻圖像受其拍攝環(huán)境以及傳輸條件影響，其視頻圖像信號內(nèi)存在大量的干擾噪聲導致圖像信號缺失[2-3]，其呈現(xiàn)的視頻監(jiān)控畫面不夠真實。針對該類問題，董本志等和田子建等分別提出了圖像信號出路算法，前者利用小波閾算法對煤礦井下視頻圖像進行重建處理[4]，以提升其整體分辨率，后者對煤礦井下視頻圖像進行雙域分解，然后利用二階微分算子去除分解后的煤礦井下視頻圖像內(nèi)所含噪聲[5]，達到其圖像信號處理目的。但這2種方法在實際應用中受圖像一維離散信號和相似性影響，效果不佳。

嵌入式技術(shù)是將某些裝置或者設備以嵌入的形式連接到嵌入式控制面板內(nèi)的技術(shù)[6-7]，其可使終端用戶在不變更固態(tài)硬件情況下擴展終端功能。目前嵌入式技術(shù)被廣泛應用在手機、電子元件開發(fā)等多個領域。在此將嵌入式技術(shù)應用到煤礦井下通信中圖像信號處理過程中，提出基于嵌入技術(shù)的煤礦井下通信中圖像信號處理方法，為煤炭企業(yè)安全生產(chǎn)管控提供技術(shù)支持。

1 中圖像信號處理技術(shù)架構(gòu)和流程

1.1 圖像信號處理技術(shù)架構(gòu)

FPGA(可編程邏輯陣列)具備豐富的布線資源，其內(nèi)置嵌入式RAM、硬核以及可配置邏輯塊等[8]，其可處理數(shù)量較大的圖像采集、展示、存儲和圖像傳輸?shù)炔僮?。DSP(信號處理)芯片內(nèi)置數(shù)字信號處理算法，其負責對數(shù)字信號進行壓縮感知、高分辨率重建等操作[9]。在此本文使用FPGA和DSP嵌入式芯片，設計煤礦井下通信中圖像信號處理方法技術(shù)架構(gòu)，如圖1所示。

圖1 井下通信中圖像信號處理技術(shù)架構(gòu)Fig.1 Technical framework of image signal processing method in underground communication

1.2 圖像信號處理流程

在煤礦井下通信中圖像信號處理方法技術(shù)架構(gòu)內(nèi)，利用圖像采集單元采集煤礦井下視頻圖像信號后，將其傳輸?shù)角度胧紽PGA芯片內(nèi)，F(xiàn)PGA芯片將接收到的煤礦井下視頻圖像信號緩存在SDRAM內(nèi)。

FPGA芯片同時將煤礦井下視頻圖像信號經(jīng)由雙口RAM傳輸?shù)紻SP芯片內(nèi)，該芯片通過啟動圖像信號處理單元內(nèi)的圖像信號處理算法對煤礦井下視頻圖像信號進行壓縮感知、高分辨率重建等操作后，將其傳輸?shù)絊DRAM內(nèi)進行緩存，然后利用FLASH視頻模塊進行對處理后的煤礦井下視頻圖像信號進行動態(tài)編輯后，經(jīng)由雙口RAM回傳到FPGA芯片內(nèi)。

FPGA芯片將處理后的煤礦井下視頻圖像信號存儲到數(shù)據(jù)存儲SD卡和幀存SDRAM內(nèi)后，控制視頻D/A轉(zhuǎn)換器輸出視頻圖像VGA信號，為用戶展示當前處理后礦井下視頻圖像。

2 信號處理相關設備設計

2.1 煤礦井下視頻圖像采集設備

煤礦井下視頻圖像采集單元是實現(xiàn)其圖像信號處理的基礎。使用CCD攝像頭、視頻解碼芯片和FPGA芯片共同協(xié)作實現(xiàn)煤礦井下視頻圖像采集。煤礦井下視頻圖像采集單元結(jié)構(gòu)如圖2所示。

圖2 煤礦井下視頻圖像采集單元結(jié)構(gòu)示意Fig.2 Structure diagram of underground video image acquisition unit in mine

2.2 嵌入式硬件設備硬件選擇

FPGA、雙口RAM、DSP以及CCD攝像頭和視頻解碼芯片均為本文重要嵌入式硬件設備，不同型號的嵌入式硬件設備應用功能上存在一定差異[10-12]，因此嵌入式硬件設備選型極為重要。

2.2.1 FPGA選擇

FPGA選擇EP2C70F896C6N，該FPGA運行電壓為1.2 V，具備高密度的邏輯單元和7萬個左右的LE(載入允許功能)，內(nèi)置嵌入式RAM、512個校驗位和4 096位內(nèi)存塊。該FPGA支持讀寫雙端口，具備嵌入式乘法器[13]，以及若干個高級通用I/O端口。其始終管理電路的局部時鐘網(wǎng)絡傳輸接近400 MHz，4個鎖相環(huán)為FPGA提供時鐘分頻、相移等功能。

2.2.2 RAM選擇

雙口RAM選擇CYPRESS公司生產(chǎn)的CY7C026型，該雙口RAM為靜態(tài)RAM，其存取信息速度不超過25 ns，支持同時存、取數(shù)據(jù)信息[14-15]。雙口RAM的2個端口對應獨立的控制線、數(shù)據(jù)傳輸線以及數(shù)據(jù)傳輸?shù)刂?，通過2個端口可實現(xiàn)該芯片內(nèi)的信息共享。

2.2.3 DSP芯片選擇

DSP芯片是圖像信號處理的主要芯片，在此選擇TMS320VC550型號芯片作為本文應用的主要芯片。該型號芯片價格較低廉[16]，其是該類芯片內(nèi)功耗最低的DSP芯片，運行功耗僅為200 mW。在該DSP芯片上，其指令高速緩存容量為16 KB，該芯片嵌入的DARAM總?cè)萘扛哌_64 KB，ROM則為34 KB。其嵌入2個運算邏輯短語以及若干條數(shù)據(jù)讀總線和寫總線，在其指令周期內(nèi)可運行2次信息的讀寫操作。其外部并行總線數(shù)量為32位，向外傳輸信息速度較快。

2.2.4 CCD攝像頭選擇

CCD攝像頭型號為Y-HM750E，該攝像頭總像素和動態(tài)有效像素均為660萬，內(nèi)置3CCD傳感器和VC高速圖像處理器，拍攝視頻格式為MOV/MPEG-4 AVC/H.264，其拍攝視頻圖像高清規(guī)格為1080P。視頻解碼芯片選擇型號為TVP5150，該型號的視頻解碼芯片具備通用接口，可與不同型號的DSP、FPGA相連，其通過FPGA內(nèi)的I2C總線控制其復位(初始化)，內(nèi)嵌多個通用的預留地質(zhì)數(shù)據(jù)等接口[17]，負責將圖像轉(zhuǎn)換為數(shù)字量。

3 圖像信號處理相關技術(shù)設計

3.1 煤礦井下視頻圖像采集過程

煤礦井下視頻圖像采集單元使用CCD攝像頭拍攝礦井下視頻圖像后，將其發(fā)送到視頻解碼芯片內(nèi)，F(xiàn)PGA芯片利用I2C控制器對視頻解碼芯片進行初始化后，利用視頻解碼芯片將煤礦井下視頻圖像解碼為數(shù)字量(即A/D轉(zhuǎn)換)，并將其傳輸?shù)紽PGA芯片的視頻解碼模塊內(nèi)，該模塊對礦井下視頻圖像數(shù)字量信號進行解碼處理，然后通過Avallon總線和SDRAM控制器將解碼后的煤礦井下視頻圖像數(shù)字量信號保存到SDRAM幀緩沖器內(nèi)進行緩存。上述過程即為煤礦井下視頻圖像采集單元采集煤礦井下視頻圖像信號過程。

3.2 信號處理流程

在嵌入式技術(shù)內(nèi)，嵌入式軟件設計是其不可或缺的組成部分，利用UC/OS-Ⅱ嵌入式操作系統(tǒng)，將圖像信號算法進行模塊化處理，然后通過啟動函數(shù)調(diào)用程序[18]，實現(xiàn)煤礦井下視頻圖像信號的采集和處理，其詳細過程如圖3所示。

圖3 井下視頻圖像信號處理功能流程示意Fig.3 Function flow diagram of video image signal processing in underground

煤礦井下視頻圖像信號處理流程在啟動時，首先，對CCD攝像頭進行初始化并設置其視頻捕獲和顯示驅(qū)動相關參數(shù)后，控制器拍攝煤礦井下視頻圖像；其次，對視頻解碼器進行初始化處理，將CCD攝像頭拍攝的煤礦井下視頻圖像傳輸?shù)匠跏蓟蟮囊曨l解碼器內(nèi)，該解碼器對其進行數(shù)字量信號轉(zhuǎn)換后，啟動DSP調(diào)度程序，利用該程序調(diào)取視頻解碼器內(nèi)煤礦井下視頻圖像數(shù)字量信號；然后，啟動圖像信號壓縮感知算法，對該數(shù)字量信號進行壓縮感知后，使用基于非局部相似性的鄰域嵌入超分辨率圖像重建方法，對其進行重建處理；最后，輸出煤礦井下視頻圖像。

3.3 圖像信號處理算法

煤礦井下視頻圖像信號處理共分為2步，首先利用圖像壓縮感知算法對其進行壓縮感知處理，其次是對壓縮后的圖像信號進行重建，輸出高分辨率的煤礦井下視頻圖像。

3.3.1 數(shù)字量信號壓縮感知處理

煤礦井下視頻圖像經(jīng)過視頻解碼器進行數(shù)字量轉(zhuǎn)換后，其形成一維離散信號，在此使用分段處理的壓縮感知算法對煤礦井下視頻圖像數(shù)字量信號進行轉(zhuǎn)換，使其形成二維圖像信號。令X表示原始的煤礦井下視頻圖像數(shù)字量信號，其數(shù)據(jù)大小為N=p×q，將該圖像信號劃分為若干個大小為B×B的子塊，引入利用正交獨立高斯分布矩陣，對第i個煤礦井下視頻圖像數(shù)字量子塊進行變換后，即可將圖像一維離散信號轉(zhuǎn)換成二維圖像塊信號。

3.3.2 鄰域嵌入超分辨率重建步驟

(1)以上一步壓縮感知后的煤礦井下視頻圖像的二維圖像信號為基礎，首先對其進行去均值處理，以處理后的二維圖像信號的像素值作為特征向量，建立煤礦井下視頻圖像塊信號特征建立訓練集。

(2)Ls、Hs表示低、高分辨率的特征圖像塊訓練集，先對Ls按照大小為2×2進行分塊操作。以其中l(wèi)1小塊為中心，與其相對應的8×8小塊作為匹配塊，使用搜索窗口方法對其進行檢索后，獲得2個圖像塊相對應的像素誤差絕對值和后，以2個8×8圖像塊像素誤差絕對值和最小值為基準，搜索到l1的相似圖像塊。

(3)對l1的相似圖像塊進行特征提取后得到與其相對應的特征向量并對其進行歸一化處理。

(4)依據(jù)歸一化后l1的相似圖像塊特征向量，計算其相似圖像塊的加權(quán)系數(shù)，再使用近鄰搜索算法在Ls內(nèi)搜索K個低分辨率的近鄰圖像塊后，再從Hs內(nèi)搜索K個與其對應的高分辨率圖像塊。

(5)計算K個低分辨率和高分辨率圖像塊的重建權(quán)值系數(shù)，然后對K個低分辨率和高分辨率圖像塊進行線性重組，即可得到具備高分辨率特征的煤礦井下視頻圖像塊。

(6)將重建后的高分辨率煤礦井下高分辨率視頻圖像塊輸入到DSP芯片內(nèi)，其經(jīng)過FLASH視頻模塊動態(tài)編輯后，經(jīng)過DSP芯片存儲和傳輸?shù)紽PGA芯片內(nèi)，通過視頻D/A轉(zhuǎn)換器輸出到用戶端。

將上述圖像信號處理算法以自編程形式寫入到嵌入式DSP芯片內(nèi)，通過啟動芯片驅(qū)動程序即可完成煤礦井下通信中圖像信號處理過程。

4 性能分析與測試

以某大型煤礦礦井為實驗對象，該礦井屬于立井，內(nèi)部有3條井筒，主井直徑約為7 m，深度約為540 m。副井寬約為6.2 m，深度約為503 m。在該礦井內(nèi)配置防爆軸流式通風機3臺、有4條運輸巷道，在運輸巷道內(nèi)有若干臺煤炭運輸車輛和傳送臺。該礦井內(nèi)部結(jié)構(gòu)較為復雜且巷道交錯，為其煤炭開采安全管控增加了難度。應用本文方法對其視頻監(jiān)控圖像進行采集和圖像信號處理，為地面管控部門提供較為真實的煤礦井下作業(yè)現(xiàn)場情況。

4.1 煤礦井下視頻圖像信號采集

使用SignalTapⅡ(嵌入式邏輯分析儀)測試本文方法對煤礦井下視頻圖像信號采集能力。打開SignalTapⅡ軟件后，對嵌入式FPGA控制圖像采集單元采集煤礦井下視頻圖像信號并對該信號進行捕捉，判斷本文方法的采集煤礦井下視頻圖像信號能力，結(jié)果如圖4所示。

圖4 井下視頻圖像信號采集測試結(jié)果Fig.4 Test results of video image signal acquisition

分析圖4可知，本文方法利用FPGA嵌入式芯片控制CCD攝像機采集煤礦井下視頻圖像時的CCD_date、CCD_fval、CCD_mclk和CCD_dsat等傳輸波形均保持平直狀態(tài)，并未發(fā)生中斷情況，其說明本文方法在采集煤礦井下視頻圖像信號能力較好。

4.2 圖像信號壓縮感知測試

使用本文方法在不同下采樣率情況下采集該煤礦井下視頻圖像后，對其進行分塊壓縮處理，以圖像的峰值信噪比作為衡量指標，測試本文方法對煤礦井下視頻圖像信號的壓縮感知能力，結(jié)果見表1。分析表1可知，應用本文方法對煤礦井下視頻圖像信號進行壓縮感知處理后，在不同下采樣率情況下圖像信號的峰值信噪比數(shù)值均較原始圖像得到了提升，其中采樣率數(shù)值越高，其采集的煤礦井下圖像信號進行壓縮感知后的峰值信噪比數(shù)值越高。綜上所述，本文方法可有效對煤礦井下視頻圖像信號進行壓縮感知，提升視頻圖像信號的峰值信噪比數(shù)值，使視頻圖像信號內(nèi)的噪聲得到有效降低。

表1 視頻圖像壓縮感知前后峰值信噪比Tab.1 Peak signal-to-noise ratio before and after compressed sensing of video image

4.3 煤礦井下視頻圖像超分辨率重建測試

以一組煤礦井下視頻圖像信號為實驗對象，以圖像像素密度作為衡量指標，使用本文方法對其進行超分辨率重建，分析本文方法對煤礦井下視頻圖像信號處理能力，結(jié)果如圖5所示。

圖5 井下視頻圖像超分辨率重建效果Fig.5 Super resolution reconstruction effect of underground video image

分析圖5可知，煤礦井下視頻圖像的像素密度隨著其圖像塊的增加而增加。其中在視頻圖像塊為30個之前時，應用本文方法處理后的煤礦井下視頻圖像的像素密度與原始圖像像素密度差值稍大，而隨著圖像塊增加，二者之間像素密度差值逐漸降低。但在相同數(shù)量的圖像塊時，使用本文方法處理后的煤礦井下視頻圖像的像素密度數(shù)值始終較高。綜上所述：本文方法應用后可有效提升煤礦井下視頻圖像的像素密度，使煤礦井下視頻圖像所呈現(xiàn)的細節(jié)更清晰，畫面質(zhì)感更佳。

4.4 圖像信號處理能力測試

為更好地呈現(xiàn)本文方法對煤礦井下視頻圖像信號處理能力，以灰度直方圖形式描述某組煤礦井下視頻圖像信號處理效果，結(jié)果如圖6所示。

圖6 井下視頻圖像信號處理前后灰度值Fig.6 Gray value before and after video image signal processing

分析圖6可知，初始煤礦井下視頻圖像信號的灰度值稍小，其無法呈現(xiàn)煤礦井下畫面特點。而經(jīng)過本文方法對其信號進行處理后，在圖像幀數(shù)相同時的圖像信號灰度值均得到了較大的提升。在圖像幀數(shù)為20時，處理后的圖像信號灰度值由原來的48上升到了73。上述結(jié)果說明，應用本文方法對煤礦井下視頻圖像信號進行處理后，其灰度值得到增強，在實際應用中具備較好的應用效果。

5 結(jié)論

本文研究基于嵌入技術(shù)的煤礦井下通信中圖像信號處理方法，選擇嵌入式FPGA芯片和DSP芯片作為控制芯片和處理芯片，使用該2種芯片共同協(xié)作控制圖像采集單元采集煤礦井下視頻圖像信號，然后啟動處理算法程序?qū)崿F(xiàn)對煤礦井下通信圖像信號的處理。實驗結(jié)果表明，本文方法具備良好的煤礦井下視頻圖像采集能力、視頻圖像信號壓縮感知能力和圖像超高分辨率重建能力，其在煤礦開采管控中具備良好的應用效果。