機(jī)器視覺(jué)在斗輪機(jī)無(wú)人值守中的應(yīng)用

文/任斌濤 楊勇

火電廠輸煤系統(tǒng)中，斗輪機(jī)的無(wú)人值守已經(jīng)在個(gè)別電廠初有成效，火電廠來(lái)煤時(shí)，相關(guān)當(dāng)班人員只需在程控室，利用斗輪機(jī)遠(yuǎn)程控制系統(tǒng)，就可將由輸煤皮帶運(yùn)輸來(lái)的煤料，卸載至指定區(qū)域。在該類(lèi)斗輪機(jī)無(wú)人值守控制系統(tǒng)中，首先利用大功率雷達(dá)料位計(jì)，獲取露天煤場(chǎng)的堆煤高度數(shù)據(jù)，并結(jié)合激光盤(pán)煤數(shù)據(jù)，建立煤場(chǎng)3D模型；當(dāng)班人員根據(jù)建立的模型，尋找最優(yōu)堆煤點(diǎn)，并最終將煤料卸載至上述區(qū)域。當(dāng)需要將煤料運(yùn)輸至燃煤鍋爐時(shí)，當(dāng)班人員根據(jù)現(xiàn)場(chǎng)煤堆高度信息，選取適宜的取煤點(diǎn)，并在控制室發(fā)出相應(yīng)指令，完成斗輪機(jī)上煤操作。

上述控制方案雖實(shí)現(xiàn)了斗輪機(jī)遠(yuǎn)程控制，使得工作人員無(wú)需進(jìn)入斗輪機(jī)作業(yè)現(xiàn)場(chǎng)，大大減少了勞動(dòng)強(qiáng)度，但仍未實(shí)現(xiàn)真正的無(wú)人值守。堆煤位置、取煤位置均需人工選擇，同時(shí)也需要工作人員對(duì)煤堆高度信息進(jìn)行實(shí)施監(jiān)測(cè)。因此，如何根據(jù)煤場(chǎng)實(shí)時(shí)三維信息，實(shí)現(xiàn)斗輪機(jī)完全自主選擇堆煤、取煤位置，并智能調(diào)節(jié)斗輪機(jī)運(yùn)行區(qū)間，是本文的研究重點(diǎn)。

隨著人工智能的迅猛發(fā)展，其所包含的機(jī)器視覺(jué)技術(shù)在眾多領(lǐng)域得到大量應(yīng)用，本文將利用機(jī)器視覺(jué)技術(shù)實(shí)現(xiàn)露天煤場(chǎng)煤堆的三維建模，采用邊緣檢測(cè)、圖像矩運(yùn)算等，實(shí)現(xiàn)煤堆輪廓的智能識(shí)別，并結(jié)合基于分水嶺算法的圖像分割技術(shù)，幫助實(shí)現(xiàn)斗輪機(jī)無(wú)人值守。本文利用嵌入式硬件平臺(tái)，設(shè)計(jì)了基于嵌入式PC的上位機(jī)控制軟件。

1 系統(tǒng)總體設(shè)計(jì)

本文采用嵌入式PC作為開(kāi)發(fā)平臺(tái)，采用3D數(shù)字?jǐn)z像機(jī)獲取煤堆圖像信息，并以POE方式將視頻數(shù)據(jù)傳輸至斗輪機(jī)就地控制箱；采用激光掃描器，獲取煤堆外形特征數(shù)據(jù)，輔助機(jī)器視覺(jué)建立準(zhǔn)確煤堆三維模型；控制箱內(nèi)安裝有集成了機(jī)器視覺(jué)相關(guān)算法的嵌入式PC，軟件實(shí)時(shí)監(jiān)測(cè)煤堆形態(tài)特征，計(jì)算最適宜的堆煤、取煤地點(diǎn)；嵌入式PC將最終計(jì)算的有關(guān)位置坐標(biāo)、行走區(qū)間等信息傳輸至斗輪機(jī)PLC控制柜，最終由PLC控制斗輪機(jī)完成自主堆煤、取煤。同時(shí)，斗輪機(jī)就地控制箱可將斗輪機(jī)運(yùn)行的狀態(tài)數(shù)據(jù)通過(guò)無(wú)線網(wǎng)絡(luò)傳輸至程控室上位機(jī)，在實(shí)現(xiàn)了硬件兼容與數(shù)據(jù)共享的同時(shí)，亦可實(shí)現(xiàn)控制室人員遠(yuǎn)控操作。

安裝于斗輪機(jī)懸臂前端的數(shù)字?jǐn)z像機(jī)負(fù)責(zé)采集斗輪機(jī)視野正前方的圖像信息，并將視頻信息壓縮打包，通過(guò)POE方式發(fā)送至斗輪機(jī)就地控制箱；斗輪機(jī)就地控制箱內(nèi)集成的嵌入式PC負(fù)責(zé)實(shí)現(xiàn)有關(guān)機(jī)器視覺(jué)算法的實(shí)現(xiàn)，負(fù)責(zé)檢測(cè)煤堆輪廓、高度等數(shù)據(jù)，建立露天煤場(chǎng)實(shí)時(shí)三維模型，進(jìn)而選取合適的堆煤、取煤位置。此外，該機(jī)器視覺(jué)算法具備人臉識(shí)別功能，當(dāng)有人員意外進(jìn)入作業(yè)區(qū)域時(shí)，可發(fā)出預(yù)警。

安裝于斗輪機(jī)機(jī)載司機(jī)室的PLC控制系統(tǒng)，負(fù)責(zé)斗輪機(jī)的行走、懸臂控制、取煤、卸煤等功能，機(jī)器視覺(jué)單元將計(jì)算所得的位置本文在實(shí)現(xiàn)了斗輪機(jī)無(wú)人值守的同時(shí)，也保留了人工控制的功能，司機(jī)仍然可以通過(guò)手控方式，實(shí)現(xiàn)對(duì)斗輪機(jī)的操作。

本項(xiàng)目同時(shí)利用Canny 邊緣檢測(cè)算子實(shí)現(xiàn)煤堆外輪廓的檢測(cè)。Canny 算子可檢測(cè)露天煤廠中煤堆的實(shí)際邊緣，具有較高識(shí)別精度；Canny 算子對(duì)圖像中邊緣只標(biāo)記一次，不會(huì)把存在的圖像噪聲標(biāo)記成邊緣。

Canny 邊緣檢測(cè)算子的操作步驟如下：

（1）去噪聲：原始視頻會(huì)含有一定的噪聲，本文先利用高斯濾波、中值濾波等手段，將圖像中的噪聲濾除。

（2）梯度計(jì)算：利用導(dǎo)數(shù)算子來(lái)找到圖像灰度沿兩個(gè)方向的導(dǎo)數(shù)。設(shè)點(diǎn)(i, j)處兩個(gè)方向的導(dǎo)數(shù)分別為Gx、Gy，則

則點(diǎn)f(i,j)處的梯度的幅值G和方向θ為：

（3）確定梯度方向：確定了邊緣的方向之后，按照不同梯度方向獲得鄰域內(nèi)的像素。

（4）遍歷圖像：將某個(gè)像素點(diǎn)的灰度值與其梯度方向上的像素作閾值判斷，介于閾值之外的像素，判定該像素點(diǎn)不是邊緣，其灰度值為 0。

（5）計(jì)算雙閾值：設(shè)定高低兩個(gè)閾值，如果某個(gè)像素點(diǎn)的灰度值高于高閾值，則該像素點(diǎn)是邊緣；如果低于低閾值，則該像素點(diǎn)一定不是邊緣。

2 硬件設(shè)計(jì)

本文主要設(shè)計(jì)開(kāi)發(fā)了視頻采集控制器、激光掃描控制器、斗輪機(jī)就地控制箱。

2.1 視頻采集控制器

視頻采集控制器采用STM32微控芯片作為中央處理器，STM32 系列產(chǎn)品基于低功耗的 ARM Cortex-M4處理器內(nèi)核， 內(nèi)部集成SPI、SCI、以外網(wǎng)接口等模塊。其最小系統(tǒng)包括電源電路、JTAG電路、無(wú)線通信擴(kuò)展電路等。其中電源電路采用AMS1117-3.3電源芯片，該芯片可以輸出相應(yīng)電壓供STM32內(nèi)核使用。同時(shí)，高速JTAG電路，可保證代碼燒寫(xiě)以及在線仿真的速度。該視頻采集控制器模塊包含電源轉(zhuǎn)換模塊、數(shù)字高清攝像機(jī)、以太網(wǎng)接口、輔助照明控制單元、無(wú)線通信單元等。其中，電源轉(zhuǎn)換模塊采用金升陽(yáng)ACDC轉(zhuǎn)換模塊，將AC220V轉(zhuǎn)換為DC12V、DC5V，分別給數(shù)字?jǐn)z像機(jī)、STM32主控芯片供電。采集的視頻通過(guò)POE方式傳輸至斗輪機(jī)就地控制箱。

圖1：上位機(jī)畫(huà)面

圖2：程控室畫(huà)面

2.2 激光掃描控制器

斗輪機(jī)機(jī)體外架設(shè)激光探頭，通過(guò)激光器的環(huán)視掃描，獲取煤堆外形數(shù)據(jù)，該控制器包含激光探頭、云臺(tái)、探頭清灰裝置等組成。因煤場(chǎng)在堆煤、取煤作業(yè)時(shí)，揚(yáng)塵嚴(yán)重，斗輪機(jī)在長(zhǎng)期運(yùn)行中，探頭表面的積灰會(huì)導(dǎo)致探頭性能下降，影響了探測(cè)精度。本文設(shè)計(jì)了基于壓縮氣體的氣動(dòng)清灰裝置，同時(shí)加裝清潔刷配合清灰，經(jīng)過(guò)實(shí)際檢驗(yàn)，可完全滿足現(xiàn)場(chǎng)作業(yè)需求。

2.3 斗輪機(jī)就地控制箱

斗輪機(jī)就地控制箱采用嵌入式PC為控制主板，主板移植嵌入式linux操作系統(tǒng)，基于QT5.6.0集成開(kāi)發(fā)環(huán)境開(kāi)發(fā)斗輪機(jī)智能控制軟件。斗輪機(jī)就地控制箱包含斗輪機(jī)行走控制單元、懸臂控制單元、機(jī)器視覺(jué)處理單元、無(wú)線通信單元、以太網(wǎng)通信單元等。斗輪機(jī)行走控制單元包含行走電機(jī)控制器、防碰撞預(yù)警開(kāi)關(guān)、聲光報(bào)警器；懸臂控制單元包含4-20mA模擬輸出通道，用來(lái)給定調(diào)節(jié)懸臂角度和方向；機(jī)器視覺(jué)處理單元集成基于分水嶺法背景差分法等機(jī)器視覺(jué)智能算法，圖像經(jīng)過(guò)濾波，二值化，目標(biāo)識(shí)別與圖像分割，有效識(shí)別煤堆外形以及人員特征。無(wú)線通信單元采用2.4GHzzigbee通信終端，利用RS485接口與嵌入式PC相聯(lián)。同時(shí)，就地控制箱可將運(yùn)行狀態(tài)數(shù)據(jù)回傳至程控室。

3 上位機(jī)軟件設(shè)計(jì)

本文設(shè)計(jì)的基于機(jī)器視覺(jué)的斗輪機(jī)無(wú)人值守控制系統(tǒng)，可自主實(shí)現(xiàn)斗輪機(jī)堆煤、取煤，無(wú)需人工干預(yù)。斗輪機(jī)就地控制箱同時(shí)可將所有運(yùn)行狀態(tài)數(shù)據(jù)傳輸至程控室上位機(jī)，供當(dāng)班人員查看。必要時(shí)，程控室人員可使用最高權(quán)限，人工遠(yuǎn)程操作斗輪機(jī)。本文設(shè)計(jì)了上位機(jī)監(jiān)控軟件，可顯示當(dāng)前斗輪機(jī)位置、斗輪機(jī)前端畫(huà)面、沿線皮帶機(jī)畫(huà)面、斗輪機(jī)全景畫(huà)面等信息。軟件界面如圖1所示，圖2位程控室操作畫(huà)面。

4 小結(jié)

本文提出了基于機(jī)器視覺(jué)的斗輪機(jī)無(wú)人值守控制系統(tǒng)，實(shí)現(xiàn)了機(jī)器視覺(jué)技術(shù)在傳統(tǒng)輸煤系統(tǒng)的應(yīng)用探索，并利用激光掃描等先進(jìn)技術(shù)，建立了煤場(chǎng)三維模型，實(shí)現(xiàn)了煤場(chǎng)的可視化控制，又減少了人工，具有重要社會(huì)和經(jīng)濟(jì)效益。