基于線結(jié)構(gòu)光的天輪偏擺監(jiān)測機(jī)器視覺系統(tǒng)設(shè)計(jì)

李 瑤，涂興子，吳 娟，陳華新，朱麗鵬 ，寇子明

(1.太原理工大學(xué) 機(jī)械與運(yùn)載工程學(xué)院，山西 太原 030024； 2.礦山流體控制國家地方聯(lián)合工程實(shí)驗(yàn)室，山西 太原 030024； 3.平頂山天安煤業(yè)有限公司，河南 平頂山 467000)

深井提升系統(tǒng)中的天輪在運(yùn)行工作中，長時(shí)間頻繁使用且所承受的重載力較大。在這樣交復(fù)的重載荷下，天輪會出現(xiàn)偏擺過大的故障，嚴(yán)重時(shí)會導(dǎo)致重大生產(chǎn)安全事故[1]。目前，大部分通過檢修工人的肉眼觀察和聽有無異響來完成天輪的巡檢，大多是經(jīng)驗(yàn)判斷所得，會有很大的誤差[2]。同時(shí)，國內(nèi)外學(xué)者大多數(shù)通過安裝傳感器的方法對天輪進(jìn)行偏擺監(jiān)測，但天輪是轉(zhuǎn)動運(yùn)動體，因此會存在安裝位置不合理，破壞天輪結(jié)構(gòu)等問題，從而使得測量結(jié)果誤差較大，可靠性低[3]。

線結(jié)構(gòu)[4]光測量方法與其他非接觸測量方法相比，它具有較強(qiáng)的抗干擾能力、信號處理可靠，測量范圍寬，高效率、維護(hù)方便等優(yōu)勢。該線結(jié)構(gòu)光視覺測量系統(tǒng)具有較好的柔性、速度快、非接觸、量程大、精度高等特點(diǎn)，在自動控制、快速設(shè)計(jì)產(chǎn)品以及控制加工質(zhì)量等方面應(yīng)用廣泛。對于測量物體表面形狀、獲取空間位置信息以及獲取三維運(yùn)動信息，線結(jié)構(gòu)光測量已成為一種有效測量方法[5]。

因此，本文提出了基于線結(jié)構(gòu)光的機(jī)器視覺非接觸式天輪偏擺實(shí)時(shí)監(jiān)測方案，非接觸式測量的方法避免了天輪本身安裝傳感器不合適的困難，并且操作簡單、安裝設(shè)備方便、精度高。本系統(tǒng)能及時(shí)地了解和掌握天輪的運(yùn)行狀態(tài)，對保證深井提升系統(tǒng)人員安全和生產(chǎn)安全具有重要的意義。

1 監(jiān)測系統(tǒng)方案設(shè)計(jì)及測量流程

1.1 方案設(shè)計(jì)原理

基于線結(jié)構(gòu)光的非接觸式測量方法的原理如下：線激光器發(fā)射激光，照射在物體表面上，會形成線結(jié)構(gòu)光光條圖像，含有物體的位置信息[6]，如圖1所示。圖像由攝像機(jī)拍攝，可以得到圖像中結(jié)構(gòu)光條紋點(diǎn)的像素坐標(biāo)，通過坐標(biāo)變換將它轉(zhuǎn)換為特定參考坐標(biāo)系下的坐標(biāo)。然后將不同位置下的結(jié)構(gòu)光光條紋中特征點(diǎn)進(jìn)行坐標(biāo)比較，來獲得待測物體的偏擺振動位移。

圖1 測量原理圖

1.2 監(jiān)測系統(tǒng)方案測量流程

線激光非接觸式測量方法流程如圖2所示：首先在非接觸式測量系統(tǒng)上進(jìn)行系統(tǒng)標(biāo)定，系統(tǒng)標(biāo)定指相機(jī)與結(jié)構(gòu)光光平面的標(biāo)定。相機(jī)與結(jié)構(gòu)光光平面的標(biāo)定主要是指求解出相機(jī)與光平面的內(nèi)、外參數(shù)矩陣以及畸變參數(shù)矩陣[7]。然后對拍攝到激光器發(fā)射出的激光圖像進(jìn)行激光提取，并對激光平面進(jìn)行最小二乘法擬合得到光平面方程。

系統(tǒng)標(biāo)定需要使用實(shí)驗(yàn)平臺和靶標(biāo)圖像(通常使用棋盤格)，拍攝多幅不同位置下含有線結(jié)構(gòu)光的棋盤格圖像，對激光條紋進(jìn)行圖像激光提取處理以得到激光光條的中心線，同時(shí)獲得激光光條中心線上點(diǎn)的像素坐標(biāo)。經(jīng)過坐標(biāo)轉(zhuǎn)換之后，得到在相機(jī)坐標(biāo)系下中心線上點(diǎn)的相機(jī)坐標(biāo)，運(yùn)用最小二乘法對這些點(diǎn)相機(jī)坐標(biāo)進(jìn)行擬合得到結(jié)構(gòu)光平面的光平面方程。完成系統(tǒng)的標(biāo)定后，多次拍攝待測物體的線結(jié)構(gòu)光圖像，基于標(biāo)定參數(shù)和光條像素坐標(biāo)，經(jīng)過轉(zhuǎn)換，得到不同光條圖像中相同特征點(diǎn)對應(yīng)的世界坐標(biāo)，對世界坐標(biāo)進(jìn)行比較來獲取待測物體的偏擺振動位移。

圖2 方案測量流程圖

2 相機(jī)與結(jié)構(gòu)光光平面標(biāo)定

相機(jī)標(biāo)定是機(jī)器視覺領(lǐng)域一項(xiàng)重要的算法，是人類在視覺領(lǐng)域深入研究的基礎(chǔ)算法[8]。相機(jī)標(biāo)定的目標(biāo)就是要將相機(jī)的內(nèi)外參數(shù)矩陣A、R、t計(jì)算出來，相機(jī)的內(nèi)外參數(shù)矩陣是像素坐標(biāo)轉(zhuǎn)換世界坐標(biāo)所必要的參數(shù)矩陣，內(nèi)外參數(shù)矩陣的精度也就是標(biāo)定的精度決定了非接觸測量精度。像素坐標(biāo)與世界坐標(biāo)的轉(zhuǎn)換關(guān)系為：

相機(jī)與結(jié)構(gòu)光光平面的標(biāo)定方法是通過標(biāo)定板來標(biāo)定的一種二維平面標(biāo)定法，與相機(jī)標(biāo)定方法相似。首先通過攝像機(jī)從不同角度下采集包含有靶標(biāo)與光條的圖像，然后通過Matlab軟件自帶的相機(jī)標(biāo)定模塊將圖像中的特征點(diǎn)提取出來，再計(jì)算出特征點(diǎn)在像素坐標(biāo)系下與世界坐標(biāo)系下對應(yīng)的數(shù)學(xué)關(guān)系[9]，并且每幅圖像都存在類似的約束關(guān)系如圖3所示，最后計(jì)算出對應(yīng)的參數(shù)矩陣完成相機(jī)與結(jié)構(gòu)光光平面的標(biāo)定[5]。

圖3 線結(jié)構(gòu)光與攝像機(jī)、圖像坐標(biāo)系

本文應(yīng)用張正友標(biāo)定法進(jìn)行標(biāo)定[10]，將打印的棋盤格作為靶標(biāo)圖像貼在硬紙板上，固定相機(jī)和激光器的位置，移動標(biāo)定板，不考慮運(yùn)動的參數(shù)，具體操作步驟如下：

1)打印棋盤格，平整地將棋盤格貼在硬紙板平面上，以此當(dāng)作標(biāo)定板，同時(shí)保證各個(gè)角點(diǎn)清晰。

2)多次調(diào)整標(biāo)定板，通過攝像機(jī)拍攝包含有靶標(biāo)與光條圖像，本文采集了14幅圖像進(jìn)行標(biāo)定。

3)對多幅靶標(biāo)圖像通過Matlab軟件自帶的相機(jī)標(biāo)定模塊檢測與提取特征點(diǎn)。如圖4所示，為標(biāo)定時(shí)相機(jī)與標(biāo)定板的相對位置。

4)通過Matlab軟件求解光平面標(biāo)定的內(nèi)外參數(shù)矩陣。

圖4 相機(jī)標(biāo)定位置圖

3 結(jié)構(gòu)光圖像處理與光平面方程擬合

3.1 結(jié)構(gòu)光圖像處理

在采集結(jié)構(gòu)光光條圖像的過程中，通常因?yàn)橹車尘?、外部環(huán)境等原因會帶來干擾噪聲[11]。為了便于獲取結(jié)構(gòu)光光條圖像，本文會對攝像機(jī)拍攝的激光照射的天輪圖像中的結(jié)構(gòu)光光條圖像進(jìn)行圖層平面提取、激光提取等處理。

彩色圖像通常由紅色平面(Red)、綠色平面(Green)、藍(lán)色平面(Blue)三組RGB圖像組成[12]。本文運(yùn)用的圖層平面提取算法是一種顏色平面抽取算法，可以在彩色圖像(如圖5所示)中提取到三個(gè)不同的顏色平面如圖6所示，運(yùn)行算法后得到的是灰度平面。然后對灰度圖進(jìn)行激光提取處理，將圖像中的其他背景去掉，只留下結(jié)構(gòu)光圖像，如圖6(a)所示。

圖5 原圖

圖6 提取圖

3.2 結(jié)構(gòu)光光平面方程的擬合

靶標(biāo)與結(jié)構(gòu)光如圖7所示，將相機(jī)與激光器固定位置之后，光平面方程的參數(shù)值是固定不變。通過相機(jī)拍攝含有靶標(biāo)與結(jié)構(gòu)光光條的圖像，光條直線就是結(jié)構(gòu)光光平面與靶標(biāo)平面相交所得的，通過移動靶標(biāo)拍攝不同位置下的圖像，得到多條結(jié)構(gòu)光平面上的光條直線。

圖7 靶標(biāo)與結(jié)構(gòu)光

運(yùn)用Matlab自動提取像素點(diǎn)程序拾取光條直線上的特征點(diǎn)，將其像素坐標(biāo)通過標(biāo)定的內(nèi)參數(shù)轉(zhuǎn)換成在相機(jī)坐標(biāo)系下的坐標(biāo)，進(jìn)而擬合求得光平面方程aX+bY+cZ+d=0。像素坐標(biāo)與相機(jī)坐標(biāo)的轉(zhuǎn)換關(guān)系為：

擬合的光平面與特征點(diǎn)的位置分布如圖8所示。

圖8 光平面與特征點(diǎn)位置圖

4 驗(yàn)證方案

使用以上算法，將結(jié)構(gòu)光光平面上兩點(diǎn)像素坐標(biāo)轉(zhuǎn)換為世界坐標(biāo)，并且計(jì)算兩點(diǎn)坐標(biāo)之間的差值，該差值應(yīng)與兩點(diǎn)的真實(shí)距離相同，將世界坐標(biāo)系下兩點(diǎn)之間的計(jì)算距離與其真實(shí)距離進(jìn)行對比，誤差大小即為測量精度，線結(jié)構(gòu)光圖像與其上兩點(diǎn)如圖9所示。以圖9為例，對圖像光條上的A、B兩點(diǎn)進(jìn)行驗(yàn)證，方法如下：

圖9 線結(jié)構(gòu)光圖像與其上兩點(diǎn)

1)將靶標(biāo)位于多個(gè)不同位置，拍攝多幅含有激光光條的圖像。

2)用上述算法標(biāo)定求解的內(nèi)外參數(shù)矩陣和光平面方程，隨機(jī)選取A與B兩個(gè)像素點(diǎn)，將A像素點(diǎn)(ua，va)和B像素點(diǎn)(ub，vb)分別代入所得的光平面方程：aX+bY+cZ+d=0以及內(nèi)參數(shù)矩陣方程中，其中，A為攝像機(jī)的內(nèi)參矩陣，聯(lián)立方程計(jì)算出相機(jī)坐標(biāo)系下的坐標(biāo)：

3)應(yīng)用上面計(jì)算得到的相機(jī)坐標(biāo)系下的坐標(biāo)和標(biāo)定求解的外參矩陣，將A、B像素點(diǎn)在世界坐標(biāo)系下的對應(yīng)坐標(biāo)點(diǎn)Aw、Bw求出來。

4)將Aw、Bw兩點(diǎn)間的距離算出來，和測量的實(shí)際距離進(jìn)行對比。經(jīng)過多次拍攝、計(jì)算和測量，將不同距離的五組點(diǎn)的計(jì)算值與實(shí)際值進(jìn)行對比，獲得誤差結(jié)果見表1。

表1 誤差驗(yàn)證結(jié)果

5 Labview軟件平臺搭建

天輪機(jī)器視覺監(jiān)測系統(tǒng)軟件是在Labview平臺創(chuàng)建的。上文研究了圖像處理算法，確定了監(jiān)測系統(tǒng)圖像處理算法以及測量方法，同時(shí)對被測天輪進(jìn)行了參數(shù)設(shè)定和程序設(shè)計(jì)。以下基于編寫調(diào)試好的圖像處理算法進(jìn)行天輪監(jiān)測系統(tǒng)軟件的搭建。

5.1 軟件需求與功能模塊設(shè)計(jì)

本文設(shè)計(jì)的機(jī)器視覺監(jiān)測系統(tǒng)軟件的目的就是對深井提升系統(tǒng)中的天輪的偏擺進(jìn)行計(jì)算，所以監(jiān)測軟件要實(shí)現(xiàn)如下的功能：①遠(yuǎn)程操控相機(jī)，實(shí)現(xiàn)啟動相機(jī)、采集圖像和關(guān)閉相機(jī)等操作；②傳輸、保存和顯示采集的圖像；③進(jìn)行圖像處理以及計(jì)算，得到偏擺量。

確定軟件的要求后，開始設(shè)計(jì)軟件的功能模塊：

1)相機(jī)操作模塊。此功能模塊用于控制相機(jī)的啟閉及獲取圖像。啟動相機(jī)對天輪實(shí)時(shí)成像，操作人員可選擇單張拍照或者連續(xù)視頻的方式獲取圖像，并設(shè)計(jì)了文件保存功能，方便后期查看調(diào)用圖像數(shù)據(jù)。

2)偏擺量計(jì)算模塊。此功能模塊主要對采集到的圖像進(jìn)行處理并計(jì)算和顯示偏擺量。該模塊會循環(huán)對采集到的圖像進(jìn)行處理和計(jì)算，同時(shí)實(shí)時(shí)輸出顯示并保存結(jié)果。

5.2 軟件界面的設(shè)計(jì)

本文創(chuàng)建的監(jiān)測系統(tǒng)軟件由一個(gè)主界面組成，主界面包括采集的原圖顯示、灰度圖顯示、激光提取圖顯示、相機(jī)選擇、運(yùn)算的啟停以及運(yùn)算時(shí)間顯示、偏擺測量參數(shù)顯示及曲線圖等。

6 實(shí)驗(yàn)方案與結(jié)果分析

6.1 實(shí)驗(yàn)方案

由于深井提升系統(tǒng)的天輪通常位于高達(dá)十幾米甚至幾十米的位置，不易安裝實(shí)際的監(jiān)測設(shè)備。因此，本文使用簡易提升裝置的導(dǎo)向輪當(dāng)作研究對象，來模擬實(shí)際天輪工作情況[3]。線激光照射在運(yùn)轉(zhuǎn)天輪上，相機(jī)實(shí)時(shí)采集的圖片傳輸?shù)絃abview軟件中的圖像模塊進(jìn)行圖像處理[13]，然后通過嵌套在Labview中的Matlab程序完成線結(jié)構(gòu)光提取以及偏擺測量，并將測量數(shù)據(jù)實(shí)時(shí)顯示形成曲線圖并保存，從而達(dá)到實(shí)時(shí)監(jiān)測天輪偏擺故障的目的。

為了驗(yàn)證實(shí)驗(yàn)的準(zhǔn)確性，本文在進(jìn)行實(shí)驗(yàn)時(shí)加入了位移傳感器來驗(yàn)證偏擺量。為了防止傳感器靈敏度受到其他信號的干擾，位移傳感器的固定應(yīng)用了特別制作的全包式支架[14，15]。

6.2 結(jié)果分析

在視頻采集的同時(shí)，偏擺量計(jì)算模塊實(shí)時(shí)處理并計(jì)算所采集到的圖像，并將計(jì)算結(jié)果保存到txt文件中。為了更好的顯示圖像處理的數(shù)據(jù)結(jié)果，本文運(yùn)用Matlab程序處理保存到txt文件中的一組天輪偏擺數(shù)據(jù)進(jìn)行繪圖，同時(shí)與位移傳感器采集的數(shù)據(jù)進(jìn)行對比。

天輪偏擺實(shí)驗(yàn)的圖像監(jiān)測數(shù)據(jù)和位移傳感器數(shù)據(jù)對比如圖10所示。

圖10 實(shí)驗(yàn)結(jié)果對比圖

本文設(shè)計(jì)驗(yàn)證實(shí)驗(yàn)的目的是對偏擺監(jiān)測系統(tǒng)的監(jiān)測數(shù)據(jù)進(jìn)行誤差判斷，所以對數(shù)據(jù)進(jìn)行誤差分析時(shí)，計(jì)算圖像監(jiān)測數(shù)據(jù)和傳感器數(shù)據(jù)之間的差值，得到的誤差分析如圖11所示。

圖11 誤差分析圖

根據(jù)誤差分析，實(shí)驗(yàn)結(jié)果的誤差偏移最大值為0.21mm。實(shí)驗(yàn)結(jié)果平均誤差為0.0735mm，因此，該監(jiān)測方案結(jié)果可靠性較高，誤差較小。

7 結(jié) 語

基于線結(jié)構(gòu)光的機(jī)器視覺非接觸式天輪偏擺實(shí)時(shí)監(jiān)測方案中的監(jiān)測設(shè)備放置在和天輪處于同一平面的井架上，然后通過無線傳輸方式將數(shù)據(jù)實(shí)時(shí)傳輸?shù)降孛?，便于工作人員查看。這種方法避免了天輪高速運(yùn)轉(zhuǎn)時(shí)傳感器安裝不方便的問題提高了測量精度，同時(shí)也消除了深井井架的振動影響帶來的偏差。通過實(shí)驗(yàn)方案的驗(yàn)證，證明本文提出的基于線結(jié)構(gòu)光的機(jī)器視覺非接觸式天輪偏擺實(shí)時(shí)監(jiān)測方案具有一定的可行性。但該系統(tǒng)中的測量精度不太穩(wěn)定，主要原因?yàn)橄鄼C(jī)標(biāo)定和激光提取處理中存在一定的誤差，因此，該方案還需要進(jìn)一步改進(jìn)與完善。天輪偏擺振動不僅包括端面跳動還包括徑向跳動，下一步將主要對天輪徑向跳動監(jiān)測進(jìn)行實(shí)驗(yàn)設(shè)計(jì)研究。