基于三激光束標(biāo)靶的煤礦井下長距離視覺定位方法

楊文娟，張旭輝，張 超，萬繼成，杜昱陽，楊紅強(qiáng)，石 碩

(1.西安科技大學(xué) 機(jī)械工程學(xué)院，陜西 西安 710054；2.陜西省礦山機(jī)電裝備智能監(jiān)測重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710054)

煤礦巷道掘進(jìn)裝備的定向?qū)Ш胶投ㄐ谓馗?、掘支運(yùn)設(shè)備群位姿感知與協(xié)同控制，以及掘進(jìn)設(shè)備群遠(yuǎn)程精準(zhǔn)測控，均受制于煤礦井下巷道長距離定位的準(zhǔn)確性和穩(wěn)定性。國家發(fā)改委等部門聯(lián)合印發(fā)《關(guān)于加快煤礦智能化發(fā)展的指導(dǎo)意見》，提出到2030年各類煤礦基本實(shí)現(xiàn)智能化。相比于綜采工作面智能化技術(shù)迅速發(fā)展和應(yīng)用，掘進(jìn)工作面施工工藝復(fù)雜，智能化水平低，“掘進(jìn)失衡”矛盾制約了生產(chǎn)效率。煤礦井下巷道掘進(jìn)裝備位姿自主測量和動態(tài)定位成為掘進(jìn)裝備智能化發(fā)展面臨的首要難題。

針對掘進(jìn)裝備位姿測量問題，國內(nèi)外眾多研究機(jī)構(gòu)在慣性導(dǎo)航、激光標(biāo)靶、UWB、iGPS和全站儀等方面開展了卓有成效的研究。陶云飛等提出了基于iGPS的掘進(jìn)機(jī)單站多點(diǎn)分時(shí)機(jī)身位姿測量方法、符世琛等提出基于超寬帶定位的掘進(jìn)機(jī)自主定位導(dǎo)向方法、劉超等提出了超寬帶測距和TSOA原理的混合算法解算掘進(jìn)機(jī)三維空間位姿。上述位姿測量方法存在諸如時(shí)間累積誤差、測量精度不穩(wěn)定等不足。近幾年，智能視覺感知技術(shù)在煤礦井下生產(chǎn)視頻監(jiān)控、工作面異常狀態(tài)識別方面得到初步應(yīng)用。基于智能視覺技術(shù)實(shí)現(xiàn)井下動態(tài)目標(biāo)的位姿非接觸測量已經(jīng)成為該領(lǐng)域的研究熱點(diǎn)。

視覺定位技術(shù)采用光學(xué)成像原理和位姿解算模型求解被測目標(biāo)的相對位置和姿態(tài)參數(shù)，具有結(jié)構(gòu)簡單、無累積誤差、性價(jià)比高等優(yōu)勢。煤礦井下巷道的高粉塵水霧、低照度、雜光干擾大等特點(diǎn)，使得視覺測量應(yīng)用面臨巨大挑戰(zhàn)。德國、澳大利亞等礦業(yè)發(fā)達(dá)國家，國內(nèi)中國礦業(yè)大學(xué)吳淼、遼寧工程技術(shù)大學(xué)陳洪月、西安科技大學(xué)張旭輝等研究團(tuán)隊(duì)在掘進(jìn)設(shè)備視覺定位技術(shù)進(jìn)行了深入研究。奧地利萊奧本礦業(yè)大學(xué)GUGG C等研發(fā)全集成有源激光靶定位系統(tǒng)，利用射影變換進(jìn)行平面到平面映射的方法。中國礦業(yè)大學(xué)童敏明團(tuán)隊(duì)采用十字激光器與激光標(biāo)靶的圖像識別測量方式構(gòu)建位姿實(shí)時(shí)檢測系統(tǒng)，吳淼團(tuán)隊(duì)提出基于空間交匯測量技術(shù)的懸臂式掘進(jìn)機(jī)位姿自主測量方法，到懸臂式掘進(jìn)機(jī)在固定坐標(biāo)系下的位姿狀態(tài)，實(shí)現(xiàn)了掘進(jìn)機(jī)機(jī)身的位姿檢測。中國煤炭科工集團(tuán)田原研究了基于慣性導(dǎo)航與四點(diǎn)式光靶組合的掘進(jìn)機(jī)自動導(dǎo)航定位方法。上述方法為井下定位提供了新思路，但受接收器安裝尺寸等因素限制，工作面底板起伏或者距離增大時(shí)存在脫靶可能性，系統(tǒng)穩(wěn)定性尚待進(jìn)一步研究。張旭輝教授團(tuán)隊(duì)開展了一系列井下定位方面的聯(lián)合攻關(guān)，利用激光線標(biāo)靶在煤礦井下低照度、高粉塵、復(fù)雜背景下的抗遮擋、遠(yuǎn)距離特征明顯的獨(dú)特優(yōu)勢，巷道平行布置2個激光指向儀，在掘進(jìn)機(jī)機(jī)身安裝防爆工業(yè)相機(jī)采集激光束圖像，通過構(gòu)建基于激光點(diǎn)線特征的兩點(diǎn)三線(2P3L)煤礦井下動態(tài)目標(biāo)單目視覺位姿測量模型，解算得到懸臂式掘進(jìn)機(jī)機(jī)身的位置和姿態(tài)參數(shù)，結(jié)合截割臂位姿數(shù)據(jù)，實(shí)現(xiàn)了掘進(jìn)機(jī)的精確定位、定向?qū)Ш胶投ㄐ谓馗羁刂?。但是該方法在井下?biāo)定相對復(fù)雜，惡劣環(huán)境下的測量穩(wěn)定性尚需進(jìn)一步提高。

相比于點(diǎn)特征定位模型，基于直線特征的單目視覺定位方案具有良好抗遮擋能力，適合井下低照度、高粉塵環(huán)境下獲取幾何特征。由于激光指向儀發(fā)射出有一定寬度的線結(jié)構(gòu)光，線狀光束圖像有一定的像素寬度，準(zhǔn)確提取激光線圖像的中心是實(shí)現(xiàn)高精度測量的關(guān)鍵。傳統(tǒng)提取技術(shù)有Hough變換、Steger法、灰度重心法等。華北理工大學(xué)曾凱等提出融合自適應(yīng)卷積模板濾波和大津法閾值分割的條紋中心線亞像素位置提取方法，李偉明等提出一種新的快速激光條紋中心提取算法，該方法利用閾值輪廓跟蹤算法實(shí)現(xiàn)對激光條紋中心的快速提取，且具有較好的抗噪聲或冗余點(diǎn)能力。武漢理工大學(xué)曾超等提出基于圖像差分法的結(jié)構(gòu)光光條圖像分割算法，進(jìn)而結(jié)合方向模板與灰度重心法實(shí)現(xiàn)光條中心的提取。上述研究主要針對背景簡單、單束且光條均勻的激光條紋中心進(jìn)行提取，需要對具有背景復(fù)雜、激光束不連續(xù)、非均勻等特點(diǎn)的煤礦巷道環(huán)境多激光束中心亞像素級特征提取方法進(jìn)行研究。

獲得的點(diǎn)線特征依賴視覺定位模型才能求解獲得被測目標(biāo)的位姿參數(shù)。PNP/PNL是出現(xiàn)最早、也是近年來研究最多的基于模型的定位方法。國防科技大學(xué)ZHANG Lilian等研究了曼哈頓世界下的基于統(tǒng)一相機(jī)模型的消失點(diǎn)估計(jì)和直線分類，所提出方法可用于未標(biāo)定相機(jī)的焦距估計(jì)以及圖像中3個正交線的方向估計(jì)。南京航空航天大學(xué)WANG Ping等提出從已知的參考點(diǎn)確定標(biāo)定攝像機(jī)的位置和方向的PNP問題。中國科學(xué)院自動化研究所王波等從幾何觀點(diǎn)出發(fā)證明當(dāng)攝像機(jī)光心與3個控制點(diǎn)之間的距離相對比較大時(shí)，至少存在2個解可以同時(shí)滿足P3P問題的所有3個約束條件。沈陽理工大學(xué)秦麗娟等研究了應(yīng)用線特征進(jìn)行攝像機(jī)位姿測量的三線透視(P3L)問題，證明當(dāng)攝像機(jī)光心不在過3條直線的2個交點(diǎn)且垂直于3條直線的平面時(shí)存在惟一解。新加坡A*STAR研究所XU Chi等研究了基于二維/三維直線對應(yīng)關(guān)系的相機(jī)位姿估計(jì)的PnL問題，給出了PnL問題的完備性分析并提出基于子集的PnL問題的求解方法。

筆者團(tuán)隊(duì)前期以2個激光指向儀構(gòu)建平行激光束作為目標(biāo)標(biāo)靶，用2根激光線和2個出射激光點(diǎn)構(gòu)建了2P3L測量模型，利用2條平行直線與2個激光點(diǎn)構(gòu)建的虛擬直線，建立了掘進(jìn)機(jī)機(jī)身位姿解算模型，通過閉式解解算出掘進(jìn)機(jī)相對巷道的全局位姿，井下工業(yè)試驗(yàn)驗(yàn)證了該定位模型在煤礦井下的適用性。但是，2P3L測量模型需要保證2條激光束平行，在煤礦井下安裝時(shí)保證激光指向儀平行度難度較大，且系統(tǒng)外參標(biāo)定復(fù)雜、難度大，需要進(jìn)一步通過優(yōu)化提高定位精度和穩(wěn)定性。另外，在方案論證和系統(tǒng)測試時(shí)也發(fā)現(xiàn)：3條及以上激光束都可以構(gòu)建視覺空間位姿測量模型，但是4線以上會提高現(xiàn)場安裝難度，也容易造成特征線的空間交叉，多激光線特征難以提取，導(dǎo)致視覺定位算法失效。

因此，筆者在前期研究基礎(chǔ)上，提出一種新型三激光束掘進(jìn)機(jī)機(jī)身位姿單目視覺測量方法，以位姿檢測要求和難度最大的懸臂式掘進(jìn)機(jī)為測試對象，在開拓巷道上方安裝3個礦用激光指向儀形成視覺測量合作標(biāo)靶，采用機(jī)載防爆相機(jī)采集3條激光束，通過激光束點(diǎn)-線特征分割與提取，建立三點(diǎn)三線(3P3L)單目視覺定位模型，解算獲得掘進(jìn)機(jī)機(jī)身位姿，有效提高系統(tǒng)位姿測量精度和穩(wěn)定性。

1 掘進(jìn)設(shè)備位姿視覺測量系統(tǒng)

考慮直線特征在高粉塵水霧、低照度的煤礦井下環(huán)境中具有更強(qiáng)的抗遮擋能力，筆者提出基于三激光束的單目視覺測量方法，創(chuàng)新設(shè)計(jì)了由3個礦用激光指向儀構(gòu)建的三激光束標(biāo)靶，建立了基于點(diǎn)-線特征的三點(diǎn)三線(3P3L)單目視覺測量及定位數(shù)學(xué)模型，獲得了掘進(jìn)機(jī)機(jī)身的相對巷道安裝點(diǎn)的位置和姿態(tài)參數(shù)。煤礦井下使用時(shí)借助全站儀進(jìn)行外參標(biāo)定，可獲得大地坐標(biāo)下的掘進(jìn)機(jī)機(jī)身的位置和姿態(tài)絕對坐標(biāo)數(shù)據(jù)。圖1為懸臂式掘進(jìn)機(jī)機(jī)身視覺測量系統(tǒng)測量原理示意。

圖1 懸臂式掘進(jìn)機(jī)機(jī)身視覺測量原理示意

該系統(tǒng)由三激光束標(biāo)靶、礦用防爆相機(jī)和防爆計(jì)算機(jī)組成，其中計(jì)算機(jī)完成圖像特征提取、定位模型解算、位姿顯示等功能。三激光束標(biāo)靶固定在安裝架，掛載于巷道上方。選用的激光指向儀發(fā)射660 nm波長的紅色激光，利用激光顏色分量約束可簡化井下復(fù)雜光照條件下圖像的處理，有效避免雜散光對圖像分割與提取的干擾。

2 掘進(jìn)機(jī)機(jī)身三點(diǎn)三線位姿解算模型

借助3條非平行激光束的直線特征及3個出射激光點(diǎn)特征，構(gòu)建了基于三點(diǎn)三線(3P3L)的掘進(jìn)機(jī)機(jī)身位姿視覺測量模型。圖2為三點(diǎn)三線(3P3L)透視投影位姿測量模型。

圖2 三點(diǎn)三線(3P3L)透視投影位姿測量模型

(1)

(2)

(3)

其中，

(4)

(5)

(6)

(7)

其中，

(8)

(9)

其中，

由式(8)，(9)可得到如下的掘進(jìn)機(jī)機(jī)身三點(diǎn)三線位姿視覺測量模型的矩陣約束方程：

=

(10)

其中，

=[…,]

假設(shè)= ()為矩陣的廣義逆矩陣。將式(10)中的替換為=，得到

(11)

考慮到視覺測量系統(tǒng)不可避免的存在誤差，根據(jù)式(11)，可得到掘進(jìn)機(jī)機(jī)身三點(diǎn)三線位姿視覺測量模型的最小二乘法損失函數(shù)如下：

(12)

(13)

根據(jù)獲得的旋轉(zhuǎn)矩陣的參數(shù)，，，，結(jié)合式(14)可以獲得攝像機(jī)坐標(biāo)系到激光標(biāo)靶坐標(biāo)系的相對旋轉(zhuǎn)矩陣：

(14)

根據(jù)式(15)可獲得攝像機(jī)坐標(biāo)系到三激光標(biāo)靶坐標(biāo)系的平移矩陣:

=

(15)

建立的最小化重投影誤差目標(biāo)函數(shù)為

(16)

(,,,)=(+)

(17)

式中，為第個激光點(diǎn)的像素坐標(biāo)；為第割激光點(diǎn)的空間三維坐標(biāo)；為相機(jī)內(nèi)參數(shù)矩陣；，分別為利用GB求解器獲得的第個旋轉(zhuǎn)矩陣和平移矩陣；為將激光束上任意一點(diǎn)的空間三維坐標(biāo)轉(zhuǎn)化為圖像投影像素點(diǎn)坐標(biāo)的函數(shù)；為將投影像素點(diǎn)坐標(biāo)轉(zhuǎn)化為齊次坐標(biāo)的系數(shù)。

最后結(jié)合全站儀標(biāo)定獲得的三激光束標(biāo)靶坐標(biāo)系與巷道坐標(biāo)系的相對位姿轉(zhuǎn)換關(guān)系，獲得掘進(jìn)機(jī)機(jī)身在巷道坐標(biāo)系下的位置和姿態(tài)角信息。

筆者利用3條激光線以及3個激光點(diǎn)構(gòu)建的虛擬直線，通過攝像機(jī)光心與圖像投影直線所構(gòu)成投影平面的法向量和空間直線的垂直約束，構(gòu)建了掘進(jìn)機(jī)機(jī)身3P3L定位模型，建立測量模型的最小二乘法損失函數(shù)，最后結(jié)合最小化重投影誤差實(shí)現(xiàn)掘進(jìn)機(jī)機(jī)身位姿的非迭代全局最優(yōu)解估計(jì)。相比于2P3L模型，該模型無需激光束平行等位置約束，標(biāo)定時(shí)只需借助全站儀獲得激光束上的6個點(diǎn)坐標(biāo)，解決了井下現(xiàn)場安裝和標(biāo)定難題，減少了誤差產(chǎn)生環(huán)節(jié)，可有效提高掘進(jìn)機(jī)機(jī)身的定位精度及穩(wěn)定性。

3 激光束標(biāo)靶圖像分割與特征提取

3.1 三激光束標(biāo)靶圖像特性

三激光束標(biāo)靶是由3個礦用激光指向儀形成的3條激光束所構(gòu)成，激光指向儀采用波長約660 nm的紅色激光。圖3(a)為三激光束標(biāo)靶圖像，理想情況下每個激光束分布均勻且截面灰度呈高斯分布，如圖3(b)所示，灰度最大值處為激光束中心。但是由于煤礦井下掘進(jìn)工作面的粉塵濃度分布并不均勻且受氣流擴(kuò)散、顆粒散射等影響，大多情況激光束分布非均勻且截面灰度呈近似高斯分布，如圖3(c)所示。

圖3 三激光束圖像及其截面灰度分布特性

通過上述分析可知，三激光束標(biāo)靶的二維圖像的特征分割與提取可以轉(zhuǎn)化為圖像行截面的一維灰度信號來進(jìn)行處理，通過提取具有一定寬度閾值的3個波峰特征，可以穩(wěn)定、有效的獲取激光束標(biāo)靶圖像的直線特征。但是，對于因粉塵分布不均影響導(dǎo)致的非均勻分布的激光束，需要考慮實(shí)際灰度的分布差異(圖4)，因此，利用上述激光束峰值特性獲取初始粗略中心直線提取的基礎(chǔ)上，還需要進(jìn)一步對激光束中心直線進(jìn)行優(yōu)化。

圖4 實(shí)際采集的激光束圖像灰度差異

3.2 三激光束標(biāo)靶圖像分割與特征提取

適用于煤礦井下三激光束標(biāo)靶圖像處理，包括激光束區(qū)域分割與特征提取、激光光斑的區(qū)域分割與特征提取、三激光束點(diǎn)-線特征定位等3個部分。該三激光束標(biāo)靶圖像的區(qū)域分割、特征提取與定位流程如圖5所示。

圖5 三激光束標(biāo)靶圖像的區(qū)域分割、特征提取與定位流程

圖6為實(shí)驗(yàn)中的圖像特征分割、提取與定位結(jié)果。圖6(a)為采集的原始圖像。

圖6 三激光束標(biāo)靶圖像特征提取與定位結(jié)果

..三激光束標(biāo)靶圖像ROI分割

根據(jù)紅色激光束的HSV顏色空間分量，，的對應(yīng)范圍，可以區(qū)分出復(fù)雜背景下的激光束與雜散光，其中的范圍設(shè)為0～10，的范圍設(shè)為40～250，的范圍設(shè)為40～250，如圖6(b)所示，可以濾除礦燈及其他雜光，并允許紅色較亮的激光束像素通過。

通過顏色空間約束獲取的紅色激光束像素點(diǎn)聚類，可以有效地獲得雜光背景下的激光束區(qū)域。假設(shè)三激光束標(biāo)靶圖像中的第個像素點(diǎn)表示為(,)，則激光束的像素點(diǎn)集合可定義為

={,,…,},=[,,(,)]

(18)

0<(,)<10,40<(,)<250

(19)

40<(,)<250

(20)

..激光光斑區(qū)域分割與光斑中心定位

利用歐氏距離約束進(jìn)一步對分割得到的光斑區(qū)域進(jìn)行篩選，分別通過計(jì)算不同光斑區(qū)域中心沿軸和軸的像素距離來確定激光光斑。激光光斑區(qū)域分割結(jié)果如圖6(d)所示。光斑定位算法有加權(quán)質(zhì)心法、曲面擬合法等，這里激光光斑中心定位采用高斯擬合算法。

..三激光束區(qū)域聚類分割

霍夫變換直線檢測方法沒有考慮激光束線寬，對于線寬變化的、不連續(xù)的激光束中心線檢測是不準(zhǔn)確的，Steger激光條紋檢測精度高，但算法時(shí)間復(fù)雜度高。根據(jù)前面對三激光束標(biāo)靶圖像的特性分析，激光標(biāo)靶二維圖像的特征分割與提取可以通過激光束圖像行截面的一維灰度信號來進(jìn)行處理，通過峰值法提取具有一定寬度閾值的3個波峰特征，進(jìn)而通過霍夫變換建立的累加器對初始分割聚類結(jié)果進(jìn)行雜點(diǎn)濾波處理。

首先利用峰值法求取每行圖像的峰值，形成初始左側(cè)激光束像素點(diǎn)簇、初始中間激光束像素點(diǎn)簇和初始右側(cè)激光束像素點(diǎn)簇(圖7)，獲取三激光束初始粗略中心線上像素點(diǎn)聚類信息，進(jìn)而利用和構(gòu)建離散參數(shù)空間，建立累加器={,}，其中,為橫坐標(biāo)軸與垂直于激光線矢量的夾角;為坐標(biāo)系原點(diǎn)到激光線的距離，通過Hough變換將獲得的激光束初始中心線上的像素點(diǎn)聚類由圖像空間域轉(zhuǎn)換到-參數(shù)空間。如圖8所示，激光束所在直線對應(yīng)于參數(shù)空間的投票數(shù)量最多的點(diǎn)，因此，根據(jù)投票數(shù)量確定的局部極大值以及所對應(yīng)的直線-參數(shù)，可以對所提取的激光束初始中心線像素點(diǎn)聚類中的雜點(diǎn)進(jìn)行濾除，獲得激光束初始中心線像素點(diǎn)聚類集合。

圖7 三激光束初始中心線像素點(diǎn)聚類的參數(shù)空間表示

圖8 三激光束標(biāo)靶圖像聚類及雜點(diǎn)濾除過程

采用峰值法提取的激光束初始中心點(diǎn)信息有效克服了Hough變換無法有效提取具有一定寬度的激光束直線的問題，同時(shí)降低了Hough變換的計(jì)算量；而Hough變換采用可以有效濾除峰值法提取的初始中心線像素點(diǎn)聚類的雜點(diǎn)干擾。

..三激光束亞像素中心直線提取

煤礦井下掘進(jìn)工作面所采集的激光束圖像因粉塵分布不均影響導(dǎo)致激光束呈非均勻分布，在上述獲取初始粗略中心直線提取的基礎(chǔ)上，還需要進(jìn)一步對激光束中心直線進(jìn)行優(yōu)化處理。

(21)

式中，(，)為二維高斯函數(shù)；(，)為粗提取的激光束中心線處的像素點(diǎn)灰度;(，)為對應(yīng)圖像方向的高斯函數(shù)的二階偏導(dǎo)模板;(，)為對應(yīng)圖像方向的高斯函數(shù)的二階偏導(dǎo)模板；(，)為對應(yīng)圖像方向的高斯函數(shù)的二階偏導(dǎo)模板。

因此，每一處初始激光束中心線的像素點(diǎn)可以獲得一個Hessian矩陣，Hessian矩陣的最大特征值所對應(yīng)的特征向量為該像素點(diǎn)處的法線方向=(,)，提取的像素點(diǎn)處法線方向如圖9所示。

圖9 三激光束初始粗略中心線處的法線方向提取結(jié)果

假設(shè)

(22)

其中，

在激光束粗略中心線像素點(diǎn)的法線方向利用泰勒展開可以得到激光束亞像素中心線位置，激光束中心的亞像素坐標(biāo)可以表示為

=(,)，=,=

(23)

(24)

其中，

式中，為圖像沿方向的一階偏導(dǎo)數(shù)；為圖像沿方向的一階偏導(dǎo)數(shù)；為圖像沿方向的二階偏導(dǎo)數(shù)；為圖像沿方向的二階偏導(dǎo)數(shù)；為圖像沿方向的二階偏導(dǎo)數(shù)。

采用該方法可以快速獲取亞像素級的三激光束中心聚類，不受掘進(jìn)機(jī)機(jī)身在巷道移動過程中距離變化導(dǎo)致的激光束標(biāo)靶成像大小改變的影響，具有較高的提取精度和良好的穩(wěn)定性；對于因遮擋或粉塵分布不均影響導(dǎo)致的激光束區(qū)域邊界不連續(xù)而具有容錯性和魯棒性。

..激光束中心線的參數(shù)求解

結(jié)合得到的激光束聚類結(jié)果，分別用帶約束條件的最小二乘擬合方法得到激光束的線性方程。假設(shè)左側(cè)、右側(cè)、中間激光束的像素聚類簇內(nèi)每個像素點(diǎn)到擬合直線的距離方程為

(25)

(26)

(27)

式中，，，為左激光束的中心線參數(shù)；，和為右激光束的中心線參數(shù)；,,分別為3個激光束像素點(diǎn)聚類簇內(nèi)的第個、第個和第個像素點(diǎn)。

三激光束的中心線所在直線的擬合線性方程可分別用以下帶約束條件的最小二乘法擬合：

(28)

+=1

(29)

定義如式(30)所示的直線擬合的誤差目標(biāo)函數(shù)，當(dāng)直線擬合誤差小于最大允許誤差時(shí)得到最優(yōu)解。

(30)

4 掘進(jìn)機(jī)機(jī)身位姿視覺測量精度分析

視覺測量主要誤差影響因素包括通過外參標(biāo)定獲得激光束點(diǎn)-線特征的三維空間先驗(yàn)信息、通過圖像處理獲取的激光光斑中心的像素坐標(biāo)，以及激光束中心線直線方程等。為分析多因素影響下掘進(jìn)機(jī)機(jī)身位姿測量精度，本節(jié)采用Mento Carlo方法對多因素影響下的掘進(jìn)機(jī)機(jī)身視覺測量精度和穩(wěn)定性進(jìn)行數(shù)值仿真測試。

利用上述給定的平移矩陣與旋轉(zhuǎn)矩陣，借助透視投影模型將標(biāo)靶坐標(biāo)系下的激光束特征點(diǎn)-線轉(zhuǎn)換到相機(jī)坐標(biāo)系，得到激光束標(biāo)靶點(diǎn)-線特征在二維圖像平面內(nèi)的理想像素坐標(biāo)，進(jìn)而利用Mento Carlo仿真對位姿測量精度進(jìn)行評估。

激光光斑中心定位誤差、激光束中心線斜率提取誤差以及外參數(shù)標(biāo)定誤差等多因素對掘進(jìn)機(jī)機(jī)身位置和姿態(tài)角測量精度的影響如圖10，11所示?？梢钥闯觯恢煤妥藨B(tài)誤差都隨著測量距離的增大而增大，其中，軸、軸2個方向具有較高的位置測量精度，軸方向的位置測量誤差較大，繞軸、軸的俯仰角和航向角具有較高的角度測量精度，繞軸的翻滾角誤差略大于繞軸、軸的角度誤差。相機(jī)與激光標(biāo)靶間距離在100 m內(nèi)時(shí)，軸、軸、軸方向的位置測量誤差分別在4.994，5.608，127.113 mm以內(nèi)，俯仰角、偏航角、翻滾角的最大角度誤差分別為0.048°，0.093°，0.282°，能夠滿足煤礦掘進(jìn)工作面巷道施工允許的最大測量誤差。

圖10 不同距離時(shí)掘進(jìn)機(jī)機(jī)身位置和姿態(tài)角的視覺測量誤差

5 掘進(jìn)機(jī)視覺測量系統(tǒng)性能測試

搭建懸臂式掘進(jìn)機(jī)機(jī)身位姿視覺測量平臺進(jìn)行系統(tǒng)性能測試，如圖12所示。測試系統(tǒng)由懸臂式掘進(jìn)機(jī)(5∶1縮比)、礦用激光指向儀、三激光標(biāo)靶固定裝置、工業(yè)相機(jī)(MV_EM510C)、數(shù)字全站儀(SOKKIA IR1)、煙霧發(fā)生器、工業(yè)計(jì)算機(jī)等組成，長距離測試中利用履帶式移動機(jī)器人模擬掘進(jìn)機(jī)在巷道中的運(yùn)動，用煙霧發(fā)生器模擬煤礦粉塵環(huán)境。采用礦用相機(jī)采集三激光標(biāo)靶圖像，利用全站儀對懸臂式掘進(jìn)機(jī)機(jī)身視覺測量系統(tǒng)進(jìn)行評估。

圖11 不同距離下的不同截面的位置和姿態(tài)角的誤差分布

5.1 測試系統(tǒng)的環(huán)境適應(yīng)性實(shí)驗(yàn)

實(shí)驗(yàn)室模擬掘進(jìn)工作面的低照度、高粉塵、雜光等煤礦井下復(fù)雜背景環(huán)境，搭建的測試系統(tǒng)環(huán)境適應(yīng)性驗(yàn)證平臺如圖12所示。

圖12 懸臂式掘進(jìn)機(jī)機(jī)身位姿視覺測量系統(tǒng)實(shí)驗(yàn)平臺

實(shí)驗(yàn)中在不同位置和姿態(tài)的3處固定位置各采集100幅三激光束標(biāo)靶圖像，并利用本文提出的激光束分割、提取與定位算法進(jìn)行重復(fù)性測試，采集的激光束圖像及其處理結(jié)果如圖13所示，其中圖13分別表示3處相對固定位置的特征提取結(jié)果，從左到右表示不同粉塵濃度的激光標(biāo)靶圖像，每個位置上面一行為原始圖像，對應(yīng)的下面一行為激光束特征提取結(jié)果。激光束中心線定位的均方根誤差評估對比結(jié)果見表1。

表1 不同位置處激光束中心線定位的均方根誤差評估

圖13 三激光束標(biāo)靶點(diǎn)-線特征提取與定位結(jié)果

結(jié)果表明，該方法能夠在低照度、雜散光干擾的復(fù)雜背景下對激光標(biāo)靶進(jìn)行有效的分割、特征提取與定位，相比于Hough，Steger等算法，本文方法獲得的激光束中心線均方差較小，對激光束中心直線檢測的準(zhǔn)確性更高，如圖14所示。

圖14 掘進(jìn)機(jī)機(jī)身位置和姿態(tài)角測量誤差對比

5.2 機(jī)身位姿視覺測量系統(tǒng)性能實(shí)驗(yàn)

為了對不同距離視覺測量系統(tǒng)性能進(jìn)行測試與驗(yàn)證，搭建的測量系統(tǒng)實(shí)驗(yàn)平臺如圖15所示。實(shí)驗(yàn)中控制移動機(jī)器人在樓道移動，模擬掘進(jìn)機(jī)在巷道的移動，使用礦用相機(jī)對三激光束標(biāo)靶圖像進(jìn)行采集，對每一固定距離處采集50幅激光束圖像，解算獲得掘進(jìn)機(jī)機(jī)身位置和姿態(tài)角信息，從而對視覺測量系統(tǒng)性能進(jìn)行評估。實(shí)驗(yàn)過程中，以全站儀測量值為真實(shí)值，進(jìn)而利用前面提出的外參標(biāo)定方法，在構(gòu)建的全站儀統(tǒng)一坐標(biāo)系下，對掘進(jìn)機(jī)機(jī)身位姿視覺測量系統(tǒng)性能進(jìn)行對比評估。

圖15 基于激光束標(biāo)靶的掘進(jìn)機(jī)機(jī)身位姿視覺測量系統(tǒng)實(shí)驗(yàn)平臺

對于6處不同位置采集到的激光束圖像及其處理結(jié)果如圖16所示。結(jié)果表明，本文算法在60 m測試范圍內(nèi)穩(wěn)定性良好，具有較好的魯棒性。

圖16 不同距離下的三激光束標(biāo)靶點(diǎn)-線特征提取與定位結(jié)果

履帶式機(jī)器人在樓道移動時(shí)機(jī)身位姿測量數(shù)據(jù)與真實(shí)值(全站儀數(shù)據(jù))對比結(jié)果見表2，可見位置和姿態(tài)角誤差隨著測量距離的增大而增大，在測試距離范圍內(nèi)，利用本文提出的位姿估計(jì)方法的所測位置和姿態(tài)角結(jié)果接近于真實(shí)值，具有較好的定位精度。表3給出了移動機(jī)器人在模擬巷道6處不同距離時(shí)的位置和姿態(tài)角誤差評估結(jié)果。

表2 相機(jī)與激光標(biāo)靶之間不同距離時(shí)的位置和姿態(tài)角對比結(jié)果

表3結(jié)果顯示，相比于軸方向，軸、軸2個方向具有較高的位置測量精度，繞軸、軸、Z軸的俯仰角和航向角都具有較高的角度測量精度。相機(jī)與激光標(biāo)靶間距離在50 m范圍內(nèi)時(shí)，沿軸、軸、軸的平均測量誤差分別為8.02，27.62，95.32 mm。俯仰角、偏航角、翻滾角的平均測量誤差分別為0.26°，0.27°，0.32°。根據(jù)煤礦井下巷道施工規(guī)程允許的最大位姿估計(jì)誤差，在測試距離范圍內(nèi)所提出的基于三激光標(biāo)靶的視覺定位方法能夠滿足懸臂式掘進(jìn)機(jī)機(jī)身位姿測量的要求。

表3 相機(jī)與激光標(biāo)靶之間不同距離時(shí)的位置和姿態(tài)角誤差評估

6 結(jié) 論

(1)井下巷道定位用三激光束視覺測量合作標(biāo)靶可應(yīng)對煤礦高粉塵、水霧嚴(yán)重、易遮擋等因素影響。通過采用顏色空間約束與激光束截面灰度峰值聚類方式實(shí)現(xiàn)了激光束標(biāo)靶圖像的分割；采用基于霍夫變換建立的累加器與歐氏距離約束對初始圖像粗略中心線的像素點(diǎn)聚類，可以有效濾除激光束圖像雜點(diǎn)；利用Hessian矩陣對初始粗略中心線的像素點(diǎn)處的法線方向進(jìn)行求解，結(jié)合泰勒展開實(shí)現(xiàn)了三激光束中心線的亞像素級特征提取和定位。

(2)基于三點(diǎn)三線(3P3L)的掘進(jìn)機(jī)機(jī)身位姿視覺測量模型解決了非平行激光束遠(yuǎn)距離定位難題。針對測量模型構(gòu)建的最小二乘法損失函數(shù)，分別對旋轉(zhuǎn)矩陣參數(shù)進(jìn)行微分處理，獲得四階方程系統(tǒng)，利用GB求解器對所構(gòu)建的方程系統(tǒng)進(jìn)行求解，得到了旋轉(zhuǎn)矩陣的四元數(shù)參數(shù)，最后結(jié)合最小化重投影誤差實(shí)現(xiàn)非迭代全局最優(yōu)解估計(jì)，獲得了掘進(jìn)機(jī)機(jī)身位姿的最優(yōu)解，提高了視覺測量精度。

(3)對多因素影響下的掘進(jìn)機(jī)機(jī)身位姿視覺測量系統(tǒng)精度與穩(wěn)定性進(jìn)行了測試。數(shù)值仿真結(jié)果表明，在100 m測量距離范圍內(nèi)，軸、軸、軸方向的位置測量誤差分別在4.994，5.608，127.113 mm以內(nèi)，俯仰角、偏航角、翻滾角的最大角度誤差分別為0.048°，0.093°，0.282°。同時(shí)搭建實(shí)驗(yàn)臺進(jìn)行定位性能測試，實(shí)驗(yàn)測試結(jié)果與理論仿真分析符合，結(jié)果表明：在50 m測量距離范圍內(nèi)，姿態(tài)角測量精度在0.4° 以內(nèi)，軸位置測量誤差小于10.28 mm，軸位置測量平均誤差小于31.21 mm，軸的位置測量誤差小于100.49 mm。