機(jī)器視覺技術(shù)估算邊坡連續(xù)形變體積

葉春陽 許傳華 孫國權(quán) 聶 聞，4

（1.中國科學(xué)院海西研究院泉州裝備制造研究所，福建泉州362000；2.中北大學(xué)電氣與控制工程學(xué)院，山西太原030000；3.中鋼集團(tuán)馬鞍山礦山研究總院股份有限公司，安徽馬鞍山243000；4.江西理工大學(xué)資源與環(huán)境工程學(xué)院，江西贛州341000）

采礦區(qū)域的不斷擴(kuò)張，伴隨而來的是裸露邊坡數(shù)量的增加，礦山邊坡一旦發(fā)生形變失穩(wěn)將會給礦山生產(chǎn)以及人員生命安全帶來巨大的威脅［1-4］。因此通過采取一定的技術(shù)措施降低事故發(fā)生率對礦山生產(chǎn)安全具有重要意義［5-6］。邊坡形變識別方法按照監(jiān)測形式可分為接觸式監(jiān)測和非接觸式監(jiān)測兩類。以接觸式監(jiān)測為代表的邊坡形變識別方法主要是在邊坡中埋設(shè)各種傳感器設(shè)備，然后通過傳感器數(shù)據(jù)來識別邊坡形變區(qū)域。這種方式主要存在兩方面的不足：一是需要耗費(fèi)大量的人力物力，且無法對設(shè)備安裝人員生命安全提供保障；二是獲取的信息有限，通常一個傳感器只能反映一個點(diǎn)的變化情況，因此這種方法獲取的數(shù)據(jù)難以反映邊坡整體變化情況。機(jī)器視覺是一種近幾年來發(fā)展較快且比較成熟的技術(shù)，它作為一種非接觸式的技術(shù)能夠有效減少人為參與并提升生產(chǎn)效率。通常機(jī)器視覺所用的監(jiān)測儀器主要有深度相機(jī)、雷達(dá)等，許多學(xué)者利用這些設(shè)備提出了許多經(jīng)典的邊坡數(shù)據(jù)處理方法。例如YANG等［7］利用超像素算法處理裁剪的邊坡視頻數(shù)據(jù)，獲取了邊坡形變區(qū)域的輪廓；MWANIKI等［8］利用圖像增強(qiáng)方法處理圖像數(shù)據(jù)提升邊坡的識別精度；OHNISHI等［9］研究了數(shù)字相機(jī)在邊坡形變位移上的應(yīng)用，實(shí)現(xiàn)了用數(shù)字相機(jī)測量邊坡位移量；劉昌軍等［10］利用激光數(shù)據(jù)實(shí)現(xiàn)了高邊坡危巖體的識別；李洪梁等［11］利用三維激光掃描技術(shù)實(shí)現(xiàn)了堰塞湖的應(yīng)急測繪。以上方法剔除了作業(yè)人員與邊坡的近距離接觸環(huán)節(jié)，在一定程度上避免了人員受到生命安全威脅；此外，相機(jī)和雷達(dá)獲取的數(shù)據(jù)范圍更廣、維度更高，從而更能反映邊坡的整體趨勢。

本研究通過室內(nèi)模型試驗(yàn)，首先利用深度相機(jī)實(shí)時獲取邊坡形變圖像數(shù)據(jù)和點(diǎn)云數(shù)據(jù)；然后分析相機(jī)坐標(biāo)系、像素坐標(biāo)系、世界坐標(biāo)系、圖像坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，通過相機(jī)標(biāo)定最終建立圖像與點(diǎn)云之間的聯(lián)系；最后利用背景差分法實(shí)現(xiàn)邊坡形變區(qū)域的識別，通過前后時刻的邊坡表面位移量估算邊坡形變的體積。本研究旨在探索邊坡形變二維數(shù)據(jù)與三維數(shù)據(jù)相結(jié)合實(shí)現(xiàn)邊坡連續(xù)形變區(qū)域的體積估算，為邊坡形變特征信息的自動提取提供參考。

1 相機(jī)測量原理

本研究分別建立世界坐標(biāo)系、相機(jī)坐標(biāo)系（點(diǎn)云坐標(biāo)系）、圖像坐標(biāo)系以及像素坐標(biāo)系，并對相機(jī)進(jìn)行標(biāo)定，確定點(diǎn)云坐標(biāo)與像素坐標(biāo)之間的參數(shù)關(guān)系。

1.1 世界坐標(biāo)系

世界坐標(biāo)系用于描述相機(jī)的空間位置，真實(shí)反映相機(jī)在三維空間的坐標(biāo)關(guān)系。如圖1所示，Ow、Xw、Yw、Zw分別代表世界坐標(biāo)系的原點(diǎn)、X軸、Y軸和Z軸。

1.2 相機(jī)坐標(biāo)系

相機(jī)坐標(biāo)系是聯(lián)系世界坐標(biāo)系與圖像坐標(biāo)系的過渡坐標(biāo)系，是空間數(shù)據(jù)過渡到平面坐標(biāo)之間的橋梁。從世界坐標(biāo)系變換到相機(jī)坐標(biāo)系屬于剛體變換，即物體不會發(fā)生形變，只需要進(jìn)行平移和旋轉(zhuǎn)。通常以 Oc、Xc、Yc、Zc表示相機(jī)坐標(biāo)系，本研究使用的點(diǎn)云數(shù)據(jù)所在坐標(biāo)系即為相機(jī)坐標(biāo)。

1.3 圖像坐標(biāo)系

圖像坐標(biāo)系是相機(jī)坐標(biāo)系沿Z軸投影而來的，常用O、X、Y表示圖像坐標(biāo)系的原點(diǎn)、X軸和Y軸，如圖2所示。

如圖2所示，坐標(biāo)系原點(diǎn)O與相機(jī)坐標(biāo)系原點(diǎn)Oc之間的距離為f，其中ΔABOc與ΔONOc相似，ΔPcBOc與ΔPNOc相似，則可得以下關(guān)系式：

進(jìn)而求得相機(jī)坐標(biāo)系與圖像坐標(biāo)系的關(guān)系為

1.4 像素坐標(biāo)系

像素坐標(biāo)系由圖像坐標(biāo)系沿X軸負(fù)方向和Y軸負(fù)方向分別平移u0和v0個單位得到，常用O0、U、V來分別表示像素坐標(biāo)系的原點(diǎn)、X軸和Y軸。如圖3所示，若矩形O0QWE為一幅圖像，則點(diǎn)(u0,v0)為該圖像的中心。

由圖3可得圖像坐標(biāo)系與像素坐標(biāo)系轉(zhuǎn)換關(guān)系：

式中dx，dy分別表示圖像坐標(biāo)系下沿X軸和Y軸的長度系數(shù)。

1.5 相機(jī)內(nèi)參計(jì)算

由相機(jī)坐標(biāo)系、圖像坐標(biāo)系以及像素坐標(biāo)系三者之間的轉(zhuǎn)換關(guān)系，可以推導(dǎo)出相機(jī)坐標(biāo)系與像素坐標(biāo)系有以下關(guān)系：

式中，a，b表示相機(jī)內(nèi)參。

如圖4所示，選取15張不同拍攝角度下的標(biāo)定板照片，根據(jù)張正友［12］標(biāo)定法對相機(jī)標(biāo)定。相機(jī)內(nèi)參計(jì)算得：a=624.19，b=635.99。

2 邊坡形變區(qū)域識別

2.1 缺失值補(bǔ)充

光照不均會導(dǎo)致部分點(diǎn)云數(shù)據(jù)缺失。數(shù)據(jù)的缺失一方面會影響數(shù)據(jù)的完整性，另一方面可能導(dǎo)致計(jì)算結(jié)果與真實(shí)結(jié)果相差較大。插值技術(shù)能夠有效解決因數(shù)據(jù)缺失造成的誤差較大問題。因此本研究采用最近鄰插值算法［13-14］估計(jì)缺失數(shù)據(jù)。最近鄰插值算法的原理是根據(jù)距離缺失值最近的k個點(diǎn)的值估算缺失值，其定義如下：

式中，P為缺失值的估計(jì)值；pi為缺失值附近第i點(diǎn)的值。

本研究首先由式（4）確定點(diǎn)云數(shù)據(jù)中缺失值的位置，然后由式（5）對缺失值進(jìn)行插值估算，其中k設(shè)置為5。

2.2 坡體提取

將坡體數(shù)據(jù)與背景數(shù)據(jù)分離有利于坡體中形變區(qū)域的識別。因此在進(jìn)行邊坡形變區(qū)域識別前需要對數(shù)據(jù)進(jìn)行預(yù)處理。首先在點(diǎn)云3個坐標(biāo)軸方向設(shè)置閾值，獲取粗提取的邊坡數(shù)據(jù)；然后利用坡體與背景的顏色差異對坡體進(jìn)行精細(xì)提?。蛔詈蟊Ａ舻臄?shù)據(jù)即為最終的坡體數(shù)據(jù)。依次處理每個時刻的邊坡點(diǎn)云數(shù)據(jù)以獲得完整時間序列下的坡體數(shù)據(jù)。

2.3 邊坡形變區(qū)域識別

邊坡發(fā)生形變時會有兩個特征發(fā)生顯著性變化：一是邊坡形變區(qū)域顏色會發(fā)生改變；二是邊坡表面深度會發(fā)生改變。合理地利用邊坡形變時的兩個特征能夠有效地識別邊坡形變區(qū)域。本研究首先用顏色特征處理邊坡數(shù)據(jù)獲取帶有噪聲的邊坡形變區(qū)域；然后利用邊坡表面深度特征細(xì)化上述結(jié)果，獲取更加精細(xì)的邊坡形變區(qū)域。

在外界光源穩(wěn)定的情況下，邊坡形變區(qū)域顏色特征不會發(fā)生變化或者發(fā)生微小變化，而形變區(qū)域顏色變化明顯?；谝陨闲畔?，本研究采用背景差分算法［15-17］剝離邊坡非形變區(qū)域數(shù)據(jù)，得到帶有噪聲的邊坡形變區(qū)域數(shù)據(jù)。

利用邊坡深度特征細(xì)化帶有噪聲的邊坡形變區(qū)域。隨著時間推移，邊坡表面某一區(qū)域并未發(fā)生形變，但是該區(qū)域在后續(xù)時刻的深度會發(fā)生細(xì)微變化。造成這種細(xì)微變化原因是邊坡表面土壤顆粒發(fā)生輕微移動。為防止邊坡表面土壤顆粒發(fā)生輕微移動的區(qū)域被誤識別為形變區(qū)域，設(shè)置一個閾值來避免該種情況發(fā)生。閾值選取規(guī)則為：選取初始時刻處理的點(diǎn)云數(shù)據(jù)，記該時刻點(diǎn)云平均深度為h0；選取視覺可見的坡體發(fā)生形變的第一張點(diǎn)云數(shù)據(jù)，記該時刻點(diǎn)云平均深度為h；變化量d=h-h0則為閾值。當(dāng)邊坡點(diǎn)云變化量大于d，則視為發(fā)生形變；反之，則未發(fā)生形變。經(jīng)過上述兩個步驟處理后的區(qū)域即為最終識別的邊坡形變區(qū)域。

3 試驗(yàn)驗(yàn)證

3.1 物理模型試驗(yàn)

為獲取邊坡形變數(shù)據(jù)，在室內(nèi)進(jìn)行模擬降雨導(dǎo)致邊坡形變破壞的試驗(yàn)，并用深度相機(jī)對邊坡形變過程進(jìn)行拍攝記錄。圖5為試驗(yàn)現(xiàn)場圖，試驗(yàn)?zāi)Ｐ拖溟L1.6 m、寬0.8 m、高0.8 m。試驗(yàn)共分為兩組，A組降雨為65 mm/h，B組降雨為30 mm/h，兩組坡角均為45°。

3.2 結(jié)果分析

全部程序由C++編程語言編寫。如圖6所示，第1列為原始點(diǎn)云，第2列為粗提取的邊坡形變區(qū)域結(jié)果，第3列為粗提取后細(xì)化的邊坡形變區(qū)域結(jié)果。從第1列數(shù)據(jù)可以看出邊坡發(fā)生形變后，坡體向內(nèi)坍塌，此時該形變區(qū)域的Z坐標(biāo)將發(fā)生變化。第2列數(shù)據(jù)顯示基于閾值分割后坡體上部未發(fā)生顯著形變的部分區(qū)域仍然被標(biāo)記為形變區(qū)域，造成該種情況的原因是模擬的降雨影響了相機(jī)對該區(qū)域坐標(biāo)的計(jì)算。噪聲剔除后，如第3列所示，可以看見優(yōu)化后的區(qū)域只剩下坡底被標(biāo)記的形變區(qū)域。

為了定量分析本研究方法的可靠性，以目標(biāo)分割系數(shù)Dice［18］作為評價指標(biāo)定量分析所提方法的性能。Dice是描述識別結(jié)果與原始破壞區(qū)域的重合一致性程度，其公式為

其中，G表示原始破壞區(qū)域，由人工分割獲取；P為本研究方法識別結(jié)果。Dice取值范圍為0～1。當(dāng)Dice值越接近1時，表明識別結(jié)果越好；當(dāng)Dice值越接近0時，識別結(jié)果越差。

由式（6）計(jì)算的圖6中A組、B組數(shù)據(jù)Dice值表明，A組數(shù)據(jù)Dice得分為91.24%，B組數(shù)據(jù)Dice分值為93.53%，兩者平均Dice為92.39%。計(jì)算結(jié)果充分證明本研究方法能夠精確提取邊坡形變區(qū)域。

通過上述方法對每組數(shù)據(jù)進(jìn)行處理，獲取每個時刻標(biāo)記的邊坡形變區(qū)域，然后利用識別的邊坡形變區(qū)域的坐標(biāo)與初始時刻坐標(biāo)進(jìn)行作差后積分即可獲得隨時間變化的累計(jì)邊坡體積。如圖7所示，圖中兩條曲線為本研究方法求取的兩組試驗(yàn)中邊坡累計(jì)體積隨時間的變化曲線。在相同的坡腳情況下，降雨大小為65 mm/h的A組試驗(yàn)邊坡比降雨大小為30 mm/h的B組試驗(yàn)邊坡更早產(chǎn)生形變。

4 結(jié) 語

針對邊坡連續(xù)形變信息難以精確提取的問題，提出了一種基于深度信息的邊坡形變區(qū)域識別方法。該方法基于識別的形變區(qū)域前后時刻深度信息的變化能夠準(zhǔn)確估算邊坡形變的體積。由于該方法仍以試驗(yàn)數(shù)據(jù)為主，因此采用真實(shí)數(shù)據(jù)對該方法進(jìn)行進(jìn)一步優(yōu)化，是下一步的工作方向。