基于深度傳感器的煤場三維測量改進算法研究

楊士華，曹軍，陳梁，崔波，尉龍

（1.上海上電漕涇發(fā)電有限公司，上海 201507；2.中科航宇（北京）自動化工程技術有限公司，北京 100096）

盤煤儀可精確測量電廠煤炭存量，優(yōu)化生產(chǎn)結構，在煤場、電廠數(shù)字化改造中有著極大的應用前景。由于煤場中通常存在斗輪機、運輸車等干擾物，且煤場周圍墻壁等為黑色，對煤炭體積測量產(chǎn)生較大干擾，快速分離煤炭體積并高精度測量仍是一大難點。

目前盤煤設備采用的方法通常為三原色（red，green，blue，RGB）圖像法、深度測量法。其中RGB圖像法能準確區(qū)分色彩差異較大的干擾物，但易受背景噪音干擾；深度測量法不受背景干擾，但易受到斗輪機、傳送帶等設備干擾，導致傳統(tǒng)盤煤儀無法區(qū)分煤堆與干擾信息。本項目采用基于光飛行時間（time of flight，ToF）原理的深度傳感器聯(lián)合RGB圖像法，結合煤場實地情況，對直接線性變換（direct linear transform，DLT）標定模型、雙邊濾波降噪算法進行改進，提出基于顏色和法向量的點云分割算法分離煤堆模型，并測量體積。經(jīng)驗證，具有較好的工程應用效果。

1 DLT模型改進標定算法

2 基于ToF算法的改進三維重建算法

2.1 深度信息獲取

深度傳感器基于ToF原理獲取深度信息，光源發(fā)射光線經(jīng)過傳感器方波調制后，平均頻率為80 MHz，通過檢測光線發(fā)射與接收時的相位差以及衰減，計算光線在空中傳播時長。由飛行時長可進一步判斷深度傳感器與煤堆的距離信息。計算公式如下：

式中：φ為調制信號的相位偏移值；f0為傳感器的調制頻率；l為距離；t0為光飛行時間；c為光速，約為3×108m/s。

2.2 煤場誤識別信息剔除

誤識別信息主要分為兩類，一類是煤場周圍墻壁、護欄以及運輸車等干擾物體，另一類是距離傳感器過近的遮擋物，如斗輪機等。

首先，通過霍夫變換剔除容器壁以及壁外干擾物體。由于項目中煤場為標準矩形，可通過基于霍夫變換分離圖像中相同特征的幾何形狀。依托y=kx+b公式，將直線方程的參數(shù)與變量互換，使x—y空間中全部點（x，y）對應為k—b空間中的單個點，則在變量空間中的多條線與參數(shù)空間中的極值點相對應。故確定k—b空間中局部區(qū)域的極值點即可確定直線，如圖1所示。

圖1 直線對應為點Fig.1 Straight lines correspond to points

將直線方程表述為極坐標方式，即

利用二維累加器檢測直線，通過在累加器中尋找局部最大值，從而確定直線存在，即為煤場邊緣。

其次，通過距離閾值分割剔除過近遮擋物。煤堆底部位于深度傳感器下方約39 m米處，煤堆最高處約19 m，故而有效的深度范圍為20 m～39m。當識別深度大于39m或小于20m，均為斗輪機等干擾物體深度信息。

直通濾波器可以濾除超出識別范圍的深度信息，假設某點的三維坐標為（u，v，d），其中（u，v）為該點在像素平面坐標系下的像素坐標，d為該點的深度值。maxd表示允許的最大深度值，mind表示允許的最小深度值。則有：

由于煤場位于場景中心，邊緣區(qū)域為無煤區(qū)域，故可通過保留中心周圍區(qū)域，從而保留有效深度信息。保留區(qū)域為：

式中：（u0，v0）為深度圖的中央位置處坐標值；w為深度圖橫向像素值；n為該點法向量；h為深度圖的縱向像素值。

2.3 雙邊濾波降噪算法改進

傳統(tǒng)的邊濾波算法中噪點主要利用法向量ni和濾波因子α，但由于在計算二者時，將噪點pi的三維坐標考慮在內，導致存在誤差，當噪點偏移很大時，濾波不起作用，故需要對傳統(tǒng)雙邊濾波算法進行改進。雙邊濾波算法對噪點的調整方向沿著該點的法線向量。移動公式如下所示：

3 煤場建模與體積測算

3.1 基于Unity3D的虛擬場景設計

項目使用Unity3D 5.6.0設計虛擬場景，根據(jù)不同高度顯示不同的RGB值，顯示出明顯的區(qū)分效果。

Toggle_Contour.cs：控件事件響應“高度圖”。

Toggle_Depth.cs：控件事件響應“深度圖”。

Toggle_Histogram.cs：控件事件響應“直方圖”。

利用深度傳感器探測煤場深度信息，并在最高處使用淺色投影、最低處使用深色投影，中間區(qū)域采用漸變色進行投影，如圖2所示。

圖2 不同深度顯示不同顏色Fig.2 Shows different colors at different depths

3.2 基于顏色和法向量的點云分割

在獲取點云模型后需確定煤堆位置并分離模型?？紤]到煤堆為黑色，與周圍運輸車等RGB值存在一定差距，故提出一種基于顏色及點云法向量的點云分割方法?？紤]到煤場周圍墻壁亦為黑色，故引入法向量因素。在本項目中煤場邊緣與煤堆接觸位置會產(chǎn)生點云法向量的突變，如圖3所示。在長方體邊緣部分的法向量的z方向值會非常小，故在遍歷點云的過程中除顏色的信息，引入法向量z分量信息，如z分量所占比例小于10%，此點將不被計入目標點。

圖3 邊緣法線示意圖Fig.3 Diagram of edge normals

基于顏色及法向量的點云分割效果圖如圖4所示，可看出分割結果已經(jīng)濾除了幾乎全部的無關點，只留下了目標被測物。

圖4 點于分割效果Fig.4 Segmentation effect of point cloud

3.3 點云體積計算

得到目標被測物點云模型后，則可進入體積計算過程，由于此步驟的算法相對繁瑣，故對點云模型進行下采樣，如圖5所示。

圖5 下采樣效果圖Fig.5 Sampling effect diagram below

下采樣之后擬使用基于不附帶任何拓撲信息的散亂點云的四面體剖分體積計算法計算煤堆體積。首先進行四面體剖分，方案如下：

1）構建初始四面體，形成初始化四面體網(wǎng)格。

2）將某一個點插入四面體網(wǎng)格中，對于輸入點P，利用隨機方法找包含P的四面體，如果P位于該四面體之中，則完成，否則隨機指定三角面E，若T和P在平面的兩邊，共享E的鄰近四面體則為下一個訪問的四面體，直到找到分割開T和P的面。

3）找到包含P的四面體，則將該四面體一分為四。

4）如若P不在當前四面體中，則選擇P所在面的一側，連接P與該面的3個頂點形成新的四面體，計入之前網(wǎng)格。

5）重復2）～4）步驟，直到點集中的點均處理完成。

分割完成后遍歷四面體，計算得到所有分割四面體的外接球，對每個頂點沿法向量方向做射線，若所有射線交于外接球上（不包含射線原點），則不考慮此四面體[3]；否則，將該四面體加入體內四面體范疇。得到所有體內四面體之后利用下式計算體內四面體體積之和，即為目標被測物體積。

式中：(x1，y1，z1)～(x4，y4，z4)為四面體頂點坐標。

4 實驗驗證

4.1 改進DLT標定算法對比實驗

通過深度傳感器獲取圖像中控制點坐標，計算內參與畸變系數(shù)，生成殘差圖。為驗證DLT算法改進后效果，將其與傳統(tǒng)DLT方法進行對比。焦距測量參數(shù)如表1所示。

表1 內參數(shù)實驗結果Tab.1 Experimental results of parameters

畸變系數(shù)主要有徑向畸變系數(shù)k1，k2，以及偏心畸變系數(shù)p1，p2。測量數(shù)據(jù)比照如表2所示。

表2 畸變系數(shù)實驗結果Tab.2 Experimental results of distortion coefficient

由內參數(shù)與畸變系數(shù)實驗結果，將52個特征點在x，y方向的標準差以及每個特征點的殘差vx，vy求出，如圖6所示，其單位均為像素（px）[4]。

圖6 改進DLT方法殘差分布圖Fig.6 Residual distribution of the improved DLT method

相較傳統(tǒng)DLT算法的殘差在豎直方向可控制在10像素以內，水平方向只能控制在2個像素以內，改進的DLT算法的特征點的精度顯著小于傳統(tǒng)DLT算法，其水平與豎直方向的殘差均可控制到2個像素之內。

4.2 改進雙邊濾波算法對比試驗

首先以每個三維數(shù)據(jù)點pi為研究對象，獲取周圍kN個最近點的數(shù)據(jù)集，表示為N（pi）。之后使用主成份分析法計算該對應點pi的法向量和周圍鄰域點pj的法向量，記錄法向量方向。隨后求取該點與周圍鄰域中任意一點pj之間的距離，即模長m以及兩點的法向量之間內積wr。當wr＜0，則令wr=0。

式中：wri與wrj為內積對應的三維空間點。

代入m與n，從而解出特征保持因子Ws（n-1）以及光滑濾波因子Wc（m）。利用特征保持因子與光滑濾波因子得出雙邊濾波因子[5]，對三維數(shù)據(jù)點pi移動，同理完成所有點云操作，得出最終點云。

對其在不同kN值下濾除效果進行分析，以濾除噪點個數(shù)為縱坐標，kN值為橫坐標，建立關系曲線如圖7所示。由圖7可知，當kN值小于8時，隨著kN值增加，濾除噪點個數(shù)m顯著增加，但當kN值大于8，雖個數(shù)繼續(xù)增加，但濾除噪點個數(shù)顯著減小。

圖7 kN值與濾波本領關系Fig.7 Relationship betweenkNvalue and filtering power

由圖8可知，隨著kN值增加，濾波消耗時間近似成正比例函數(shù)增加。故綜合分析濾波時間與濾波本領，選定kN值為8。

圖8 計算耗時與kN值關系Fig.8 Relationship between calculation time andkNvalue

4.3 煤堆體積測算實驗

為驗證體積測算準確度，搭建微型煤場，將已知質量的煤堆放入煤場中。煤堆與煤場邊緣有貼合的情況下，每組實驗進行10次得到結果如表3所示。實驗結果表明，當煤堆模型表面即為所有煤炭時，測量精度較高，相對誤差可達2.75%。當被測物貼合載物空間邊緣時，測量精度下降嚴重，當煤炭覆蓋煤場全部地面時，依據(jù)煤場空間體積進行相關估算，加入此體積后，測量精度有所提升，相對誤差基本穩(wěn)定在5%之內，符合測量要求。

表3 煤堆質量測量實驗結果表Tab.3 Coal pile quality measurement experimental results table

5 結論

針對已有盤煤儀存在標定誤差大、點云濾波算法失效等問題，以及煤場中斗輪機等干擾物影響導致模型失真的問題，提出相應解決方案：

1）改進DLT標定算法，考慮光學畸變等因素，引入像平面坐標修正量及像平面坐標觀測值修正量，將特征點在各個方向殘差控制在2個像素之內。

2）通過改進雙邊濾波算法，有效剔除離群點，平滑模型點云。

3）基于霍夫變換和距離閾值分割，有效剔除干擾信息，對斗輪機、煤場墻壁等具有較強過濾作用。

4）提出基于顏色和法向量的點云分割方案，排除運輸車、石堆等干擾物影響，測量相對誤差控制在2.75%左右，確保測量結果更為精準。