智慧礦山擋墻狀態(tài)檢測方法

許聯(lián)航 李曦 郭敘森 李靜

摘要：無人駕駛車輛在礦山行駛過程中，如果礦區(qū)擋墻出現(xiàn)破損而沒有被及時發(fā)現(xiàn)并修復，車輛在行駛或卸載時超出擋墻安全范圍，易造成安全事故?，F(xiàn)有的擋墻狀態(tài)檢測方法多是基于車端、無人機傳感設備采集的點云數(shù)據(jù)，視野有限，稀疏性較大，穩(wěn)定性差，且缺乏針對擋墻狀態(tài)完整性檢測的方法。針對上述問題，提出了一種基于路側(cè)激光雷達傳感器的擋墻狀態(tài)完整性檢測方法。采用分辨率較高的路側(cè)激光雷達傳感器采集車輛行駛區(qū)域的擋墻點云數(shù)據(jù)，采用多邊形區(qū)域濾波及體素柵格化獲得完整的擋墻點云數(shù)據(jù)。采用滑動尋跡搜索技術，沿著擋墻延伸方向?qū)⑵鋭澐殖勺訂卧?，以適應不同形狀擋墻。針對礦區(qū)場地不平整及遠處點云數(shù)據(jù)稀疏帶來的誤檢問題，采用高度差閾值和密度閾值雙閾值法，通過檢測子單元的缺陷情況得到整個擋墻狀態(tài)的完整性檢測。采集了內(nèi)蒙古某礦區(qū)“L”型、“S”型擋墻的點云數(shù)據(jù)，并在有遮擋和無遮擋的場景下進行現(xiàn)場試驗，結(jié)果表明，該檢測方法對不同形狀擋墻的缺陷均具有較強的檢測能力，能夠?qū)崟r識別并標記出點云數(shù)據(jù)的破損部位。

關鍵詞：智慧礦山；無人駕駛礦車；道路擋墻；點云；體素柵格化；路側(cè)激光雷達傳感器中圖分類號： TD634??? 文獻標志碼： A

Method for detecting the status of retaining walls in intelligent mines

XU Lianhang1， LI Xi2， GUO Xusen2， LI Jing2

（1. CHN Energy Shendong Coal Group Co.， Ltd.， Ordos 017209， China；

2. Aerospace Heavy Industry Co.， Ltd.， Xiaogan 432000， China）

Abstract： During the driving process of unmanned vehicles in mines， if the retaining wall in the mining area is damaged and not detected and repaired in a timely manner， the vehicle may exceed the safety range of the retaining wall during driving or unloading. It can easily cause safety accidents. The existing methods for detecting the status of retaining walls are mostly based on point cloud data collected by vehicle and drone sensing devices. The methods have limited field of view， high sparsity and poor stability. There is a lack of detection methods for the integrity status of retaining walls. In order to solve the above problems， a method for detecting the integrity of retaining wall status based on roadside LiDAR sensors is proposed. A high-resolution roadside LiDAR sensor is used to collect point cloud data of the retaining wall in the driving area of the vehicle. Polygonal area filtering and voxel rasterization are used to obtain complete point cloud data of the retaining wall. A sliding trace search technique is used to divide the retaining wall into sub units along its extension direction to accommodate the different shaped retaining walls. In response to the problem of false detection caused by uneven mining sites and sparse remote point cloud data， a dual threshold method of height difference threshold and density threshold is adopted. It detects the integrity of the entire retaining wall status by detecting the defects of subunits. The methodcollects point cloud data of "L" and "S" type retaining walls in a mining area in Inner Mongolia. The on-site experiments are conducted in both occluded and unobstructed scenarios. The results show that this detection method has strong detection capability for defects in different shapes of retaining walls. The method can identify and mark the damaged parts of point cloud data in real-time.

Key words： intelligent mine; unmanned mining vehicle; road retaining walls; point cloud; voxel rasterization; roadside LiDAR sensor

0 引言

礦山作業(yè)中，礦車安全行駛的屏障是道路擋墻。擋墻分布于排土場和主干道左、中、右行駛區(qū)域的邊界，在智慧礦山無人車輛行駛過程中，如果礦區(qū)擋墻出現(xiàn)破損而沒有被及時發(fā)現(xiàn)并修復，車輛在行駛或卸載時超出擋墻安全范圍，容易造成安全事故，因此需要實時監(jiān)測擋墻的變化，將破損區(qū)域信息及時發(fā)布至管控中心，協(xié)調(diào)推土機等工程機械對擋墻進行修復[1-3]。

礦山道路復雜、擋墻形狀分布不一且時刻在變化，難以采用統(tǒng)一模型進行準確的特征提取以實現(xiàn)擋墻狀態(tài)實時檢測。目前，面向礦區(qū)擋墻的感知方法主要是實現(xiàn)擋墻的識別。文獻[4]提出了二次柵格化地面分割算法，將三維數(shù)據(jù)映射于二維平面上，通過比對柵格、鄰近柵格間信息值與設置閾值完成一次檢測，再調(diào)整窗口尺度，滑動的完成二次檢測，以實現(xiàn)對礦區(qū)不平整道路與擋墻交界的識別。文獻[5]提出將車載激光雷達掃描的點云數(shù)據(jù)投影至二維扇形柵格圖，通過步進點的設置迭代更新區(qū)域內(nèi)高度信息，以避免可行駛區(qū)域的錯誤檢測。文獻[6]擬合三角網(wǎng)格內(nèi)數(shù)據(jù)，通過方差獲得交界網(wǎng)絡及目標網(wǎng)絡，再進一步分別從突變閾值和坡度閾值區(qū)分路面點和擋墻點。文獻[7]設計了 PGBD （Probability Grid Berm Detection，基于柵格地圖概率值的擋墻檢測）算法，通過采用貝葉斯濾濾波器對二維高差信息構(gòu)建概率網(wǎng)格圖，再擬合矩形來完成對擋墻邊界的檢測。然而上述方法是基于車端視角，視野有限，且數(shù)據(jù)是在運動狀態(tài)下采集的，缺乏穩(wěn)定性，稀疏性較大，不能滿足擋墻狀態(tài)檢測對精度、時效的要求。文獻[8]通過融入 RANSAC（Random SampleConsensus，隨機采樣一致性）算法來近似曲面的幾何結(jié)構(gòu)，將特征點與領域點構(gòu)成的空間向量夾角作為判斷依據(jù)擬合平面點集，從而實現(xiàn)對礦區(qū)狹長道路與路沿的邊緣提取。該方法基于無人機，雖然有全局的視野，但其更新頻率低、采集難度大，不適用于多變的擋墻狀態(tài)檢測任務。

現(xiàn)有的擋墻狀態(tài)檢測方法多是基于車端、無人機傳感設備采集的點云數(shù)據(jù)，視野有限、稀疏性較大，且點云數(shù)據(jù)是動態(tài)的，缺乏穩(wěn)定性，不能滿足擋墻狀態(tài)檢測對精度、時效的要求。另外，現(xiàn)有方法多為提取行駛道路上的擋墻邊界信息，缺乏針對礦區(qū)擋墻狀態(tài)完整性檢測的方法。因此，本文提出了一種基于路側(cè)激光雷達傳感器的擋墻狀態(tài)完整性檢測方法。采用路側(cè)激光雷達傳感器采集車輛行駛區(qū)域的擋墻點云數(shù)據(jù)，經(jīng)多邊形濾波及點云結(jié)構(gòu)化的處理后，對分布不一的擋墻目標采用滑動尋跡搜索算法，結(jié)合雙閾值濾波實現(xiàn)用統(tǒng)一的模型完成對多樣化擋墻全天候的動態(tài)檢測，能夠?qū)崟r識別并標記出點云數(shù)據(jù)破損部位，為無人駕駛提供更好的安全保障，協(xié)助礦山管理人員及時了解及管理作業(yè)環(huán)境[9-10]。

1 擋墻狀態(tài)完整性檢測方法

基于路側(cè)激光雷達傳感器的擋墻狀態(tài)完整性檢測方法流程如圖1所示。

1.1 區(qū)域擋墻濾波

礦區(qū)道路不規(guī)則，原始點云數(shù)據(jù)中包含起伏地面、植被等物體信息。采用分辨率較高的路側(cè)激光雷達傳感器采集車輛行駛區(qū)域的擋墻點云數(shù)據(jù)，采用 Winding Number Pnploy算法[11-12]進行背景濾波，以過濾擋墻以外的點云數(shù)據(jù)。具體步驟：在擋墻點云數(shù)據(jù)上以一定間隔按照順序（不可交叉）標注邊界點，這些邊界點構(gòu)成一個多邊形；采用回旋計數(shù)方式統(tǒng)計點云數(shù)據(jù)中的每一個點在多邊形內(nèi)出現(xiàn)的次數(shù)，即記錄多邊形環(huán)繞點的次數(shù)，當統(tǒng)計環(huán)繞次數(shù)不為0時，該點即被判斷為擋墻點。

1.2 柵格化地圖表征點云數(shù)據(jù)

預設擋墻數(shù)據(jù)的體素形式數(shù)據(jù)為 V，具體計算步驟：計算點云數(shù)據(jù)在 x，y，z 3個方向所占空間，確定結(jié)構(gòu)化區(qū)域的大?。辉O置三維體素邊長 m，將空間均勻劃分成一系列體素格子，每個格子vi（i =1;2;···; M）取自身體素中心點的xi，yi作為體素格子v1（i），v2（i）的索引；將體素格子所包圍的所有點云數(shù)據(jù) z 方向的值擬合成高斯分布，高斯分布的均值作為該體素格子的高度v3（i）。進一步將V投影到 BEV（Bird's-eye-view，鳥瞰圖或俯視圖）平面并構(gòu)建柵格地圖，每個柵格元素記錄元素位置及該位置 z 方向所有體素的最大高度、最小高度及體素個數(shù)，記為P，P 2 R5（R 為實數(shù)集），從而可降低計算冗余度。

1.3 滑動尋跡搜索算法

擋墻柵格地圖的坐標位置所呈現(xiàn)出的 BEV 視角呈帶狀形態(tài)分布。由于地勢不同，呈現(xiàn)出的形狀分布也不同，主要由“一”型、“L”型、“S”型等組合連接構(gòu)成[13-16]。這種不規(guī)則的分布，難以用簡單的規(guī)則將擋墻分割成一系列子區(qū)域進行分區(qū)域檢測。鑒此，提出一種滑動尋跡搜索算法。先根據(jù)柵格地圖中的擋墻區(qū)域“由面至線”提取出擋墻的骨骼線，然后沿骨骼線方向以固定步長劃分子區(qū)域，在該區(qū)域骨骼線法向量方向構(gòu)建包圍框，再“由點拓面”搜索被檢測框包圍的擋墻區(qū)域。該算法將子區(qū)域的中心鎖定在目標區(qū)域骨骼線上，結(jié)合法向量方向調(diào)整檢測框偏置角度，使不同形狀的擋墻能夠沿其延伸方向被切分。具體實現(xiàn)步驟如下。

1）通過 PCA（Principal Component Analysis，主成分分析）法，將擋墻點云數(shù)據(jù)最大特征值對應的特征向量的方向旋轉(zhuǎn)到與 x 軸平齊，這一過程將擋墻的延伸主方向歸一化到 x 軸，為后續(xù)步長的劃分提供統(tǒng)一的基準。采用非線性最小二乘法將 BEV 視角下的擋墻散點擬合為一條曲線（圖2（a））。然后在擬合曲線上沿曲線延伸方向依次按設定的步長d = m，標記步進點sk，其中k =1;2;···;len（sx ）/d（len（·）為獲取向量的長度信息），如圖3所示，其中法向量夾角為

式中sx（k），sy（k）分別為第 k 個步進點在 x，y 方向的坐標。

2）以步進點sk為中心點，固定檢測框的寬度 w 和長度 l。與常規(guī)檢測框不同，滑動尋跡搜索算法采用固定尺度框，增加了方向偏置，即根據(jù)法向量夾角αk 的變化旋轉(zhuǎn)檢測框至法向量方向（法向量方向可視化效果如圖2（b）所示）。檢測框的4個頂點坐標為

式中：?=π-；（flx，fly ），（blx，bly），（brx，bry），（frx，fry）分別為左上點、左下點、右下點、右上點的坐標（圖4）。

3）以sk為中心點，以fl，bl，br，fr為4個角點構(gòu)成檢測框，搜索落入檢測框中的點并標記 mask 為 T，否則 mask 為 F。被標記為 T 的點所組成的集合記為sk的子單元，如圖2（c）所示。通過以上步驟獲得的檢測子單元能夠均勻地將擋墻完整劃分。

1.4 擋墻異常識別

擋墻在正常情況下高程超過閾值，若存在連續(xù)高度低于閾值的情況說明擋墻異?；虼嬖谒輪栴}，此時，高度信息是判別異常情況的依據(jù)[17-20]。點云數(shù)據(jù)的三維特征具有高度信息，且是在統(tǒng)一的高程參考系下進行采集。但礦區(qū)場地路面不平整且擋墻分布較廣，造成絕對高度誤差較大，因此，采用高度差閾值和密度閾值雙閾值法檢測擋墻的缺陷情況。具體實現(xiàn)原理：根據(jù)子單元內(nèi)柵格點的最小高度及最大高度計算整個子單元的最小高度hk-min 和最大高度hk-max，從而得到子單元的高度差Δhk。根據(jù)子單元內(nèi)柵格點的體素個數(shù)可得整個子單元的體素個數(shù)nk，從而得到子單元的密度。通過高度差閾值可以判斷子單元的缺陷情況，通過密度閾值可以消除在遠處擋墻點云數(shù)據(jù)稀疏的情況下，點云數(shù)據(jù)缺失所造成的缺陷誤檢。因此，需要同時滿足以下2項約束條件才可被檢測為缺陷區(qū)域：

式中：Δh為高度差閾值；Δn為密度閾值。

2 實驗驗證

實驗數(shù)據(jù)來自于內(nèi)蒙古某煤礦礦區(qū)路側(cè)端采集的激光雷達點云數(shù)據(jù)，實驗數(shù)據(jù)通過非重復式掃描方式獲得，該掃描方式可隨積分時間的延長而獲得稠密的場景點云數(shù)據(jù)。本實驗積分時間為1 s，可獲取到視場覆蓋率較大的點云數(shù)據(jù)。路側(cè)激光雷達傳感器固定安裝于距地面高度5 m處。目標擋墻總長度為133 m，礦區(qū)內(nèi)路面地勢的不平整造成擋墻沿線最大高度差達6.7 m。

本實驗體素邊長 m 為0.1，高度差閾值Δh 為0.7 m，密度閾值Δn 為5，不在閾值范圍內(nèi)的被檢測出來，并用紅色框標記。通過檢測一系列子單元的缺陷情況得到整個擋墻狀態(tài)的完整性檢測，效果如圖2所示?？煽闯霰粰z測出缺陷的區(qū)域擋墻高度低于周邊擋墻且沿擋墻坡度分布。

為了驗證檢測方法的魯棒性，分別采集現(xiàn)場擋墻形態(tài)為有棱角的“L”型及無棱角的“S”型這2種具有代表性的點云數(shù)據(jù)。考慮到有多輛車輛作業(yè)，會給激光雷達傳感設備帶來遮擋，從而影響檢測精度，因此增加了面向有車輛遮擋的場景實驗。

“L”型擋墻狀態(tài)檢測效果如圖5所示，可看出共有6處缺陷區(qū)域。手工測量結(jié)果（表1）與實驗結(jié)果一致，驗證了本文檢測方法對“L”型擋墻狀態(tài)檢測的有效性。

同理，“S”型擋墻狀態(tài)檢測效果如圖6所示，可看出共有6處缺陷區(qū)域。手工測量結(jié)果（表2）與實驗結(jié)果一致，驗證了本文檢測方法對“S”型擋墻狀態(tài)檢測的有效性。

在有車輛遮擋路側(cè)激光雷達場景下的擋墻狀態(tài)檢測效果如圖7所示，可看出共有5處缺陷區(qū)域。實驗結(jié)果和手工測量結(jié)果（表3）得到的擋墻狀態(tài)一致。

3 結(jié)語

提出了一種基于路側(cè)激光雷達傳感器的擋墻狀態(tài)完整性檢測方法。采用多邊形區(qū)域濾波及體素柵格化獲得完整的擋墻點云數(shù)據(jù)，采用滑動尋跡搜索技術沿著擋墻延伸方向?qū)⑵鋭澐殖勺訂卧捎酶叨炔铋撝岛兔芏乳撝惦p閾值法，通過檢測子單元的缺陷情況得到整個擋墻狀態(tài)的完整性檢測。在擋墻形態(tài)為有棱角的“L”型、無棱角的“S”型及存在車輛遮擋的場景下進行了實驗，實驗結(jié)果和手工測量數(shù)據(jù)基本一致，說明該檢測方法對不同形狀擋墻的缺陷均具有較強的檢測能力，能夠?qū)崟r識別并標記出點云數(shù)據(jù)的破損部位，可以應用于露天礦山的擋墻檢測。

參考文獻（References）：

[1] 戴亨，張巴圖.露天礦山運輸無人駕駛系統(tǒng)作業(yè)方式[J].露天采礦技術，2020，35（5）：20-24.

DAI Heng， ZHANG Batu. Operation modes of driverless system in open-pit mine haulage[J]. Opencast Mining Technology，2020，35（5）：20-24.

[2] 于海旭，杜志勇，魏志丹，等.我國礦區(qū)無人駕駛技術現(xiàn)狀與發(fā)展趨勢分析[J].工礦自動化，2022，48（增刊2）：82-87.

YU Haixu，DU Zhiyong，WEI Zhidan，et al. Analysis on the current situation and development trend of unmanned driving technology in mining areas in China[J]. Journal of Mine Automation，2022，48（S2）：82-87.

[3] 孫溥茜.推進礦區(qū)無人駕駛，礦山生態(tài)圈協(xié)同共贏[J].機器人產(chǎn)業(yè)，2021（5）：52-55.

SUN Puqian. Promote unmanned driving in mining areas and win-win collaboration in mine ecosystem[J]. Robot Industry，2021（5）：52-55.

[4] LU Xiaowei，AI Yunfeng，TIAN Bin. Real-time mine road boundary detection and tracking for autonomous truck[J]. Sensors，2020，20（4）：1121.

[5] 黃立明，李華志，余貴珍.一種基于激光雷達的露天礦區(qū)可行駛區(qū)域檢測方法：CN202110581104.6[P].2021-06-25.

HUANG Liming，LI Huazhi，YU Guizhen. A drivingarea detection method based on LiDAR in open-pit mining area：CN202110581104.6[P].2021-06-25.

[6] 任良才，趙斌，楊超，等.一種無人礦卡行駛場景的路面及兩側(cè)擋墻檢測方法：CN202111174666.5[P].2022-01-14.

REN Liangcai，ZHAO Bin，YANG Chao，et al. The invention relates to a detection method of road surface and retaining wall on both sides of the driving scene of unmanned mining truck：CN202111174666.5[P].2022-01-14.

[7] 孟德將，田濱，潘子宇，等.自動駕駛車輛在露天煤礦排土場的擋墻檢測方法[C]. IEEE國際智能交通系統(tǒng)會議（ITSC），印第安納波利斯，2021：2829-2834.

MENG Dejiang，TIAN Bin，PAN Ziyu，et al. Berm detection for autonomous truck in surface mine dump area [C]. IEEE International Intelligent Transporta- tion Systems Conference （ITSC）， Indianapolis，2021：2829-2834.

[8] 王植，安世緣，鄒俊，等.露天礦點云數(shù)據(jù)中臺階線提取[J].東北大學學報（自然科學版），2021，42（9）：1323-1328.

WANG Zhi，AN Shiyuan，ZOU Jun，et al. Step line extraction from point cloud data of open-pit mine[J]. Journal of Northeastern University（Natural Science），2021，42（9）：1323-1328.

[9] 楊榮明，丁震，楊健健，等.基于平行控制理論的礦區(qū)無人駕駛卡車仿真系統(tǒng)[J].工礦自動化，2022，48（11）：80-83，100.

YANG Rongming，DING Zhen，YANG Jianjian，et al. Simulation system of mine unmanned vehicle based on parallel control theory[J]. Journal of Mine Automation，2022，48（11）：80-83，100.

[10] 閆凌，黃佳德.礦用卡車無人駕駛系統(tǒng)研究[J].工礦自動化，2021，47（4）：19-29.

YAN Ling，HUANG Jiade. Research on unmanned driving system of mine-used truck[J]. Industry and Mine Automation，2021，47（4）：19-29.

[11] FRANKLIN W R. Pnpoly-point inclusion in polygon test [EB/OL]. [2023-08-18]. https：//wrfranklin.org/ Research/Short_Notes/pnpoly.html.

[12] HORMANNK，AGATHOS A. The point in polygon problem for arbitrary polygons[J]. Computational Geometry：Theory and Applications，2001，20（3）：131-144.

[13] 白運波.無人駕駛車輛多目標檢測與跟蹤研究[D].重慶：重慶理工大學，2021.

BAI Yunbo. Research on multi target detection andtracking? of? driverless? vehicle[D]. Chongqing： Chongqing University of Technology，2021.

[14] 葛淑，王福云，楊軍，等.智能采礦作業(yè)制定標準：用于自主采礦運輸?shù)闹悄苘囕v[J]. IEEE 智能汽車學報，2022，7（3）：413-416.

GE Shu，WANG Fuyun，YANG Jun，et al. Making standards for smart mining operations： intelligent vehicles for autonomous mining transportation[J]. IEEE Transactions on Intelligent Vehicles，2022，7（3）：413-416.

[15] 阮順領，焦鑫，景瑩，等.一種露天礦區(qū)非結(jié)構(gòu)化道路分割檢測方法[J].測繪科學，2022，47（6）：204-212.

RUAN Shunling，JIAO Xin，JING Ying，et al. Road detection in mining area based on bilateral segmentation optimization network[J]. Science of Surveyingand Mapping，2022，47（6）：204-212.

[16] 李宏剛，王云鵬，廖亞萍，等.無人駕駛礦用運輸車輛感知及控制方法[J].北京航空航天大學學報，2019，45（11）：2335-2344.

LI Honggang，WANG Yunpeng，LIAO Yaping，et al. Perception and control method of driverless mining vehicle[J]. Journal of Beijing University of Aeronautics and Astronautics，2019，45（11）：2335-2344.

[17] 劉旭，黃軒，王國軍.自動駕駛的擋墻檢測方法，裝置及車輛：CN202211100104.0[P].2022-12-09.

LIU Xu，HUANG Xuan，WANG Guojun. Retaining wall detection method，device and vehicle for automatic driving：CN202211100104.0[P].2022-12-09.

[18] 趙斌，李金銘，唐建林.一種適用于自動駕駛車輛的擋土墻檢測方法及系統(tǒng)：CN202111424522.0[P].2022-04-12.

ZHAO Bin，LI Jinming，TANG Jianlin. The invention relates to a retaining wall detection method and system suitable for automatic driving vehicles：：CN202111424522.0[P].2022-04-12.

[19] 張明，周曉陽，郭勇，等.改進U-Net模型訓練方法、露天礦道路擋墻缺口檢測方法及裝置： CN202211497613.1[P].2023-03-10.

ZHANG Ming，ZHOU Xiaoyang，GUO Yong，et al. Improved U-Net model training method，open pit road retaining wall gap detection method and device： CN202211497613.1[P].2023-03-10.

[20] 賴觀其，郭文敬.擋土墻無損檢測方法介紹[J].路基工程，2004（1）：12-14.

LAI? Guanqi， GUO? Wenjing. Introduction? of nondestructive testing method for retaining wall[J]. Subgrade Engineering，2004（1）：12-14.