基于嵌入式Linux與深度視覺的井下多軸機械臂系統(tǒng)設計

楊鵬民

(中煤陜西榆林能源化工有限公司，陜西 榆林 719000)

煤炭是我國一次性消費能源中經濟可靠的資源，一直在我國能源生產總量和消費總量中占據(jù)重要地位，是我國能源安全的壓艙石[1-3]。煤礦智能化作為目前煤炭工業(yè)高質量發(fā)展新階段的核心技術支撐，代表著煤炭生產力和生產方式革命的新方向[1，4]，對于提升煤礦安全生產水平、保障煤炭穩(wěn)定供應具有重要意義[3]。

目前，與煤礦成套采掘裝備技術相比，我國煤礦輔助作業(yè)自動化水平遠落后于國外采煤發(fā)達國家，煤礦井下輔助作業(yè)的人力成本約占煤礦開采總人力成本的3/4，導致煤礦開采間接成本過高[5，6]。井下輔助架管是煤礦輔助開采的重要組成之一，國內外對于煤礦井下輔助管道安裝設備的研究較少，大多數(shù)礦企仍采用傳統(tǒng)人工安裝。宋和義[5]基于傳統(tǒng)機械手爪和鉆機設計經驗，研究設計了一種集運管、架管、接管、固管為一體的煤礦巷道架管裝備。該文獻是從機械結構的角度設計架管設備，進而實現(xiàn)少人化操作。陳瑞云等[6，7]進一步開展了輔助架管機械手爪的優(yōu)化設計。但是，上述文獻中研究的輔助管道安裝的架管機主要進行了結構設計與運動學分析，仍屬于理論研究階段，僅通過仿真和理論分析驗證設計的有效性，未形成設備樣機并結合煤礦井下實際巷道場景開展實驗分析。因此，研究直接應用于實際煤礦井下輔助管道安裝設備對于降低人力成本，提高輔助作業(yè)自動化水平具有重要意義和經濟價值。

本文研究設計了一種應用于實際煤礦井下的輔助管道安裝的煤礦井下多軸機械臂系統(tǒng)，并基于實際煤礦井下巷道接管場景，進行接管環(huán)境三維重建與管架目標識別實驗分析。

1 多軸機械臂感知與控制系統(tǒng)

在實際井下輔助作業(yè)場景中，為實現(xiàn)有效感知井下巷道狀態(tài)和準確輔助接管，本文基于嵌入式Linux操作系統(tǒng)、多源傳感器信號采集，分析與融合處理、多軸液壓機械臂及其控制系統(tǒng)，智能算法等技術，設計研發(fā)了多軸機械臂感知與控制系統(tǒng)。該系統(tǒng)包含三個子系統(tǒng)：整機控制系統(tǒng)，多軸液壓機械臂控制系統(tǒng)和多源信息感知與處理系統(tǒng)。

整機控制系統(tǒng)作為核心，同時連接多軸液壓機械臂控制系統(tǒng)，多源信息感知與處理系統(tǒng)和遠程服務端。遠程服務端通過有線或無線通信向多軸機械臂系統(tǒng)下發(fā)動作控制指令，整機控制系統(tǒng)將接收到的指令進行解析，隨后通過與機械臂各部分的通信接口對進行控制，如多軸液壓機械臂動作控制、機械臂工作模式與參數(shù)選擇等，在無遠程服務端下發(fā)控制指令情況下，整機控制系統(tǒng)將按照預設程序進行機械臂控制，通過多軸液壓機械臂控制系統(tǒng)實時采集、分析和處理機械臂壓力、位移、角度等傳感器的動態(tài)反饋數(shù)據(jù)，并根據(jù)反饋數(shù)據(jù)結合機械臂閉環(huán)PID控制算法完成機械臂動作控制和位置調整，構建針對多軸液壓機械臂的動作閉環(huán)控制系統(tǒng)，同時系統(tǒng)將根據(jù)傳感器的反饋數(shù)據(jù)實現(xiàn)對機械臂運行狀態(tài)的實時監(jiān)控與異常狀態(tài)預警。整機控制系統(tǒng)還將從多源信息感知與處理系統(tǒng)獲取井下巷道環(huán)境狀態(tài)數(shù)據(jù)，如溫度信息、濕度信息、甲烷濃度等參數(shù)，并對異常環(huán)境狀態(tài)數(shù)據(jù)進行預警；此外，多源信息感知與處理系統(tǒng)還將采集紅外視頻圖像和激光雷達點云數(shù)據(jù)處理后經整機控制系統(tǒng)上傳至遠程服務端，服務端基于圖像和點云數(shù)據(jù)進行巷道管架目標識別后，反饋下發(fā)機械臂控制指令，調整機械臂動作。

1.1 整機控制系統(tǒng)

本文設計的整機控制系統(tǒng)功能架構如圖1所示，共分為底層硬件，通信接口，系統(tǒng)應用，指令交互和控制單元五層結構。

圖1 機械臂整機控制系統(tǒng)架構

1.1.1 整機控制系統(tǒng)硬件設計

整機控制系統(tǒng)采用高性能ARM Cortex-A9架構內核的四核心NXP i.MX6Q處理器[10，11]作為控制系統(tǒng)核心單元，該處理器每個核心的主頻高達1.2GHz，并擁有1MB L2 Cache，支持DDR2、DDR3內存，還擁有豐富的存儲器和外設接口，它的外圍電路設計簡單，能夠有效降低開發(fā)難度和成本?；贜XP i.MX6Q處理器的整機控制系統(tǒng)硬件結構如圖2所示。系統(tǒng)硬件中的NOR Flash用于存儲嵌入式Linux操作系統(tǒng)的U-boot，eMMC閃存用于存儲操作系統(tǒng)，存放可執(zhí)行程序與數(shù)據(jù)，最高可支持32GB容量。以太網(wǎng)接口用于實現(xiàn)網(wǎng)絡環(huán)境下的程序升級，與遠程服務端交互以及后期功能的擴展。多路DAC控制接口用于實現(xiàn)機械臂油缸、液壓馬達等部分動作控制。壓力傳感器、位移傳感器、角度傳感器等通信接口均采用模擬量輸入采集接口。CAN總線，RS232/485通信接口用于和多軸機械臂其他執(zhí)行機構和模塊連接交互。

圖2 機械臂整機控制系統(tǒng)硬件結構

1.1.2 整機控制系統(tǒng)軟件設計

機械臂整機控制系統(tǒng)軟件設計是基于嵌入式Linux操作系統(tǒng)實現(xiàn)的，得益于Linux系統(tǒng)的開源生態(tài)，擁有大量基礎支持軟件包，常見的通信接口都擁有穩(wěn)定的協(xié)議驅動包，使應用程序開發(fā)更佳便捷高效。基于輔助接管操作的需求，整機控制系統(tǒng)軟件需實現(xiàn)的功能程序主要有：傳感數(shù)據(jù)采集與處理、指令數(shù)據(jù)收發(fā)與解析、機械臂動作控制、機械臂狀態(tài)分析、上下級數(shù)據(jù)交互、異常報警以及數(shù)據(jù)實時分析等功能。整機控制系統(tǒng)軟件架構如圖3所示，基于圖3架構設計的系統(tǒng)軟件框架如圖4所示。

圖3 基于嵌入式Linux系統(tǒng)的整機控制系統(tǒng)軟件架構

圖4 整機控制系統(tǒng)軟件設計框架

1.2 多軸液壓機械臂控制系統(tǒng)

本文設計的多軸液壓機械臂控制系統(tǒng)功能架構與整機控制系統(tǒng)架構類似，如圖5所示，共分為底層硬件，通信接口，系統(tǒng)應用和指令交互四層結構，整機控制系統(tǒng)作為上位機或者遙控器向機械臂控制系統(tǒng)下發(fā)控制指令。

圖5 多軸液壓機械臂控制系統(tǒng)功能架構

液壓機械臂控制系統(tǒng)的硬件結構與整機控制系統(tǒng)相似，如圖6所示。機械臂控制系統(tǒng)軟件架構與整機控制系統(tǒng)相似，整機控制系統(tǒng)與機械臂通過USB2.0接口通信，下發(fā)機械臂控制指令。本文機械臂控制系統(tǒng)的工作流程如圖7所示。

圖6 多軸液壓機械臂控制系統(tǒng)硬件結構

圖7 多軸液壓機械臂控制系統(tǒng)工作流程

1.3 多源信息感知與處理系統(tǒng)

該系統(tǒng)主要實現(xiàn)兩個功能：①感知井下巷道環(huán)境狀態(tài)數(shù)據(jù)，如溫度信息、濕度信息、甲烷濃度等參數(shù)，并對異常環(huán)境狀態(tài)數(shù)據(jù)進行預警；②采集紅外視頻圖像和激光雷達點云數(shù)據(jù)處理后經整機控制系統(tǒng)上傳至遠程服務端，服務端基于圖像和點云數(shù)據(jù)進行巷道接管環(huán)境三維重建與管架目標識別后，反饋下發(fā)機械臂控制指令，調整機械臂動作。多源信息感知與處理系統(tǒng)硬件結構如圖8所示，硬件核心仍采用高性能的四核心NXP i.MX6Q處理器，系統(tǒng)設計的多種通信接口用于采集多種傳感器數(shù)據(jù)，溫濕度，瓦斯?jié)舛葌鞲衅鞑捎肦S485通信接口；激光雷達傳感器采用海伯森科技的HPS-3D160面陣固態(tài)激光雷達傳感器，可采用USB通信和RS232通信獲取點云數(shù)據(jù)；設計的以太網(wǎng)通信接口用于獲取紅外攝像機采集的圖像數(shù)據(jù)。

圖8 多源信息感知與處理系統(tǒng)硬件結構

系統(tǒng)的軟件設計與與整機控制系統(tǒng)相似，仍是基于嵌入式Linux系統(tǒng)進行軟件設計，軟件架構與圖3所示相似。多源信息感知與處理系統(tǒng)軟件設置3個任務：①與整機控制系統(tǒng)間交互，通過USB通信接口與整機控制系統(tǒng)連接，接收數(shù)據(jù)采集與上傳指令，根據(jù)采集指令調節(jié)各傳感器，激光雷達和紅外圖像數(shù)據(jù)采集的頻率，同時根據(jù)整機控制系統(tǒng)下發(fā)的數(shù)據(jù)上傳指令，實時上報所需傳感器數(shù)據(jù)；②按照設定的傳感器數(shù)據(jù)采集頻率，依次采集各傳感器數(shù)據(jù)并存儲于本地數(shù)據(jù)硬盤；③對采集到的傳感器數(shù)據(jù)進行數(shù)據(jù)清洗等預處理，對異常數(shù)據(jù)進行預警并主動上報整機控制系統(tǒng)。

本文設計的多軸機械臂感知與控制系統(tǒng)目前已實際應用于煤礦井下的管道輔助安裝。

2 巷道接管環(huán)境激光掃描與管架目標識別

2.1 激光雷達點云數(shù)據(jù)處理與降采樣

激光雷達掃描作為正在快速發(fā)展的新型測繪技術，能夠快速，準確的獲取三維空間信息[12，13]，在許多人工智能的應用場景中發(fā)揮了重要作用。激光雷達傳感器通過發(fā)射激光線束來探測物體的距離，同時光束打到不同物體上會形成不同強度的回波，多線束激光按照一定的規(guī)矩進行掃描，形成三維環(huán)境的點云圖。受環(huán)境以及采集設備等因素影響，往往會造成采集到的點云數(shù)據(jù)中存在噪聲和離群點[12]。此外，采集的原始高密度點云數(shù)據(jù)用于后續(xù)的分析處理，會帶來巨大計算量和消耗大量硬件資源，增加系統(tǒng)負荷，降低處理效率。因此，對采集到的原始點云數(shù)據(jù)需進行噪聲剔除和降采樣處理[14]。

煤礦巷道背景下的管架點云圖實例如圖9所示。從圖9中能夠看出物體的大致輪廓，管道托架、傳送帶托架等，且不同顏色表示不同的回波強度。但是物體輪廓較模糊，且由于傳感器形成的數(shù)據(jù)存在噪聲，即點云中形成離散點云，同時地面?zhèn)魉蛶艿滥繕说臋z測也存在干擾。點云數(shù)據(jù)中噪聲分為一般噪聲和離散噪聲[15，16]，均值濾波能夠對一般噪聲進行去噪[16]，其基本原理是在建立三維點云拓撲關系基礎上，對選取的點云數(shù)據(jù)點的領域內所有點進行加權，利用均值代替點云數(shù)據(jù)點。針對離散噪聲，需進行離散點濾波[17，18]，采用基于K近鄰的去噪方法，首先根據(jù)待處理的點云數(shù)據(jù)，構造KD-tree，建立點云拓撲關系；然后，設定一參考點，計算參考點和K近鄰的平均距離，距離公式為：

式中，k為KD-tree的近鄰系數(shù)，N(q)表示參考點q的K近鄰；其次，根據(jù)設定的經驗閾值，對平均距離d大于閾值的數(shù)據(jù)點進行剔除，小于閾值的保留；按照上一步操作循環(huán)處理所有點云數(shù)據(jù)為止。

圖9 煤礦巷道背景下的管架點云圖實例

為進一步展示去噪處理的效果，噪聲背景下巷道點云數(shù)據(jù)均值濾波去噪處理實例如圖10所示，其中，左側圖片為包含噪聲的點云數(shù)據(jù)，右側圖片為經過去噪處理后的點云數(shù)據(jù)。實例表明，激光雷達掃描通常會產生密度不均勻的點云數(shù)據(jù)，測量中的誤差也會引起稀疏的離群點，使用均值濾波能夠去除明顯離群點，濾除測量噪聲。

圖10 噪聲背景下點云數(shù)據(jù)均值濾波處理實例

巷道點云數(shù)據(jù)經離散點濾波后去除巷道空間的離散點云實例如圖11所示，激光點云噪聲的存在使局部點云特征(如曲面法線或曲率變化)的估計變得復雜，從而導致錯誤的值，進而可能導致點云配準失?。浑x散點濾波通過對每個點的鄰域進行統(tǒng)計分析，并對不符合統(tǒng)計結果的點進行刪除，進而增強了點云數(shù)據(jù)特征。

圖11 巷道點云數(shù)據(jù)經離散點濾波后去除巷道空間的離散點云實例

針對點云降采樣，本文采用經典的體素柵格降采樣算法[14]，能夠在降采樣的同時不破壞點云數(shù)據(jù)的幾何特性，該算法通過在三維空間坐標系中建立體素柵格，再將點云數(shù)據(jù)放入柵格，在三維立方體內用體素中所有點的質心代替體素中其他點。采樣步驟如下[14]：

1)基于點云數(shù)據(jù)坐標集合，計算X、Y、Z三個坐標軸上的最大值X_max、Y_max、Z_max和最小值X_min、Y_min、Z_min；設置體素小柵格的邊長r。

2)根據(jù)X、Y、Z三個坐標軸上的最大和最小值來求點云最小包圍盒的邊長l_x、l_y、l_z，計算公式如下：

l_x=X_max-X_min

(2)

l_y=Y_max-Y_min

(3)

l_z=Z_max-Z_min

(4)

3)計算體素網(wǎng)格的尺寸，計算公式如下：

Dx=?l_x/r」

(5)

Dy=?l_y/r」

(6)

Dz=?l_z/r」

(7)

式中，?」表示數(shù)據(jù)向下取整。

4)計算點云中每個在體素小柵格內的索引h，計算公式如下：

hx=?(x-X_min)/r」

(8)

hy=?(y-Y_min)/r」

(9)

hz=?(z-Z_min)/r」

(10)

5)將h中的元素進行遞增排序，計算每個體素小柵格質心，以質心代替小柵格內的所有點。

2.2 基于圖像和點云數(shù)據(jù)的管架目標識別

為有效識別煤礦井下巷道環(huán)境中管架目標，將識別結果反饋給機械臂，完成輔助管道安裝，分別采用機械臂上安裝的紅外攝像機采集的圖像和安裝的激光雷達采集的點云數(shù)據(jù)研究兩種管架目標識別方法，一種是基于圖像和YOLOv4網(wǎng)絡的管架目標識別，另一種是基于激光雷達點云數(shù)據(jù)和機器學習分類器的管架目標識別算法。這兩種識別方法目前各自單獨與機械臂配合使用。

2.2.1 基于圖像和YOLOv4網(wǎng)絡的管架目標識別

YOLO網(wǎng)絡[9，19]是一種目前使用較多的基于One-Stage思路的目標識別算法，YOLOv4網(wǎng)絡是YOLO網(wǎng)絡的改進版，YOLOv4 能夠降低訓練門檻，大幅度提升了算法的效率和識別精度，還降低來對硬件性能的要求[19]。YOLOv4網(wǎng)絡的結構[19]由四部分組成：輸入，主干網(wǎng)絡，頸部，頭部。網(wǎng)絡結構中的CSPDarknet53作為骨干網(wǎng)絡增加了卷積神經網(wǎng)絡 (CNN)的學習能力，即便將模型輕量化，也能夠保持準確性，同時去掉計算量較高的計算瓶頸結構，并且降低內存占用。Neck部分的主要作用在于能夠擴大感受野以及融合不同尺度特征圖的信息(更好地進行特征融合)。SPP和 PANet分別作為Neck的附加模塊和特征融合模塊；YOLO HEAD模塊作為預測模塊，使用CIOU loss函數(shù)[19]。由于本節(jié)采用YOLOv4網(wǎng)絡進行目標識別的技術相對成熟，許多研究者采用其成功實現(xiàn)目標識別，其網(wǎng)絡結構和使用方法相似，因此，本節(jié)簡要概述使用該網(wǎng)絡進行管架目標識別的過程和結果。

本文將紅外攝像頭采集的視頻流進行切片獲得巷道中管架和管路的圖像，首先對圖像數(shù)據(jù)進行劃分處理，選取有管架目標的有效圖像并人工標注管路與管架，作為訓練集訓練YOLOv4目標檢測網(wǎng)絡，最后利用訓練好的目標檢測網(wǎng)絡對測試集進行管架目標識別。實際井下巷道管架識別效果如圖12所示，表明該網(wǎng)絡能夠有效識別管路(紅色方框內)與管架(綠色方框內)。

圖12 巷道管架與管路識別效果

2.2.2 基于激光雷達點云數(shù)據(jù)和機器學習分類器的管架目標識別

為實現(xiàn)有效的煤礦井下巷道環(huán)境中管架目標識別，將識別結果反饋給機械臂，完成輔助管道安裝。本節(jié)研究一種是基于激光雷達點云數(shù)據(jù)和機器學習分類器的管架目標識別算法。為本文提出的管架目標識別流程如圖13所示。

圖13 基于點云數(shù)據(jù)和機器學習分類器的管架目標識別流程

1)激光點云數(shù)據(jù)采集和處理。對于原始點云數(shù)據(jù)，根據(jù)2.1節(jié)描述的處理方法，需進行預處理。

2)原始點云數(shù)據(jù)中，包含大量巷道墻面，傳送帶以及其他物體等背景點云數(shù)據(jù)，影響，目標識別，因此，需將背景點云數(shù)據(jù)過濾掉，非背景點云進行分割用于提取管路和管架模型。本文采用隨機抽樣一致性算法(Random sample consensus，RANSAC)[20，21]來去除背景點云數(shù)據(jù)。

3)通過點云聚類從非背景點云數(shù)據(jù)中提取待分類目標，把具有相似屬性的數(shù)據(jù)點劃分為同一簇，每一簇點云數(shù)據(jù)則代表對應類別的目標物體。本文采用經典的K-means聚類算法[22]進行點云聚類。

4)目標識別特征提取。基于第三步聚類得到的點云簇，進行特征提取。提取的特征共有7種(參考自文獻[19，23])：F1，點云簇內數(shù)據(jù)點數(shù)，不同大小的物體對其掃描得到的點云數(shù)有一定差異；F2，目標物體到激光雷達的距離；F3，目標物體的長度；F4，目標物體的寬度；F5，目標物體的高度；F6，目標物體的高度與長度比；F7，目標物體的高度與寬度比。

5)基于第4步提取的特征構建目標識別特征集，并劃分訓練集和測試集，訓練集特征數(shù)據(jù)用于訓練機器學習分類器，獲得管架和管路目標識別模型，測試機特征數(shù)據(jù)輸入訓練好的目標識別模型，輸出目標識別結果。

本節(jié)采用煤礦井下實際管道與管架激光點云數(shù)據(jù)進行實驗驗證，手動對非背景點云數(shù)據(jù)進行聚類標注，提出40個管路目標和50個管架目標。然后對這90個目標提取7種(F1—F7)特征。分別隨機選取20個管路目標和25個管架目標的特征樣本作為訓練集，剩余作為測試集。本文選用了經典的機器學習分類器用于管路和管架目標識別，分別是支持向量機(SVM)，K最近鄰(KNN)，隨機森林(RF)，樸素貝葉斯(NB)和Softmax分類器。管路與管架目標識別準確率的對比如圖14所示，其中，采用RF分類器時的識別準確率最高，管路和管架的識別準確率分別可達95.67%和87.67%，驗證了本節(jié)提出的管路和管架識別方法的有效性。

圖14 管路與管架目標識別結果對比

圖15 不同特征維數(shù)下的目標識別結果對比

為進一步驗證本文選用的7種特征的優(yōu)勢，進行了不同維數(shù)特征下的目標識別對比，對比結果如圖15所示。根據(jù)圖中所示結果能夠看出，選取F1—F5這五種特征時，目標識別準確率最低，其次是F1—F6這六種特征下的識別準確率。因此，選取本文使用的F1—F7這7種特征，再結合隨機森林分類器，能夠實現(xiàn)有效的管路和管架識別，具有實際應用的潛力。

3 結 語

本文研究設計了一種應用于實際煤礦井下的多軸機械臂系統(tǒng)，主要包括兩個方面：①基于高性能NXP i.MX6Q處理器，嵌入式Linux操作系統(tǒng)、多源傳感器信號采集，分析與融合處理、多軸液壓機械臂及其控制系統(tǒng)，智能算法等技術，設計研發(fā)了多軸機械臂感知與控制系統(tǒng)；②基于機械臂感知與控制系統(tǒng)采集的激光雷達點云數(shù)據(jù)和紅外視頻圖像，分別提出基于圖像與點云數(shù)據(jù)的管架目標識別方法，紅外圖像結合YOLOv4目標檢測網(wǎng)絡，能夠有效實現(xiàn)管路和管教目標識別與自動標注，激光點云數(shù)據(jù)結合機器學習分類器也有效實現(xiàn)了管路和管架目標識別，在選用7種特征和RF分類器時，管路和管架識別準確率分別可達95.67%和87.67%。表明所提出方法的具有較大的應用潛力。