基于機器視覺的挖掘機輔助控制系統(tǒng)設計

張學東 張晨宇 許子文 馬月坤

摘? 要：液壓挖掘機作為工程機械里公認的高技術機械，伴隨著經(jīng)濟發(fā)展出現(xiàn)了一系列問題：技術要求高，市場需求大，導致了大量的人涌入該行業(yè)，但其施工質(zhì)量和效率、功耗問題，以及安全問題愈發(fā)受到關注。基于雙目視覺、物聯(lián)網(wǎng)、嵌入式等技術研究通過雙目視覺以及YOLOv5等技術進行挖掘機姿態(tài)識別和挖掘機施工深度測量，旨在降低挖掘機行業(yè)門檻、降耗增效、促進精準施工、提高施工質(zhì)量、減少安全事故的發(fā)生概率。

關鍵詞：機器視覺；YOLOv5；物聯(lián)網(wǎng)；雙目視覺；挖掘機輔助控制

中圖分類號：TP391.4；TP18 文獻標識碼：A 文章編號：2096-4706（2023）09-0030-04

Abstract： As a recognized high-tech machinery in construction machinery， hydraulic excavators have emerged a series of problems with the economic development， such as high technical requirements and large market demand， which have led to a large number of people pouring into the industry， but their construction quality， efficiency， power consumption and safety issues are increasingly concerned. Based on the research of binocular vision， Internet of Things， embedded technology and other technologies， the excavator attitude recognition and excavator construction depth measurement are conducted through binocular vision and YOLOv5 technology， aiming to reduce the threshold of the excavator industry， reduce consumption and increase efficiency， promote accurate construction， improve construction quality， and reduce the probability of safety accidents.

Keywords： machine vision; YOLOv5; Internet of Things; binocular vision; excavator auxiliary control

0? 引? 言

隨著中國經(jīng)濟近年來的快速發(fā)展，基礎設施建設和礦產(chǎn)開發(fā)等工程量也越來越大，目前我國的工程機械領域仍是一個勞動密集型的產(chǎn)業(yè)，2020年9月工信部發(fā)表了《建材工業(yè)智能制造數(shù)字轉型行動計劃（2021—2023年）》，該計劃旨在促進我國工業(yè)方面的自動化、智能化和無人化的變革。2021年4月發(fā)表《“十四五智能制造發(fā)展規(guī)劃”》（征求意見稿），旨在加強包括高性能控制等關鍵核心技術攻關，大力發(fā)展智能制造裝備，且主要是針對感知、控制、決策、執(zhí)行等環(huán)節(jié)的短板弱項。在“新基建”和“中國制造2025”的政策推動下，技術革新傳統(tǒng)行業(yè)的浪潮四起，工程機械設備智能化、無人化的升級革新可以顯著減少作業(yè)安全事故、降本增效，賦能工程機械企業(yè)提升產(chǎn)品競爭力，行業(yè)的發(fā)展朝著智能化方向升級日漸清晰。

挖掘機被稱為工程機械領域的皇冠明珠，被廣泛用于資源開采、建設施工、搶險救災應急救援中。但是其工作在高危的環(huán)境中，施工的環(huán)境復雜，路況起伏不平，高噪音、高粉塵、安全事故易發(fā)生等，雖然司機薪資較高，但是很多年輕人不愿意進入這個圈子，現(xiàn)存的熟練主力工人都是三四十歲的中年人為主，惡劣的作業(yè)環(huán)境、頻發(fā)的安全事故、降本增效的要求等是實際工業(yè)生產(chǎn)中的挑戰(zhàn)，也是挖掘機向智能化方向迭代的推動力量。

我國經(jīng)濟在疫情期間依然穩(wěn)定上升，且隨著物聯(lián)網(wǎng)、5G技術等深入推廣與應用，智慧工業(yè)經(jīng)濟整體健康發(fā)展，處于良性循環(huán)。由數(shù)據(jù)顯示，2022年的頭兩個月，全國工業(yè)規(guī)模增加值為7.5%，發(fā)展速度比較快。同時對于需要使用挖掘機的行業(yè)，如采礦業(yè)、高技術制造行業(yè)、鐵路行業(yè)等增長規(guī)模均大于7.5%。挖掘機輔助控制系統(tǒng)的市場需求量大，未來發(fā)展前景好[1]。

1? 挖掘機姿態(tài)識別概述

1.1? 視覺技術概述

視覺是人體感知三維世界的主要手段之一。據(jù)統(tǒng)計，人類獲取外部信息的80%都來源于眼睛，位于五官之首，通過視覺，我們可以獲取外界事物的大小、明暗、顏色、狀態(tài)等信息，還可以在不需要進行身體接觸的情況下，直接與周圍環(huán)境進行智能交互，立體視覺是在雙眼共同作用下產(chǎn)生的一種感覺，同一物體在左右眼的視網(wǎng)膜像是有微小差別的，這種差別給人的視覺系統(tǒng)提供了一種立體視覺的最基本的信息—視差[2]。立體視覺使我們得到了一個對周圍世界生動而精確的相對深度的分辨信息，機器視覺是使用計算機技術去實現(xiàn)人眼所能實現(xiàn)的立體視覺。機器視覺的最大特點是觀察的器件與被觀測的對象之間無接觸，因此對觀測雙方都不會產(chǎn)生任何影響以及損傷等，這是其他方式所無法比擬的一大優(yōu)點。另外，視覺方式所能檢測的對象的領域也十分廣泛，即便是人肉眼無法觀察的東西，機器視覺都可以觀察，如：紅外線、微波等肉眼無法觀察的東西，而機器視覺則可以利用相關的器件組成視覺傳感器形成紅外線、微波、超聲波等圖像，其很大程度地擴大了人類的視覺感應范圍[2]。此外，其還有一個點就是：人無法長時間地對物體進行監(jiān)測觀察，而機器視覺卻不知道疲勞，可以始終如一地進行觀測，因此機器視覺可以應用于長時間惡劣高危的工作環(huán)境，為提高機器的智能、增強機器解決問題的能力提供新的思路。

1.2? 挖掘機輔助控制領域概述

目前在挖掘機輔助控制領域中，國外對挖掘機的研究起步較早，挖掘機姿態(tài)檢測方式相對于國內(nèi)處于比較先進的水平，并且已經(jīng)在坡度控制、軌跡規(guī)劃和遠程遙控等領域?qū)崿F(xiàn)了從理論研究到實際應用[3]。如：Leica公司采用基于GPS與數(shù)字地圖的Dozer2000導航系統(tǒng)，在無須勘察標樁等輔助設施的情況下，能夠精確地控制推土機的推土板和識別確定機器的位置，實現(xiàn)線上遠程虛擬推土作業(yè)。同樣的還有美國Trimble公司的產(chǎn)品SiteVisionGPS，通過可視化顯示系統(tǒng)指導駕駛員作業(yè)，可實現(xiàn)坡度的精確控制，其精度可達厘米級[3]。在國內(nèi)，由于經(jīng)濟水平以及科技技術以及其他高新技術的制約，相關研究起步較晚，目前徐工、三一重工、中聯(lián)重科等基本都是在挖掘機上添加傳感器來實現(xiàn)挖掘機姿態(tài)識別，進行挖掘機輔助控制[4]。

傳感器的選擇決定了挖掘機姿態(tài)的測量精度，而傳感器的選擇需要考慮以下的幾個方面：不同的傳感器的適用條件不同，工作環(huán)境也不同；不同的傳感器所能達到的精度也不同；傳感器的成本高低等。目前傳統(tǒng)的傳感器檢測挖掘機姿態(tài)角存在以下問題：有些傳感器安裝靠近油缸或者輸油管不便安裝；接觸式傳感器長期暴露在外界，容易磨損；傳統(tǒng)接觸式傳感器如果長時間的使用會導致精度降低；精度較高的光電類傳感器需要穩(wěn)定的工作環(huán)境，挖掘機一般工作在復雜高危環(huán)境，路況起伏不平，目前大多數(shù)傳感器無法滿足在該條件下的測量精度要求[5]。因此探究視覺技術在挖掘機輔助控制的應用及其重要。

2? 雙目識別系統(tǒng)設計

2.1? 雙目識別系統(tǒng)設計

挖掘機姿態(tài)檢測系統(tǒng)（雙目識別系統(tǒng)）的設計目的是為了測量動臂、斗桿、鏟斗的姿態(tài)角，因此需設計安裝一種便于雙目攝像頭識別以及能夠體現(xiàn)出各機械器件的姿態(tài)角的被檢測點—標靶。在實際的測量識別中，由于雙目攝像頭中的輪廓位置的變形程度大，不易檢測，而標靶在圖像中的變形很小，仍易于被檢測到。如圖1所示，分別在挖掘機的動臂、斗桿，以及轎點（斗桿與鏟斗連接處）貼3，2，2個，其中標靶中點的連線分別與對應部件平行，其中對于動臂我們粘貼3個標靶是由于其跨度較大，兩個不是能夠很準確的表示出其姿態(tài)，為方便后期處理，因此設計三個標靶位于動臂上。因此，對于動臂和斗桿，測量出鞍點連線的傾角即測出了對應工作臂的姿態(tài)角；對于鏟斗，測出鏟斗連桿姿態(tài)角后，通過數(shù)學計算（D-H算法）即可計算出鏟斗姿態(tài)角。在設計標靶的時候，由于使用機器視覺來做相關方面，因此我們選擇適合于YOLOv5算法的分類相關知識來制作靶標，每個靶標使用二進制編碼，其原本為正方形加中心的圓形，其中每個圓形設計是為了圓心的連線和部件對應平行，而正方形是為了設計編碼，將每邊三等分，每個標靶的對應邊都不一樣，其中缺失的為0，存在的記為1。通過YOLOv5算法將每個標靶識別之后判斷標靶的類型，再通過雙目攝像頭生成的點云圖識別空間三維坐標進行處理，計算出各鞍點的空間坐標，最后計算出挖掘機臂姿態(tài)，系統(tǒng)總體流程如圖2所示。

我們針對挖掘機設計了適用的挖掘機車載雙目系統(tǒng)，由于其存在一定的畸變，我們針對畸變的圖像采取了以下操作進行矯正：

1）將三維空間各個點投影到歸一化平面。歸一化坐標為[x，y]T。

2）對歸一化平面上的各個點進行徑向畸變以及切向畸變的糾正。

3）將糾正后的點通過內(nèi)參數(shù)矩陣投影到像素平面。

2.2? 模型算法

2.2.1? YOLOv5

關于YOLOv5算法的選擇，YOLOv5是YOLO算法體系中較為優(yōu)秀的產(chǎn)品。該模型的檢測精度較高，推理速度快，據(jù)官方說法，其最快檢測速度可達140幀/秒。YOLOv5目標檢測網(wǎng)絡模型的權重文件較小，比YOLOv4小了近90%，但是其較YOLOv7還存在一定差別，由于課題設計以及相關技術的成熟程度，我們需要在移動式設備上部署模型算法，因YOLOv5網(wǎng)絡的優(yōu)點是檢測精度高，重量輕，同時檢測速度快，為了目標檢測的準確性、實時性和輕量化，綜合考慮我們選擇了YOLOv5s算法進行本課題設計研究。

2.2.2? SGBM

1）SGBM中采用了水平Sobel算子。圖像處理的公式：

2）圖像上每個像素由水平處理Sobel運算符映射到新圖像。映射公式如下所示：

3）成本計算是得到SAD的方程（絕對差值之和）之間的梯度成本原始圖像和處理后的圖像。漸變成本是采樣中的圖像梯度信息。

4）動態(tài)規(guī)劃：

cn表示圖像中的通道數(shù)，SADSize、SAD窗口的大小是一個奇數(shù)。

5）后處理：

唯一性測試：如果成本最低，則視差窗口是成本第二低的（1+A/100），則對應于最低成本的視差值為像素的視差，否則視差值為0。

亞像素插值：插值方程為：

一致性檢查：disp12MaxDiff，錯誤閾值，默認為1。

2.2.3? D-H

D-H建立的變換矩陣的過程類似于歐拉角，其變換順序為：沿Xi軸從Zi向Zi+1移動ai；繞Xi軸從Zi向Zi+1旋轉ai沿Zi軸從Xi-1向Xi移動di；繞Zi軸從Xi-1向Xi旋轉θi；所以一個關節(jié)的變換矩陣如下：

3? 模型訓練及其結果

3.1? 模型訓練

將雙目攝像頭采集到的數(shù)據(jù)使用labelme軟件進行打標，對應相應的標靶，YOLOv5算法識別結果如圖3所示，模型測試結果如圖4所示。

3.2? 結果

我們將模型部署在樹莓派4B上，對模型準確度進行測試，將其與傳統(tǒng)角度傳感器測量結果進行比對，如圖5所示，在與傳統(tǒng)傳感器測量對比當中，其誤差較小，與傳統(tǒng)的接觸式傳感器基本一致，并且在60 s的視頻測試當中，其誤差基本在-1°～1°之間，如圖6所示，誤差在合理范圍內(nèi)，而且滿足實時性的需求。

4? 結? 論

綜上所述，基于機器視覺的挖掘機輔助控制系統(tǒng)設計能夠?qū)崿F(xiàn)使用雙目視覺（機器視覺技術）測量挖掘機姿態(tài)角，達到傳統(tǒng)的接觸式角度測量傳感器的相同的效果，并且其很好地解決了傳統(tǒng)傳感器面臨的各種難點（工作環(huán)境、易損耗、精度等難點），相應成本以及使用壽命較傳統(tǒng)傳感器更長，此外該模型算法的設計可以嵌入到樹莓派4B移動設備達到實時檢測，便于嵌入式開發(fā)以及實際應用，在挖掘機向智能化方向迭代過程中提供了新的解決方案，在輔助挖掘機施工，提高效率，降低風險，精準施工方面發(fā)揮了重要作用。為挖掘機駕駛員提供優(yōu)質(zhì)輔助控制，降低操作風險，發(fā)揮了重要的作用。

參考文獻：

[1] 楊華勇.工程機械智能化進展與發(fā)展趨勢（二） [J].建設機械技術與管理，2018，31（1）：38-39.

[2] 朱湘冀.機械式挖掘機機器人化的探討 [J].工程機械，1995（9）：15-17+41.

[3] 周翔，何明，夏利鋒.物聯(lián)網(wǎng)與工程機械 [M].北京：電子工業(yè)出版社，2012.

[4] 戴興建.挖掘機機器人化技術研究 [D].沈陽：東北大學，2010.

[5] 李傲傲.挖掘機姿態(tài)檢測系統(tǒng)研究 [D].泉州：華僑大學，2019.

作者簡介：張學東（2003—），男，漢族，河北張家口人，本科在讀，研究方向：電子信息工程、機器視覺、人工智能。