基于機(jī)器視覺和激光雷達(dá)的智能物料運(yùn)輸車

凌洋銘 王如衡 龍飛 陳倩詒

（長沙理工大學(xué) 湖南省長沙市 410114）

1 引言

在當(dāng)今大規(guī)模的現(xiàn)代工業(yè)中，人工搬運(yùn)最為古老，應(yīng)用最廣泛的搬運(yùn)方式。人工搬運(yùn)的搬運(yùn)方式簡單，但因其作業(yè)時(shí)效率低下，很容易浪費(fèi)大量人力、物力、財(cái)力，并且由于工廠內(nèi)部復(fù)雜的環(huán)境以及人員變動(dòng)，還仍然存在著較大的安全隱患。調(diào)查顯示，25%的事故都和人工搬運(yùn)有關(guān)。其中，嚴(yán)重事故更是在24%以上。而智能物料運(yùn)輸車能夠很好地解決這類安全問題，使用安全、高效的智能物料運(yùn)輸車替代人工操作，大大地保障了工人的身體健康。同時(shí)其高精度定位以及穩(wěn)定的定位系統(tǒng)能夠很好地保障工作的順利進(jìn)行。

在“中國制造2025”的目標(biāo)下，引進(jìn)無人搬運(yùn)AGV小車是提高企業(yè)核心競(jìng)爭力的有效途徑，是工業(yè)化深入推進(jìn)的必然趨勢(shì)。2021年度，中國市場(chǎng)企業(yè)整體銷售工業(yè)應(yīng)用移動(dòng)機(jī)器人（AGV/AMR）72000臺(tái)，較2020年增長75.61%，市場(chǎng)銷售額達(dá)到126億元（海外銷售25億元），同比增長64%。中國制造產(chǎn)業(yè)正在遭遇著產(chǎn)品需求多元化的巨大挑戰(zhàn)。由規(guī)模化制造轉(zhuǎn)為大批量定制,對(duì)生產(chǎn)工藝的通用性、精確度和安全性都提出了更加嚴(yán)苛的要求。順應(yīng)人類生產(chǎn)方式柔性化的發(fā)展趨勢(shì)。隨著人類消費(fèi)升級(jí)的腳步，中國機(jī)器人行業(yè)或于未來二年迎來“黃金交叉點(diǎn)”。機(jī)器人及控制系統(tǒng)核心技術(shù)的不斷發(fā)展，“手、眼、腳、腦”全面機(jī)器人生態(tài)系統(tǒng)將助力物流行業(yè)和制造企業(yè)智能化升級(jí)。

針對(duì)以上情況，本項(xiàng)目設(shè)計(jì)了一款能夠同時(shí)滿足室內(nèi)外、高低溫、雨雪天氣等復(fù)雜環(huán)境下正常穩(wěn)定使用的智能物料運(yùn)輸車，從而實(shí)現(xiàn)工廠無人化，極大程度降低的人力成本、提高工作的效率同時(shí)還保障了工人的安全，為企業(yè)的發(fā)展提供契機(jī)。

2 系統(tǒng)框架設(shè)計(jì)及工作原理

2.1 系統(tǒng)框架設(shè)計(jì)

本運(yùn)輸車采用機(jī)器視覺和激光雷達(dá)等前沿技術(shù)實(shí)現(xiàn)物料搬運(yùn)的功能。當(dāng)運(yùn)輸車正常運(yùn)轉(zhuǎn)時(shí)，激光雷達(dá)獲取運(yùn)輸車當(dāng)前的位置信息并構(gòu)建柵格地圖，同時(shí)計(jì)算出運(yùn)輸車此時(shí)的運(yùn)動(dòng)狀態(tài)將數(shù)據(jù)實(shí)時(shí)發(fā)送給主控板，驅(qū)動(dòng)運(yùn)輸車的運(yùn)動(dòng)。而經(jīng)過校準(zhǔn)后的IMU能夠解算出運(yùn)輸車的姿態(tài)，再將數(shù)據(jù)過濾積分后獲取位移量保證運(yùn)輸車按照特定的軌跡搬運(yùn)貨物。當(dāng)攝像頭識(shí)別到障礙物時(shí)運(yùn)輸車會(huì)重新規(guī)劃一條路線來進(jìn)行避讓，實(shí)現(xiàn)運(yùn)輸貨物的功能?？蓪⑦\(yùn)輸車劃分為驅(qū)動(dòng)模塊、電源模塊、系統(tǒng)控制模塊和車架控制模塊。驅(qū)動(dòng)模塊用于收集IMU單元和直流電機(jī)的數(shù)據(jù)，別切控制直流無刷電機(jī)的運(yùn)轉(zhuǎn)。電源模塊用于給整個(gè)系統(tǒng)供電。系統(tǒng)控制模塊用于圖像數(shù)據(jù)采集和激光雷達(dá)數(shù)據(jù)的處理。車架控制模塊用感知貨物的搬運(yùn)完成狀態(tài)和控制步進(jìn)電機(jī)的運(yùn)轉(zhuǎn)。其系統(tǒng)的框架如圖1所示。

圖1：系統(tǒng)框架圖

2.2 產(chǎn)品穩(wěn)定驅(qū)動(dòng)模塊

本運(yùn)輸車的驅(qū)動(dòng)板設(shè)計(jì)為雙路工作，通過PWM進(jìn)行驅(qū)動(dòng)，一個(gè)驅(qū)動(dòng)板控制兩個(gè)電機(jī)驅(qū)動(dòng)。運(yùn)輸車驅(qū)動(dòng)板能夠滿足速度調(diào)節(jié)、方向控制和剎車控制等很多要求。小車驅(qū)動(dòng)板上霍爾線序與小車步進(jìn)電機(jī)上霍爾線序相連接，并能夠根據(jù)實(shí)際的線序進(jìn)行調(diào)節(jié)。在自動(dòng)導(dǎo)航方面，采用基于ROS系統(tǒng)的SLAM算法讓運(yùn)輸車在陌生的環(huán)境下進(jìn)行建圖，建圖完成后，保存地圖，在地圖上設(shè)置起始點(diǎn)與終點(diǎn)讓其進(jìn)行自動(dòng)導(dǎo)航。

3 系統(tǒng)運(yùn)動(dòng)控制算法

利用激光雷達(dá)所測(cè)得的數(shù)據(jù)，通過仿真軟件RVIZ進(jìn)行建圖，SLAM算法輔助運(yùn)輸車執(zhí)行路徑規(guī)劃、自主探索、導(dǎo)航等任務(wù)。在執(zhí)行路徑規(guī)劃的算法中使用到的是A*算法，并通過激光雷達(dá)實(shí)時(shí)檢測(cè)到的數(shù)據(jù)來進(jìn)行動(dòng)態(tài)規(guī)劃路線。

3.1 SLAM算法

SLAM（Simultaneous Localization And Mapping）同 步定位和地圖構(gòu)建，主要用于解決移動(dòng)機(jī)器人處于未知環(huán)境中時(shí)解決定位、地圖構(gòu)建問題。SLAM算法最早由Randall C.Smith等提出。SLAM算法包含多個(gè)部分，經(jīng)典的框架由傳感器數(shù)據(jù)、視覺里程計(jì)、后端、建圖和閉環(huán)檢測(cè)組成。如圖2所示。

圖2：SLAM算法經(jīng)典框架

根據(jù)田等人對(duì)SLAM算法的分析與比較。Gmapping算法是一種基于粒子濾波的二維SLAM算法，也是目前應(yīng)用最廣泛的2D-SLAM算法.相比于傳統(tǒng)的粒子濾波算法，Gmapping算法在RBPF（Rao-Blackwellized Particle Filters）算法基礎(chǔ)上改進(jìn)提議分布和選擇性重采樣，從而減少粒子個(gè)數(shù)和防止粒子退化。Gmapping算法適用與室內(nèi)小場(chǎng)景且特征教少環(huán)境下的定位與建圖，Gmapping算法容易實(shí)現(xiàn)、精度較高且計(jì)算量較小、相比于Hector，Gmapping對(duì)激光雷達(dá)頻率要求低，魯棒性更高，所以選擇了Gmapping作為最終算法。Gmapping總體框架如圖3所示。

圖3：Gmapping總體框架

在構(gòu)建地圖完成后，即可打開地圖在地圖上設(shè)置目標(biāo)點(diǎn)與起始點(diǎn)開始自動(dòng)導(dǎo)航前往目的地。在自動(dòng)導(dǎo)航上采用的是ROS中自帶的導(dǎo)航框架move_base。

3.2 A*算法

A*（A-star）算法是一種靜態(tài)路網(wǎng)中求解最短路最有效的直接搜索方法，也是許多其他問題的常用啟發(fā)式算法。BFS（Best First Search）算法必能保證找到的路徑是一條最短路徑，相比于Dijkstra算法A*算法增加了一個(gè)啟發(fā)函數(shù)，提高算法效率。A*算法將BFS算法和Dijkstra算法相結(jié)合，集合了兩種算法的優(yōu)點(diǎn)，既可以查找到最短路徑，又有和BFS算法差不多的效率。其公式表示為：

公式（1）中，f(n)、g(n)和h(n)分別表示節(jié)點(diǎn)n的綜合優(yōu)先級(jí)、節(jié)點(diǎn)n距離起點(diǎn)的實(shí)際代價(jià)、節(jié)點(diǎn)n距離終點(diǎn)的估計(jì)代價(jià)，即為A*算法的啟發(fā)函數(shù)。當(dāng)啟發(fā)函數(shù)h(n)≤節(jié)點(diǎn)n到終點(diǎn)的代價(jià)，A*算法保證可以找到最短距離，h(n)越小，算法遍歷的節(jié)點(diǎn)越多，算法的效率越低，當(dāng)h(n)=0時(shí)A*算法演變?yōu)镈ijkstra算法。當(dāng)啟發(fā)函數(shù)h(n)≥節(jié)點(diǎn)n到終點(diǎn)的代價(jià)，A*算法效率提高但不能保證找到最短路徑，當(dāng)h(n)?節(jié)點(diǎn)n到終點(diǎn)的代價(jià),此時(shí)A*算法演變?yōu)锽FS算法。因此通過調(diào)節(jié)啟發(fā)函數(shù)可以控制A*算法的效率和準(zhǔn)確度。

以柵格地圖作為地圖環(huán)境,，由于地圖中存在障礙物，運(yùn)輸車不能全向移動(dòng)，且采用歐式距離的搜索速度比曼哈頓搜索速度慢，故啟發(fā)函數(shù)h(n)采用當(dāng)前節(jié)點(diǎn)n到終點(diǎn)的曼哈頓距離，表示為：

公式（2）中(x,y)為當(dāng)前節(jié)點(diǎn)坐標(biāo)，(x,y)為終點(diǎn)節(jié)點(diǎn)坐標(biāo)。但由于傳統(tǒng)的A*算法規(guī)劃路徑轉(zhuǎn)彎次數(shù)較多，不利于運(yùn)輸車的實(shí)際的運(yùn)動(dòng)，所以需要提高路徑平滑性?？梢栽趆(n)中引進(jìn)轉(zhuǎn)彎修正代價(jià)參數(shù)α，選取合適的參數(shù)α，即可保證運(yùn)輸車優(yōu)先選擇直行，同時(shí)也可以避免運(yùn)輸車出現(xiàn)繞行現(xiàn)象。同于由于通過A*算法規(guī)劃出來的路徑存在拐點(diǎn)并且與運(yùn)輸車在工廠內(nèi)實(shí)際的行駛過程存在著較大差異，同時(shí)運(yùn)輸車也不可能在遇到直角彎時(shí)原地停下再旋轉(zhuǎn)90°的彎，這樣不僅操作性不強(qiáng)，同時(shí)也是一項(xiàng)十分危險(xiǎn)的操作。所以在運(yùn)輸車在工廠內(nèi)實(shí)際的行駛過程中我們更希望運(yùn)輸車的行駛路線更加順滑，運(yùn)輸車可以非常平穩(wěn)且連貫的到達(dá)終點(diǎn)。

實(shí)現(xiàn)路線平滑的過程的本質(zhì)上是保持上述公式（3）、（4）的距離最小，公式（3）中，x、y分別表示原路徑規(guī)劃的節(jié)點(diǎn)和平滑后路徑規(guī)劃的節(jié)點(diǎn)。公式（3）表示平滑后路徑規(guī)劃的節(jié)點(diǎn)y與原路徑規(guī)劃的節(jié)點(diǎn)x的偏離程度。公式（4）表示平滑后路徑規(guī)劃的兩個(gè)節(jié)點(diǎn)之間的距離。最小化目標(biāo)可表示為：

通過采用梯度下降算法，進(jìn)行多次迭代，調(diào)整y使得目標(biāo)函數(shù)取得最小值。可以通過調(diào)節(jié)α和β的參數(shù)達(dá)到不同的平滑程度，使運(yùn)輸車的行駛路線較為順滑。

3.3 機(jī)器視覺算法

為保證運(yùn)輸車可以能夠順利的完成運(yùn)輸工作，需要通過輪廓特征和特征匹配，讓運(yùn)輸車獲取待運(yùn)輸貨物的相關(guān)信息，進(jìn)行行人識(shí)別、目標(biāo)識(shí)別，實(shí)現(xiàn)貨物搬運(yùn)的功能。

3.2.1 行人識(shí)別

行人識(shí)別模塊主要是利用Opencv中已經(jīng)訓(xùn)練好訓(xùn)練集，在此基礎(chǔ)上加以分類，來實(shí)現(xiàn)對(duì)行人的分類。該模塊主要包含了選擇合適的分類器、選擇如何輸入圖像、檢測(cè)結(jié)果顯示。具體功能介紹如下：Opencv中的級(jí)聯(lián)分類器包含了兩個(gè)分類器：訓(xùn)練分類器和檢測(cè)分類器。我們選擇使用檢測(cè)分類器，根據(jù)Opencv中已經(jīng)訓(xùn)練好的HOG訓(xùn)練集，從工業(yè)相機(jī)視頻流中提煉出行人的特征，進(jìn)而去判斷是否為行人。

當(dāng)采用HOG訓(xùn)練對(duì)圖像進(jìn)行處理后，會(huì)將圖像中有行人的部分用邊框框起來，用于顯示此處有行人，并根據(jù)顯示屏幕的大小去適應(yīng)顯示圖像的大小。

3.2.1 貨物識(shí)別

要辨識(shí)物體的條件首先要掌握其特征，所以我們需要提取物品的特征點(diǎn)。SIFT（Scale-invariant feature transform）算法是由David Lowe于1999年提出的圖像局部特征的算法。SIFT在尺度、方向具有不變性，可以在圖像中檢測(cè)出關(guān)鍵點(diǎn)，是一種很好的描述圖像特征的描述子。通過SIFT算法實(shí)現(xiàn)對(duì)物體的角點(diǎn)檢測(cè)。

根據(jù)郭等人對(duì)邊緣檢測(cè)算法的特點(diǎn)，檢測(cè)效果優(yōu)劣的分析。相比與其他邊緣檢測(cè)算法，canny邊緣檢測(cè)是目前為止邊緣檢測(cè)算法中檢測(cè)性能較好的算法，該算法通過計(jì)算信號(hào)函數(shù)的極大值來判定圖像邊緣像素點(diǎn)，得到最優(yōu)化逼近算子。并且可以根據(jù)圖像的邊緣特點(diǎn)設(shè)置canny算子的參數(shù)以檢測(cè)各種邊緣，因而canny算法的適用場(chǎng)合十分的廣泛。

當(dāng)識(shí)別到貨物時(shí)，我們需要精準(zhǔn)的獲取到貨物距離叉車的距離與角度，因此我們選擇了單目測(cè)距算法：單目測(cè)距中主要運(yùn)用到知識(shí)就是世界坐標(biāo)系、像素坐標(biāo)系、圖像坐標(biāo)系、相機(jī)坐標(biāo)系之間的轉(zhuǎn)換關(guān)系以及相似三角形法。單目視覺測(cè)距是利用攝像機(jī)獲得到的圖片得出深度信息，常用來進(jìn)行定位。因?yàn)閱文恳曈X結(jié)構(gòu)簡單，運(yùn)算速度快，所以適應(yīng)于類似AGV等移動(dòng)平臺(tái)的視覺應(yīng)用。

4 項(xiàng)目測(cè)試

本項(xiàng)目所設(shè)計(jì)制作的智能運(yùn)輸車能夠有效的實(shí)現(xiàn)導(dǎo)航，貨物識(shí)別，貨物叉取，運(yùn)送貨物等功能。運(yùn)輸車的系統(tǒng)功能流程圖如圖4所示。

圖4：系統(tǒng)功能流程圖

（1）當(dāng)運(yùn)輸車到達(dá)陌生環(huán)境之后，通過slam算法構(gòu)建柵格地圖。并在地圖上標(biāo)記好運(yùn)輸車的起始坐標(biāo)和運(yùn)送貨物的坐標(biāo)后，運(yùn)輸車開始進(jìn)行導(dǎo)航。

（2）運(yùn)輸車通過A*算法規(guī)劃出一條全局路線，并計(jì)算出車子運(yùn)動(dòng)的狀態(tài)，將速度信息實(shí)時(shí)發(fā)送給底盤節(jié)點(diǎn)，驅(qū)動(dòng)車子前進(jìn)。

（3）到達(dá)貨物存放的地點(diǎn)后，控制權(quán)交給視覺模塊開始識(shí)別貨物。

（4）運(yùn)輸車開始檢測(cè)運(yùn)輸車貨叉的位置，貨叉自動(dòng)回到下限位后，驅(qū)動(dòng)車子前進(jìn)，將貨物插到貨叉之上，然后規(guī)劃出返回路線，運(yùn)輸車自主導(dǎo)航回去。

（5）回到起始點(diǎn)后，和叉取貨物時(shí)以相同的操作控制運(yùn)輸車卸載貨物。

同時(shí)運(yùn)輸車能夠?qū)崿F(xiàn)“公交車”和“出租車”模式轉(zhuǎn)換，通過多點(diǎn)導(dǎo)航實(shí)現(xiàn)搬運(yùn)車的流水線運(yùn)輸，以此代表公交車模式，出租車模式則采用對(duì)點(diǎn)運(yùn)輸?shù)姆椒ǎ瑢?shí)現(xiàn)貨物的靈活性準(zhǔn)確性的點(diǎn)對(duì)點(diǎn)模式。

5 結(jié)語

本運(yùn)輸車可以做到在無人工干預(yù)的情況下，采用SLAM算法、激光雷達(dá)、機(jī)器視覺等前沿技術(shù)，成功實(shí)現(xiàn)了精確定位、路線規(guī)劃、智能避障、貨物定位和精準(zhǔn)叉取等功能；采用目前主流的技術(shù)平臺(tái)：ROS系統(tǒng)，可便捷獲取很多開源資源，降低開發(fā)成本，提高系統(tǒng)穩(wěn)定性；在硬件電路設(shè)計(jì)時(shí)，充分考慮了電氣隔離與電磁抗干擾設(shè)計(jì)，使各個(gè)模塊之間不會(huì)相互影響；真正按照實(shí)際荷載應(yīng)用要求進(jìn)行結(jié)構(gòu)和能源設(shè)計(jì)，率先實(shí)現(xiàn)功能從實(shí)驗(yàn)室向產(chǎn)品化過渡。該方案還成功實(shí)現(xiàn)了室內(nèi)及室外自動(dòng)導(dǎo)航，與電梯通訊，自動(dòng)識(shí)別和定位物料并準(zhǔn)確運(yùn)送，智能識(shí)別物料超限和自動(dòng)避讓行人和障礙等功能。

無人運(yùn)輸車在不斷優(yōu)化視覺識(shí)別技術(shù)和控制技術(shù)后在物流行業(yè)和高危環(huán)境作業(yè)具有良好的發(fā)展前景。