基于改進(jìn)Unet的起重機(jī)攀爬機(jī)器人車道識別*

趙章焰 沈齊越

武漢理工大學(xué)交通與物流工程學(xué)院 武漢 430063

0 引言

起重機(jī)的工作強(qiáng)度大，工作環(huán)境惡劣，金屬結(jié)構(gòu)表面易產(chǎn)生裂紋、生銹等老化現(xiàn)象，會引發(fā)一系列安全隱患。人工對起重機(jī)進(jìn)行檢測分析和維護(hù)保養(yǎng)的效率低，成本高，且人工無法在起重機(jī)上的高處死角開展安全有效的工作。起重機(jī)攀爬機(jī)器人能攜帶各種探測設(shè)備，通過吸附在起重機(jī)的金屬結(jié)構(gòu)表面，到達(dá)人力無法企及之處。通過機(jī)載攝像頭和圖像識別技術(shù)，識別攀爬路徑，是起重機(jī)攀爬機(jī)器人實(shí)現(xiàn)自主導(dǎo)航進(jìn)而開展各項(xiàng)檢測工作的先決條件。起重機(jī)攀爬機(jī)器人的路徑本質(zhì)上是識別起重機(jī)結(jié)構(gòu)化的金屬表面，目前常見的路徑識別研究主要包括公路上各色車道線識別、酒店和倉庫內(nèi)AGV小車的路徑識別等。由于起重機(jī)攀爬機(jī)器人運(yùn)行在一個具有復(fù)雜背景的三維空間內(nèi)，若使用直線段檢測和聚類算法，極易受背景區(qū)域中具有相同顏色特征的非路徑金屬影響[1]，使檢測結(jié)果會混合路徑邊緣與其他干擾直線段，算法魯棒性較差，難以達(dá)到使用要求。

本文改變了傳統(tǒng)以檢測路徑邊緣線作為車道線的思路[2]，選擇直接用圖像分割的方法，將攀爬機(jī)器人可行走的整體平面視作一個車道，搭建了一種結(jié)合MobileNet V2的改進(jìn)Unet卷積網(wǎng)絡(luò)算法。

1 基于MobileNet V2改進(jìn)的Unet卷積網(wǎng)絡(luò)

1.1 Unet

Unet是語義分割模型，它廣泛應(yīng)用于醫(yī)學(xué)領(lǐng)域以及自動駕駛場景的分割[3]。Unet繼承了FCN的思想，但相對于FCN又有改變，Unet是完全對稱的。

Unet的網(wǎng)絡(luò)結(jié)構(gòu)呈U字形，整體結(jié)構(gòu)就是先編碼再解碼，回歸到跟原始圖像一樣大小的像素點(diǎn)的分類。如圖1所示，Unet先由左側(cè)的收縮路徑即編碼器，對圖像特征經(jīng)過4次卷積池化操作來提取特征，再將獲得的更深層的語義信息輸入到右側(cè)的擴(kuò)張路徑即解碼器，在解碼器中將像素還原，從而得到與原圖相同尺寸的輸出結(jié)果。由于Unet網(wǎng)絡(luò)能夠連接低層特征的細(xì)節(jié)信息，所以它能有效彌補(bǔ)下采樣過程中造成的空間信息損失，這是其在圖像分割中具有優(yōu)越性能的原因。另外，Unet的編碼結(jié)構(gòu)比較簡單，便于為不同應(yīng)用場景的設(shè)計(jì)改進(jìn)，且能在較少數(shù)據(jù)量的投入下實(shí)現(xiàn)收斂，計(jì)算速度很快。

圖1 Unet網(wǎng)絡(luò)結(jié)構(gòu)

本文根據(jù)起重機(jī)攀爬機(jī)器人在識別車道時既要滿足識別準(zhǔn)確率，又要滿足實(shí)時性的要求，在經(jīng)過實(shí)驗(yàn)對比的情況下選用了Unet網(wǎng)絡(luò)。

1.2 Mobilenet V2

Mobilenet V1的主要思想是深度可分離卷積，而基本結(jié)構(gòu)如圖2所示的Mobilenet V2在V1的基礎(chǔ)上做了以下改進(jìn)[4]：

圖2 Mobilenet V2的基本結(jié)構(gòu)體

1）加入了殘差結(jié)構(gòu)，提出了倒殘差模塊，該模塊能解決梯度消失問題；

2）采用了Bottleneck，該模塊可在保持深度卷積的Channel數(shù)一致的情況下大大減少計(jì)算量和參數(shù)量，可使Mobilenet V2在CPU上也能運(yùn)行；

3）將逐點(diǎn)卷積后面的Relu激活函數(shù)替換成線性函數(shù)，能解決Mobilenet V1在通道數(shù)較少的情況下造成大量節(jié)點(diǎn)變?yōu)?的現(xiàn)象。

1.3 M2-Unet神經(jīng)網(wǎng)絡(luò)

Unet被大量應(yīng)用于醫(yī)學(xué)領(lǐng)域的圖像分割任務(wù)，它能快速、有效地將同類目標(biāo)從背景中剝離出來[5]，但它并不是為工業(yè)領(lǐng)域?qū)ｉT設(shè)計(jì)的，若將其直接運(yùn)用于機(jī)械設(shè)備的圖像分割任務(wù)會存在以下問題：

1）計(jì)算量較大，導(dǎo)致分割速度不能滿足實(shí)時性要求；

2）模型參數(shù)量大，這對計(jì)算設(shè)備的硬件有一定要求，致使成本提高。

鑒于此，本文將Unet與Mobilenet V2相結(jié)合，既能利用Unet將不同級別的特征信息連接起來，從輕量的數(shù)據(jù)集中訓(xùn)練得到優(yōu)秀性能的優(yōu)點(diǎn)，又能結(jié)合Mobilenet V2有效解決訓(xùn)練過程梯度消失問題的能力和減少模型參數(shù)量的優(yōu)勢[6]，從而做到在滿足起重機(jī)攀爬機(jī)器人道路識別的任務(wù)要求的同時實(shí)現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)的輕量化。

2 實(shí)驗(yàn)

2.1 數(shù)據(jù)采集

數(shù)據(jù)集是采用攀爬機(jī)器人在門式起重機(jī)上行走后錄制的視頻（見圖3），再用專業(yè)后期處理軟件AE將視頻的每一幀截取成一張圖片，總共獲取5 213張圖片，其中包含迎光、逆光、夜晚等多種使用場景的圖片。

圖3 攀爬機(jī)器人吸附于龍門起重機(jī)支腿上

2.2 數(shù)據(jù)預(yù)處理

在使用攀爬機(jī)器人機(jī)載攝像頭錄制視頻時，由于所用Caddx攝像頭沒有防抖功能，且起重機(jī)表面并不是完全平整的，導(dǎo)致一部分截取的圖片存在模糊現(xiàn)象，沒有標(biāo)注和使用的價值，故對這類圖片進(jìn)行篩選清理?？偣蔡蕹? 234張無法標(biāo)注的圖片，剩余1 979張有實(shí)驗(yàn)價值的圖片。然后將其中的1 500張圖片劃歸為訓(xùn)練集，其余479張圖片作為測試集。

2.3 數(shù)據(jù)標(biāo)注

使用標(biāo)注軟件Labelme，對訓(xùn)練集的1 500張圖片進(jìn)行手工標(biāo)注，在標(biāo)注時使用多邊形標(biāo)注來盡量將攀爬機(jī)器人車道區(qū)域完全包含。將標(biāo)注生成的Json文件制作成Masks標(biāo)簽文件。圖片標(biāo)注效果如圖4、圖5所示。

圖4 采集的原圖

圖5 使用Labelme制作的標(biāo)注圖

2.4 訓(xùn)練環(huán)境及模型參數(shù)設(shè)置

1）模型運(yùn)行的硬件環(huán)境 CPU為Inter Core i5-9 400 F，RAM大小為16 GB。

2）軟件環(huán)境 Windows10、Pytorch1.6、Python3.7。

3）模型參數(shù)設(shè)置 網(wǎng)絡(luò)優(yōu)化器采用的是Adam優(yōu)化器，初始學(xué)習(xí)率LR設(shè)置為2×10-4，Batch_Size設(shè)置為16，Epoch設(shè)置為40。

模型使用的損失函數(shù)采用nn.BECLoss損失函數(shù)，在使用該損失函數(shù)時應(yīng)在該層前面加上Sigmoid函數(shù)，計(jì)算公式為

3 實(shí)驗(yàn)結(jié)果

3.1 訓(xùn)練集和訓(xùn)練結(jié)果

在卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程中，判斷模型擬合訓(xùn)練程度好壞的關(guān)鍵在于，看模型的正確率即Accuracy的大小、損失函數(shù)隨Epoch的下降速度以及最終損失函數(shù)是否能接近于0[7]。

在實(shí)驗(yàn)中不僅訓(xùn)練了M2-Unet模型，同時對U-net和Segnet這2種現(xiàn)有的分割效果較好的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行了對比實(shí)驗(yàn)，實(shí)驗(yàn)在同一個數(shù)據(jù)集下用相同的參數(shù)進(jìn)行設(shè)置。訓(xùn)練結(jié)果如圖6、圖7所示。

圖6中x軸的Epoch表示迭代次數(shù)，y軸的Acc表示訓(xùn)練正確率；圖7中x軸的Epoch表示迭代次數(shù)，y軸的Loss表示損失函數(shù)值。由圖6、圖7可知， M2-Unet的正確率高于其余2種網(wǎng)絡(luò)，其損失值也低于其他2種網(wǎng)絡(luò)，同時它還能做到更快收斂，在經(jīng)過大約15次迭代后就能趨于穩(wěn)定。這說明M2-Unet網(wǎng)絡(luò)對起重機(jī)金屬結(jié)構(gòu)表面數(shù)據(jù)集的擬合效果和性能很好。

圖6 模型訓(xùn)練精度變化對比

圖7 模型訓(xùn)練損失變化對比

3.2 測試集測試結(jié)果

為了定量評價3種網(wǎng)絡(luò)模型在起重機(jī)攀爬機(jī)器人車道識別任務(wù)中的分割效果，本文從準(zhǔn)確度和運(yùn)行時間2個方面進(jìn)行對比評價。

在攀爬機(jī)器人車道識別任務(wù)中，運(yùn)行時間是一個非常關(guān)鍵的指標(biāo)[8]，表1列出了對479張測試圖片進(jìn)行分割的單張平均用時。

表1 3種網(wǎng)絡(luò)運(yùn)行時間對比 s

由表1可知，M2-Unet的運(yùn)行速度最快，Segnet次之。由于實(shí)驗(yàn)所用攀爬機(jī)器人最大爬行速度為0.05 m/s[9]，故M2-Unet的運(yùn)行速度能滿足機(jī)器人爬行的實(shí)時性要求。

評價語義分割任務(wù)的準(zhǔn)確度（Accuracy）主要有3個評價指標(biāo)。假設(shè)在分割時共有n+1類（包括n個目標(biāo)類和1個背景類），pii表示屬于i類并被正確預(yù)測為i類的像素點(diǎn)總數(shù)；pij表示本屬于i類卻被預(yù)測為j類的像素點(diǎn)總數(shù)；pji表示本屬于j類卻被預(yù)測為i類的像素點(diǎn)總數(shù)；pjj表示屬于j類并被正確預(yù)測為j類的像素點(diǎn)總數(shù)。由于本文的分割目標(biāo)只有車道跟背景2類，故公式中的n=1。

1) 像素準(zhǔn)確率（Pixel Accuracy，PA），即預(yù)測類別正確的像素數(shù)占總像素數(shù)的比例為

2) 類別平均像素準(zhǔn)確率（Mean Pixel Accuracy，MPA），即計(jì)算每一類分類正確的像素點(diǎn)數(shù)和該類的所有像素數(shù)的比例，然后求平均值有

3)平均交并比（Mean Intersection over Union，MIoU）,即計(jì)算模型對每一類的預(yù)測的結(jié)果和真實(shí)值的交集與并集的比值，然后求平均值有

本文的測試結(jié)果均在測試集上進(jìn)行。圖8預(yù)測原圖，圖9～圖11為M2-Unet、Unet以及Segnet對測試集的預(yù)測結(jié)果。

圖8 預(yù)測原圖

圖9 M2-Unet預(yù)測結(jié)果

圖10 Unet預(yù)測結(jié)果

圖11 Segnet預(yù)測結(jié)果

由圖8～圖11可知，M2-Unet的分割效果最好，而Unet因使用了編碼器-解碼器的結(jié)構(gòu)，也能基本正確地分割出車道，但精度并沒有M2-Unet高。Segnet則多次出現(xiàn)將干擾金屬結(jié)構(gòu)預(yù)測成了車道一部分的情況，精度無法滿足任務(wù)需求，可以看作檢測失敗。

本文對測試集的479張圖片均作了測試，然后統(tǒng)計(jì)了479次預(yù)測后的評價指標(biāo)，求得其平均值并作了數(shù)據(jù)化，結(jié)果如表2所示。

表2 3種網(wǎng)絡(luò)圖像分割結(jié)果對比

如表2所示，這M2-Unet的3項(xiàng)指標(biāo)均最高，尤其像素準(zhǔn)確率達(dá)到了98%以上，而Segnet的準(zhǔn)確率與其他2種網(wǎng)絡(luò)相比相差甚遠(yuǎn)，說明將Mobilenet V2作為特征部分的改進(jìn)Unet網(wǎng)絡(luò)比原生Unet網(wǎng)絡(luò)的分割效果更好，檢測準(zhǔn)確率更高。

4 結(jié)束語

實(shí)現(xiàn)了基于M2-Unet的起重機(jī)攀爬機(jī)器人車道分割。使用M2-Unet將Mobilenet V2作為網(wǎng)絡(luò)的特征提取部分，經(jīng)過實(shí)驗(yàn)證明了此模型對中小型樣本量的起重機(jī)金屬結(jié)構(gòu)有很好的擬合效果。分割指標(biāo)PA、MPA和MIoU的值均在0.96以上，且運(yùn)行時間滿足應(yīng)用的實(shí)時性要求，證明該網(wǎng)絡(luò)可滿足起重機(jī)攀爬機(jī)器人的車道檢測任務(wù)要求。