基于機械臂的化學物品定位與分類

馬興錄,張興強,王 濤

(青島科技大學信息科學技術學院,山東 青島 266061)

0 引 言

機械臂技術經(jīng)過近幾年的快速發(fā)展，已經(jīng)成為一種融合多學科的現(xiàn)代化工業(yè)技術。機械臂的抓取能力是機械臂的一項基本能力。在機械臂的視覺抓取研究中，物體目標檢測識別技術是機械臂視覺抓取的關鍵。但是對于化學試管、燒杯、玻璃瓶等透明物體，由于其具有折射性與高光性，不符合經(jīng)典視覺算法中的幾何光路假設，這使得深度相機很難對透明物體進行精確的深度估算，從而難以獲知其三維空間中的坐標[1]。對于透明物體的識別定位，Chen等人[2]提出了使用SIFT特征從提取的RGB圖像與IR圖像中識別透明物體的候選分類算法。Seib等人[3]提出了一種利用深度圖像中的傳感器故障用CNN進行透明物體定位的方法。Sajjan等人[4]提出了通過建立大規(guī)模合成的RGB-D數(shù)據(jù)集使用Clear Grasp算法推斷透明物體表面法線、透明表面的掩模和邊界的方法。雖然現(xiàn)階段有研究致力于使用3D數(shù)據(jù)識別透明物體，但這些算法不能立即應用于透明物體上。針對化學實驗場景下化學試管等透明玻璃儀器貼有標簽的現(xiàn)狀，本文提出先通過YOLOv3算法識別深度相機拍的RGB圖像上的化學試管上貼紙標簽，獲取其在圖像坐標系的二維坐標(u，v)，與此同時獲取其在深度圖像中貼紙標簽的深度值(即相機與試管之間的距離值)，然后通過相機成像原理公式完成坐標轉換，即可得到化學試管在空間中的三維坐標，機械臂抓手即可運動至化學試管處。針對化學試管內裝有不同的化學試劑，本文通過CTPN+BLSTM+CTC Loss算法對試管標簽上的文字進行文字識別從而完成對試管的分類。

1 系統(tǒng)整體設計

1.1 系統(tǒng)運作流程

系統(tǒng)的主要運作流程如下：首先深度相機的RGB圖像識別實驗桌上的化學試管上的貼紙標簽，確定其二維坐標，然后通過深度相機的深度圖獲取其深度值，之后通過相機成像公式完成坐標轉換從而得到各個化學儀器在世界坐標系下的三維坐標。由于深度相機與標簽距離較遠且標簽上的化學物質名文字較小，難以通過深度相機上的RGB圖像進行文字識別，所以本文在機械臂末端抓手處放置一個單目高清相機。末端抓手運動至化學試管水平方向處拍攝高清圖像用以識別貼紙上的手寫化學物質名從而獲取化學試管內的試劑類別。最后機械臂對指定類別的化學試劑進行抓取。抓取過程如圖1所示。

圖1 系統(tǒng)抓取方案圖

1.2 系統(tǒng)總體架構

系統(tǒng)總體架構如圖2所示。

圖2 系統(tǒng)總體架構

1.2.1 硬件層

1)深度相機。采用奧比中光的Astra深度相機。深度圖像與RGB圖像分辨率均為640×480，30 fps，探測距離在0.4 m～8 m。單目高清相機分辨率為1280×720，用于手寫文字識別。

2)服務器端。采用Nvidia Titan XP顯卡，用于獲取目標檢測算法的位置信息與手寫文字識別的計算。

3)搭載ROS(Robot Operating System)的六軸機械臂，控制板為樹莓派3B+，ROS系統(tǒng)集成各種機器人開發(fā)工具包，方便機械臂視覺抓取開發(fā)。

1.2.2 驅動層

驅動層包括深度相機驅動、高清相機驅動、電機驅動以及可編程邏輯。

1.2.3 操作系統(tǒng)層

ROS機器人操作系統(tǒng)主要用于功能實現(xiàn)與數(shù)據(jù)采集。功能實現(xiàn)主要是目標檢測算法與文字檢測識別算法的實現(xiàn)。

2 算法研究與設計

實現(xiàn)視覺抓取的關鍵是獲取被抓物體的位置信息與類別信息。對于透明物體而言，由于其具有折射性與透光性以及儀器內的部分化學溶液試劑無色透明，從而導致其難以被深度相機獲取深度信息。如圖3所示，黑色部分無法獲取深度信息，白色部分可以獲取深度信息。

(a) 無標簽的試管

(b) 有標簽的化學試管

在化學實驗場景下，燒杯、試管、溶液瓶等儀器上都貼有標簽以區(qū)分不同溶液，故本文用基于深度學習YOLOv3 Tiny算法訓練一個化學標簽目標檢測模型以獲取其在RGB圖像下的位置信息，從而獲得其在深度圖像下的深度信息。

2.1 化學標簽貼紙目標檢測算法

化學標簽的檢測識別采用YOLOv3 Tiny[5]算法。對于傳統(tǒng)的目標檢測算法，一般需要首先在給定的圖像上進行區(qū)域選擇，然后再利用SIFT或ORB等特征描述子對這些區(qū)域進行特征提取，最后使用訓練好的分類器進行分類，這種方法一般過程繁瑣，識別效果也不好，魯棒性較差[6]。常見的基于深度學習的目標檢測算法有2類：一類是兩階段(two stage)的目標檢測算法，主要代表有R-CNN、Fast R-CNN、Mask R-CNN等；另一類是端到端(one stage)的目標檢測算法，主要代表有SSD、YOLO系列等[7]。

YOLO[8]是基于卷積神經(jīng)網(wǎng)絡的目標檢測算法，YOLOv3[9]將單個CNN用于整張圖像，利用圖像全局信息進行評估，并通過多級預測，解決原始YOLO算法中檢測小型目標不佳的問題，對于本文要解決的化學標簽這種小目標具有良好的適用性。與此同時YOLO的檢測速度相較于Faster R-CNN、SSD等也更快[10]。

YOLOv3 Tiny相比YOLOv3雖然檢測精度下降，但是運行速度大幅提高。本文在YOLOv3 Tiny目標檢測算法的基礎上進行改進，從而提高對化學標簽貼紙的檢測精度。

2.1.1 算法改進

本文算法具體改進過程如下：

1)本文主要使用目標檢測算法檢測化學標簽貼紙，考慮到化學標簽貼紙在圖像中的尺寸較小，所以需要提高對標簽貼紙這樣的小目標的檢測準確率。本文對網(wǎng)絡淺層的特征提取階段進行改進，提高對淺層特征圖的特征提取能力。前幾層的卷積的特征圖相比后邊幾層卷積后的特征圖包含更多的小目標的邊界以及紋理特征，更適合對小目標進行特征提取。去掉原有網(wǎng)絡中的第二個最大池化層。在第三層卷積之后增加一個卷積層，作為第四層卷積，卷積核尺寸為3×3，步長為1，保持特征通道維度。

2)增加殘差單元模塊。為了能夠提高目標檢測的精度，同時減少卷積層的計算量，對原有的網(wǎng)絡結構增加殘差單元，本殘差單元由3個CBM(Conv+BN+Mish)結構組成，即卷積層、批量歸一化、激活函數(shù)，如圖4所示。改進的網(wǎng)絡增加了網(wǎng)絡的深度，提高了檢測的精度，網(wǎng)絡的輕量化也得以保持。

圖4 殘差單元結構

3)激活函數(shù)更換為Mish[11]。Mish函數(shù)是非單調函數(shù)，這可以使得輸出保持小的負值，進而穩(wěn)定網(wǎng)絡的梯度流，使神經(jīng)元得到有效更新。

改進后的網(wǎng)絡結構如圖5所示。

圖5 改進后的YOLOv3 Tiny網(wǎng)絡結構圖

2.1.2 數(shù)據(jù)集采集與制作

由于未發(fā)現(xiàn)公開的帶有化學標簽的化學儀器的數(shù)據(jù)集，所以需要自建數(shù)據(jù)集。數(shù)據(jù)來源分2類，一類是在化學實驗室場景用相機拍攝的化學標簽的圖片，另一類是人工自建的化學標簽數(shù)據(jù)集。為提高實驗準確率，需要在不同的顏色背景、不同的光照強度、不同數(shù)量的化學標簽等自然場景條件下進行拍攝。數(shù)據(jù)采集完成后用LabelImg軟件進行標注，軟件輸出為Pascal VOC格式的XML標注數(shù)據(jù)文件。XML文件都放置到VOC數(shù)據(jù)集里面的Annotations文件夾中，最后轉換為YOLO格式的txt文件。

2.1.3 模型訓練

本次實驗在TensorFlow框架進行，機器的配置如下：Ubuntu 16.04、Nvidia Titan XP 8 GB內存顯存。訓練流程如下：訓練采用遷移學習的思想，實驗在VOC2007數(shù)據(jù)集上訓練好的預訓練模型上進行初始化訓練，采用Adam優(yōu)化器優(yōu)化參數(shù)，初始學習率為1e-4，根據(jù)計算機GPU和內存的使用設置batch_size為16。學習率隨著每次迭代更新而下降。實驗訓練1600步取得較好效果，total loss降低為0.3165，GIoU loss降低為0.5421。最終訓練平均準確率為90.87%。訓練損失函數(shù)曲線如圖6所示，隨著實驗迭代次數(shù)增加，損失值最終趨于平穩(wěn)。

圖6 損失函數(shù)曲線

由于光照對于物體識別的影響較大，所以在測試時需要先對圖片進行處理。本文采用伽馬校正對光照明亮與黑暗場景的圖片進行處理。伽馬校正用來對照相機等電子設備傳感器的非線性光電轉換特性進行校正。如果圖像原樣顯示在顯示器等設備上，畫面就會顯得很暗。伽馬校正通過預先增大RGB的值來排除影響，達到對圖像校正的目的。伽馬校正公式為：

(1)

其中，c為常數(shù)，一般設為1。修改參數(shù)g，g>1時，圖像相比原圖就會顯得越亮，g<1時，圖像相比原圖表現(xiàn)得越暗。經(jīng)過伽馬校正的圖像檢測模型AP提升到了91.58%，目標檢測效果如圖7所示。

圖7 目標檢測效果圖

通過與深度圖像結合可檢測出化學標簽在深度圖像下的深度值，完成相機的內參標定以及機械臂的手眼標定。通過相機成像原理公式可求得化學標簽在機械臂世界坐標系下的三維坐標。至此機械臂可運動到化學標簽處。

2.2 手寫文字檢測與識別

上一節(jié)實現(xiàn)了化學標簽的識別、定位，但是不能區(qū)分不同的化學試劑。由于部分溶液的顏色特性會相同，比如水與硫酸都表現(xiàn)為無色透明，但是硫酸具有腐蝕性，屬于危險物品。在化學實驗室試劑瓶一般都貼有標簽以區(qū)分不同溶液，所以為了區(qū)分化學溶液以獲取其類別信息，本文利用深度學習算法CTPN+CRNN+CTC Loss框架訓練自然場景下中文手寫文字識別模型，通過識別標簽上的化學名稱以區(qū)分不同化學溶液。

對于自然場景下的文字識別一般分為2步：1)文字檢測，就是先定位文字的位置、文字的范圍；2)文字識別，對定位的文字進行識別，將圖像信息轉化為字符信息。

2.2.1 文字檢測

常見的物體檢測算法直接應用于文本檢測效果不明顯，主要原因有文本行有方向性，常規(guī)物體的BBox的四元組描述方法信息量不足，另外相較于常規(guī)的物體，文字行長度、長寬比例變化范圍很大。針對以上問題，現(xiàn)在比較流行的文本檢測模型有CTPN、DMPNet[12]、Seglink[13]、FTSN[14]、WordSup[15]等方案。以上方案在文本檢測上都有較高的準確率。CTPN對于自然場景下水平文字的檢測效果不錯，能夠檢測水平或者稍微傾斜的文本行。CTPN[16]模型選擇VGG-16[17]作為基礎網(wǎng)絡提取各字符的局部圖像特征，最后經(jīng)過Faster R-CNN的RPN網(wǎng)絡，獲取text proposals。

1)數(shù)據(jù)集。

數(shù)據(jù)集采用Reading Chinese Text in the Wild (RCTW-17)。RCTW-17[18]數(shù)據(jù)集用于ICDAR2017閱讀中文競賽，包含8000張訓練圖像，4000多張測試圖片，其中中文數(shù)據(jù)占大部分。

2)模型訓練。

由于已有的基于CTPN訓練模型的文字檢測準確度很高，對于手寫化學物質名稱的文本檢測能力也有一定的準確度，所以本文在其預訓練權重基礎上進行訓練。試驗在Keras框架進行。實驗訓練進行10000次，實驗準確率為97.12%，實驗測試效果如圖8所示。

圖8 化學物質名文字檢測效果

2.2.2 文字識別

對于文字識別階段，由于化學物質名稱長度不定，即不定長，故本文采用CNN+BLSTM+CTC Loss的方法進行識別。CNN使用卷積與池化層堆疊得到特征圖之后將提取的特征送進BLSTM得到文字的序列特征。最后利用CTC Loss轉錄得到字符。整個系統(tǒng)采用隨機梯度下降進行端到端訓練，文字檢測識別基礎框架如圖9所示。

圖9 化學物質名文字檢測識別基礎框架

LSTM[19](Long Short-Term Memory)是一種特殊的循環(huán)神經(jīng)網(wǎng)絡，能夠有效解決RNN的長期依賴問題。針對普通RNN易出現(xiàn)的“梯度消失”或“梯度爆炸”問題，LSTM可有效解決。對于文本識別，前后文的序列信息對于文字預測有重要作用，所以采用雙向LSTM(Bidirectional LSTM, BLSTM)[20]網(wǎng)絡。

CTC[21](Connectionist Temporal Classification) Loss函數(shù)主要解決的是輸入的特征與輸出的標簽的對齊問題，由于不能保證每處手寫文字都無空白且連續(xù)，故相鄰文字之間可能存在間隔以及變形，這就會導致相同的文字有不同的表現(xiàn)形式，但本質是同一個字符，引入空格字符解決空白位置的問題。

1)數(shù)據(jù)集。

手寫字體識別數(shù)據(jù)集采用的數(shù)據(jù)是由中國國家科學研究院國家模式識別實驗室采集的手寫數(shù)據(jù)集HWDB1.0、HWDB1.2[22]。HWDB1.0中有420位書寫者，每個書寫者的書寫內容為3866個不重復的漢字字符以及171個字母及符號，HWDB1.2包括3319個中文字符以及171個字母及符號。2個數(shù)據(jù)集的漢字字符集是不重合的。2個數(shù)據(jù)集一共包括7185類中文字符，已包括了GB2312字符集中的全部中文字符。

2)模型訓練。

本文在Keras深度學習計算平臺進行搭建，使用隨機梯度下降進行算法優(yōu)化，設置動量參數(shù)w為0.9，權值衰減設置為1e-4，訓練batch size大小設置為10，初始學習率設置為1e-1，訓練第一階段迭代10000步后學習率設置為1e-2，第二階段迭代5000步后學習率下降為1e-3。最后再經(jīng)過5000步迭代停止訓練，得到模型最后識別準確率為90.4%。

3 實驗結果

3.1 目標檢測算法對比

本文選取YOLOv3、YOLOv3 Tiny以及本文改進的YOLOv3 Tiny目標檢測算法在本文自建的帶有標簽的化學容器的圖片數(shù)據(jù)集上進行目標檢測任務的訓練與測試，選取平均精度與檢測速度2項指標進行對比分析評價，速度測試在GTX960顯卡的計算機上進行。表1展示了不同目標檢測算法的對比實驗結果。

表1 不同目標檢測算法結果對比

通過表1對比可以發(fā)現(xiàn)在檢測精度方面YOLOv3在本文數(shù)據(jù)集下與其他算法相比精度最高，但是在檢測速度方面卻不如YOLOv3 Tiny以及本文改進算法?？紤]到若將模型部署到嵌入式設備硬件設備，對算力有要求，所以更輕量化的本文改進的YOLOv3 Tiny具有更好的實用性。本文改進的算法相比原算法雖然速度有下降但是在精度方面有了較大提升，可以保證其檢測準確性。綜合考慮，本文改進的算法在速度與精度方面取得一定平衡，為今后部署到嵌入式設備打下了基礎。

3.2 文字識別算法對比

本文通過將文本檢測算法與文本識別算法結合進行對比測試，選取4種不同組合方案的文本檢測識別算法進行訓練與測試。主要有CTPN+CNN+RNN+CTC、CTPN+CNN+LSTM+CTC、CTPN+CNN+GRU+CTC、CTPN+CNN+BLSTM+CTC。本文的測試數(shù)據(jù)選擇中學常見的化學物質的手寫漢字，包含17人手寫的14類常見物質。實驗結果選擇平均精度與識別速度2項作為主要評價指標。實驗測得各類文字識別準確率如表2所示。

表2 不同手寫文字檢測識別方案對比

通過表2在不同算法之間的文字識別準確率對比可以看出，在自建數(shù)據(jù)集上的測試結果表明本文所用方法識別精度最高，識別速度也相對較快。

3.3 抓取實驗測試

本測試硬件設備如第2章所述，包括六軸機械臂、深度相機、機械抓手處的單目相機、貼有化學標簽的化學試管。實驗開始前已完成相機的內外參數(shù)標定，機械臂的D-H參數(shù)已集成至機械臂ROS系統(tǒng)的urdf文件中，可通過正逆運動學運算得坐標轉換關系[23]?；瘜W實驗場景機械臂抓取如圖10所示。

圖10 實驗測試平臺

實驗測試選取14類貼有不同名稱的標簽的試管進行抓取實驗以驗證機械臂定位準確度以及文字識別準確度。抓取實驗結果準確率如表3所示。

表3 抓取實驗測試

實驗結果表明深度相機能通過識別化學標簽以獲取其深度值，進而獲取試管在世界坐標系下的三維坐標，機械臂抓手運動至標簽水平前方以識別化學標簽的文字信息，從而完成抓取。但是實驗對于名稱過長的化學標簽抓取成功率較差，主要原因在文字首尾邊緣的曲面部分的文字信息產(chǎn)生形變導致識別率較差。接下來的主要工作在于提高文字識別準確率。

4 結束語

本文提出了一種在化學實驗場景下基于化學標簽定位與文字識別的機械臂抓取化學試管等儀器的方法，采用YOLOv3 Tiny目標檢測算法識別化學標簽貼紙，深度相機探測深度信息，從而完成三維定位，通過CTPN+BLSTM+CTC Loss文字識別算法識別標簽上的文字以區(qū)分不同化學物質。實驗能在小樣本環(huán)境下對目標進行識別和定位，機械臂可以對指定類別的化學試管進行抓取。下一階段需要提高文字識別準確率，以提高分類準確率從而提高機械臂抓取準確率。