一種基于OCR技術(shù)在評(píng)價(jià)機(jī)器人軌跡可行性的應(yīng)用

許郭樑

摘要：本文設(shè)計(jì)一套自動(dòng)化獲取機(jī)器人關(guān)節(jié)信息內(nèi)容的光學(xué)識(shí)別（Optical Character Recognition）方法。該方法用于快速評(píng)估機(jī)器人軌跡在現(xiàn)場(chǎng)應(yīng)用的可行性，該軌跡主要應(yīng)用于藍(lán)光拍照式測(cè)量系統(tǒng)。首先對(duì)每張包含機(jī)器人關(guān)節(jié)信息圖片做預(yù)處理，分離RGB圖層，對(duì)圖層進(jìn)行二值化，采用LANCZOS方法進(jìn)行圖像的插值處理，使用Tesseract的搜索算法對(duì)圖像內(nèi)容進(jìn)行識(shí)別，獲取機(jī)器人各軸信息。通過評(píng)估OCR結(jié)果的，識(shí)別出錯(cuò)概率小于3%，可以滿足使用要求。結(jié)論：基于Tesseract的識(shí)別工具獲取機(jī)器人關(guān)節(jié)信息，免去目視檢查軌跡和人工判斷各軸姿態(tài)是否合理的工作內(nèi)容，機(jī)器人工程師執(zhí)行檢查程序后執(zhí)行機(jī)器人程序，即可將機(jī)器人各軸數(shù)據(jù)轉(zhuǎn)化成結(jié)構(gòu)化的數(shù)據(jù)報(bào)告，提高檢查機(jī)器人軌跡可用性的效率，有利于后續(xù)進(jìn)行更進(jìn)一步的數(shù)據(jù)處理。

Abstract： Technology of OCR apply to Automatic grabbing the information of robot joints， it plays a role to check validation of the robot path quickly which could widely use in BLS（Blue light system）. First step， pre-process is going to focus on image-processing which contains split of RGB image， Binarization， and resize by LANCZOS algorithm. Using Tesseract as OCR Tools recognize the values of joints from each image. The error rate of this method is less 3%， which could meet the needs. Conclusion The OCR based on the Tesseract can avoid the trouble of manually checking and validating the robot path and convert the image of joints into structured data files. Improve the efficiency of generation OLP （Off Line Program） report and deeply dig the data to get further information.

關(guān)鍵詞：Python語言;圖文識(shí)別;OCR

Key words： python;recognition technology;OCR

0 ?引言

隨著工業(yè)關(guān)節(jié)機(jī)器人應(yīng)用愈加廣泛，現(xiàn)場(chǎng)調(diào)試機(jī)器人軌跡的工作也隨之增加。OLP（Off Line Program）機(jī)器人離線軌跡的制作，檢查和評(píng)價(jià)工作的質(zhì)量將越來越多的影響到現(xiàn)場(chǎng)工程的質(zhì)量。OLP通常在虛擬工位里完成制作，通過檢查后交付現(xiàn)場(chǎng)使用。本文將討論一種利用圖像識(shí)別技術(shù)（OCR）從虛擬工位內(nèi)獲取機(jī)器人位姿信息的方法，并在獲取后進(jìn)行數(shù)據(jù)檢查，找出OLP內(nèi)不符合標(biāo)準(zhǔn)的位姿。通常不符合標(biāo)準(zhǔn)的位姿會(huì)造成機(jī)器人運(yùn)動(dòng)帶來的干涉和設(shè)備損壞，該標(biāo)準(zhǔn)需要結(jié)合機(jī)器人末端執(zhí)行器，工具的運(yùn)動(dòng)范圍限制和機(jī)器人管線包限制等綜合制定而成。本文選取了藍(lán)光測(cè)量工位內(nèi)機(jī)器人作為采集軸數(shù)據(jù)的對(duì)象。OCR工具選擇Tesseract作為OCR引擎，識(shí)別單張圖片時(shí)間小于0.5秒，識(shí)別工作不依賴網(wǎng)絡(luò)，在本地電腦上完成，識(shí)別率成功率大于97%，實(shí)時(shí)捕捉機(jī)器人在虛擬工位內(nèi)運(yùn)行時(shí)的各個(gè)關(guān)節(jié)值并記錄。可以有效代替人工目視檢查OLP，提升OLP檢查的效率同時(shí)降低現(xiàn)場(chǎng)調(diào)試機(jī)器人軌跡的時(shí)間。

1 ?圖像的預(yù)處理

對(duì)于圖像進(jìn)行RGB分層，二值化，插值放大處理（LANCZOS算法）。為了保證字符識(shí)別的效果，在識(shí)別之前對(duì)圖像進(jìn)行預(yù)處理，排除圖像中的干擾因素以提高圖像的質(zhì)量，為后續(xù)字符識(shí)別提高一個(gè)良好的基礎(chǔ)。[1]對(duì)圖像進(jìn)行預(yù)處理，有利用快速執(zhí)行字符識(shí)別，其中采用模板匹配法進(jìn)行識(shí)別滿足本文應(yīng)用場(chǎng)景。模板匹配是依靠輸入與樣本的相似性實(shí)現(xiàn)，這種算法對(duì)二值化的圖像識(shí)別速度快，但是圖像噪聲影響較大。在數(shù)字圖像處理中，二值化方法通過選取適當(dāng)?shù)拈撝祵?duì)圖像進(jìn)行分割，從而突出圖像中的某些特征。[2]考慮到本次識(shí)別的數(shù)值和字符為帶正負(fù)號(hào)的兩位小數(shù)數(shù)字，且字體形式固定，使用Tesseract圖像識(shí)別引擎，可以很好的滿足圖像識(shí)別要求。采用Python語言和標(biāo)準(zhǔn)庫PIL（Python Imaging Library）執(zhí)行圖像預(yù)處理。

單幅圖像內(nèi)包含一個(gè)機(jī)器人位姿信息，有6軸機(jī)器人各軸角度和2各外部軸角度組成，總共8個(gè)數(shù)字，見圖1。

使用PIL庫對(duì)圖像執(zhí)行如（表1）操作：

2 ?字符識(shí)別

Tesseract-OCR是一個(gè)開源的OCR識(shí)別引擎，最初由HP實(shí)驗(yàn)室開發(fā)，后來貢獻(xiàn)給開源軟件，目前由谷歌進(jìn)行代碼維護(hù)和更新[3]。Tesseract采用命令行交互方式，使用Python的pytesseract庫與Tesseract交互，pytesseract.image_to_string的方法將實(shí)時(shí)捕捉的圖像進(jìn)行預(yù)處理并傳遞給Tesseract執(zhí)行識(shí)別（見圖1）。在藍(lán)光測(cè)量工位中選取四種測(cè)量零件的機(jī)器人軌跡進(jìn)行識(shí)別錯(cuò)誤率測(cè)試，相關(guān)錯(cuò)誤率見表2，該方式錯(cuò)誤率可以接受。

3 ?評(píng)價(jià)機(jī)器人姿態(tài)

通過圖像識(shí)別后的每個(gè)姿態(tài)中各個(gè)軸數(shù)據(jù)，評(píng)價(jià)機(jī)器人軌跡是否滿足現(xiàn)場(chǎng)使用條件。已藍(lán)光測(cè)量工位為例，制定機(jī)器人姿態(tài)的評(píng)價(jià)條件，考慮到機(jī)器人各軸軟極限限制和管線包現(xiàn)場(chǎng)工況條件等因素，結(jié)合虛擬仿真工位和現(xiàn)場(chǎng)實(shí)際工位狀態(tài)，綜合以上信息確定評(píng)價(jià)條件。見表3。標(biāo)記出不符和判斷條件的機(jī)器人姿態(tài)，生成報(bào)告后修改標(biāo)注出的機(jī)器人姿態(tài)。

4 ?結(jié)論

A利用OCR技術(shù)可以快速高效的識(shí)別出機(jī)器人關(guān)節(jié)數(shù)據(jù)，取代人工目視檢測(cè)機(jī)器人OLP在仿真環(huán)境內(nèi)的狀態(tài)，提高交付現(xiàn)場(chǎng)OLP的質(zhì)量。

B因?yàn)闄C(jī)器人各關(guān)節(jié)數(shù)據(jù)間隔小于1秒且變化連續(xù)，容易將識(shí)別錯(cuò)誤的數(shù)據(jù)自動(dòng)剔除，3%的識(shí)別錯(cuò)誤率可以接受。個(gè)別識(shí)別錯(cuò)誤情況，可以人工干預(yù)校對(duì)。

注：本文涉及到的應(yīng)用功能的開發(fā)，離不開以下公司同事的協(xié)助和支持。劉明完成制定機(jī)器人姿態(tài)的判定工作。李正平制作評(píng)估機(jī)器人姿態(tài)工具。通過以上兩位同事的共同努力完成相關(guān)標(biāo)準(zhǔn)和工具的開發(fā)，再次表示感謝！

參考文獻(xiàn)：

[1]萬松.基于Tesseract-OCR的名片識(shí)別系統(tǒng)的研究與實(shí)現(xiàn).廣州：華南理工大學(xué)，2014.

[2]郭佳.一種光照不均勻圖像的二值化方法.武漢科技大學(xué)信息科學(xué)與工程學(xué)院 湖北 武漢 430081.

[3]鄔滿.基于跳變檢測(cè)和Tesseract的機(jī)打發(fā)票識(shí)別算法.南寧市界圍工程咨詢有限公司 中圖分類號(hào)：TP3 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1003-9767（2015）18-043-03.

[4]張淙悅，等.基于Tesseract的醫(yī)學(xué)化驗(yàn)單內(nèi)容識(shí)別技術(shù).北京：生物醫(yī)學(xué)工程，2019，38（3）：283-289.