基于機(jī)器視覺的肉桂表皮整形方法研究

楊保健，楊登登，陳楷強(qiáng)，吳華峰，張大君

基于機(jī)器視覺的肉桂表皮整形方法研究

楊保健1，楊登登1，陳楷強(qiáng)1，吳華峰2，張大君3

（1.五邑大學(xué) 智能制造學(xué)部，廣東 江門 529020；2.深圳市翔創(chuàng)自動(dòng)化有限公司，廣東 深圳 518104；3.羅定市寶桂天然香料科技有限公司，廣東 羅定 527245）

肉桂系嶺南名貴中藥材，其樹干上因修剪側(cè)丫后留下的結(jié)疤是樹干最堅(jiān)硬的地方，在后續(xù)肉桂剝皮過程中會(huì)損壞剝皮刀具，故需提前清除。利用Halcon設(shè)計(jì)了一個(gè)基于歸一化互相關(guān)系數(shù)方法的肉桂表皮結(jié)疤識(shí)別算法，并在Visual Studio上進(jìn)行軟件設(shè)計(jì)，上位機(jī)將肉桂樹結(jié)疤的坐標(biāo)信息傳輸給PLC，通過軸、軸和軸的聯(lián)動(dòng)實(shí)現(xiàn)對(duì)結(jié)疤的修整。實(shí)驗(yàn)結(jié)果表明，利用該方法修整一個(gè)寬度約20 mm左右的疤平均用時(shí)14 s，與手工祛疤相比，效率提高了57.1%，且修整光潔度良好。

肉桂；結(jié)疤；機(jī)器視覺；可編程控制器；整形；算法

剝皮是肉桂生產(chǎn)環(huán)節(jié)中的重要一環(huán)，楊保健[1]等人研發(fā)了一種用于肉桂樹剝皮的機(jī)器，使得剝皮效率比手工剝皮提升了87.5%。然而在肉桂的剝皮過程中，肉桂樹結(jié)疤的地方會(huì)使剝皮刀具受阻，因?yàn)榻Y(jié)疤的位置是肉桂樹最堅(jiān)硬的地方，故需要對(duì)結(jié)疤的位置進(jìn)行提前整形，才能順利剝下皮。據(jù)實(shí)地統(tǒng)計(jì)，桂樹上結(jié)疤的概率達(dá)95%，幾乎每根桂樹均有分布結(jié)疤。

查閱相關(guān)文獻(xiàn)后，發(fā)現(xiàn)目前還沒有肉桂去除結(jié)疤的相關(guān)文獻(xiàn)。針對(duì)這一難題，設(shè)計(jì)了一個(gè)基于機(jī)器視覺的肉桂表皮整形機(jī)構(gòu)，能夠?qū)θ夤饦渖系慕Y(jié)疤進(jìn)行整形，使剝皮更加順利。

1 實(shí)驗(yàn)平臺(tái)搭建

1.1 總體結(jié)構(gòu)設(shè)計(jì)

肉桂表皮整形機(jī)構(gòu)采用40 mm×40 mm的國(guó)標(biāo)鋁型材搭建而成，主要結(jié)構(gòu)由三個(gè)獨(dú)立運(yùn)動(dòng)軸系（軸、軸、軸）和刀具總成組成，如圖1所示。

1.工業(yè)相機(jī)；2.鏡頭；3.條形光源；4.配電箱；5.梅花頂尖；6.刀具總成；7.橫向進(jìn)給機(jī)構(gòu)；8.縱向進(jìn)給機(jī)構(gòu)；9.尾追。

兩個(gè)絲桿模組的滑塊十字相連，實(shí)現(xiàn)桂皮表皮整形機(jī)構(gòu)的刀具進(jìn)給，構(gòu)成機(jī)器的軸和軸；主軸由步進(jìn)電機(jī)驅(qū)動(dòng)，配以梅花頂尖和尾頂，構(gòu)成機(jī)器的軸。通過這三個(gè)運(yùn)動(dòng)軸系，可將刀具總成移至肉桂樹結(jié)疤部位。通過工業(yè)相機(jī)配合光源和光源數(shù)字控制器對(duì)肉桂樹進(jìn)行拍照，每旋轉(zhuǎn)90°拍攝一次。

1.2 刀具總成設(shè)計(jì)

刀具總成如圖2所示。木工銑刀有多個(gè)刀齒，利用工件與銑刀的相對(duì)運(yùn)動(dòng)，各刀齒依次切去桂皮的凸起。木工弧形銑刀弧寬為50.8 mm，可整形98.5 mm直徑以內(nèi)的肉桂樹。相比于切削金屬的銑刀，齒數(shù)少且具有更大的容屑空間[2]。

1.鋁合金頂板；2.法蘭軸承；3.鋁合金側(cè)板；4.電機(jī)軸夾頭；5.直流電機(jī)；6.木工弧形銑刀。

2 實(shí)驗(yàn)方案設(shè)計(jì)

首先，選取結(jié)疤的數(shù)量和形態(tài)具有代表性的肉桂樹樣本一批；其次，采集各樣本結(jié)疤的圖片，利用Halcon里面的create_ncc_model算子，完成對(duì)結(jié)疤的采集。最后，對(duì)目標(biāo)肉桂進(jìn)行拍照和處理。

整個(gè)結(jié)疤檢測(cè)和刀具去疤流程如圖3所示。

圖3 肉桂表皮整形流程圖

3 視覺算法設(shè)計(jì)

視覺算法設(shè)計(jì)采用Halcon進(jìn)行算法設(shè)計(jì)，該軟件擁有一套完善的機(jī)器視覺算法包[3]，降低了視覺算法的設(shè)計(jì)難度，方便用戶進(jìn)行操作。

本文利用Halcon設(shè)計(jì)了一個(gè)基于歸一化互相關(guān)系數(shù)方法（Normalized Cross Correlation，NCC）[4-5]的肉桂表皮結(jié)疤識(shí)別程序。通過提前采集一些肉桂表皮的結(jié)疤，即可對(duì)肉桂表皮的結(jié)疤進(jìn)行識(shí)別和定位。該算法不同于圖像邊緣特征的圖像匹配算法（Shape-Based Matching，SBM）[6]，可以有效降低光照對(duì)圖像比較結(jié)果的影響，而且NCC最終結(jié)果在[-1,1]之間，如果NCC值接近1，則表示相關(guān)性很高。

歸一化互相關(guān)系數(shù)法是比較兩組數(shù)據(jù)是否有相似關(guān)系的判斷方法，計(jì)算公式為：

3.1 算法分析

軸以間歇轉(zhuǎn)動(dòng)的方式，每旋轉(zhuǎn)90°相機(jī)拍攝一次照片，調(diào)用open_framegrabber和grab_image算子對(duì)肉桂進(jìn)行拍照，共拍攝四次，如圖4所示。

依次對(duì)每張照片進(jìn)行如下操作：

（1）肉桂樹輪廓識(shí)別：調(diào)用threshold進(jìn)行閾值分割，調(diào)用opening_circle進(jìn)行開運(yùn)算除去孤立的小點(diǎn)、毛刺，調(diào)用closing_circle進(jìn)行閉運(yùn)算消除內(nèi)部孔洞，調(diào)用fill_up填充連通區(qū)域孔以得到閉合區(qū)域，調(diào)用gen_contour_ region_xld生成肉桂樹的輪廓[7-8]，如圖5所示。

（2）肉桂樹輪廓線擬合并記錄下輪廓坐標(biāo)：調(diào)用fit_rectangle2_contour_xld算子將肉桂樹不規(guī)則的輪廓線擬合為矩形，如圖6所示，調(diào)用segment_contours_xld[9]分割輪廓，利用select_shape_xld將下輪廓篩選出來，將下輪廓的坐標(biāo)記錄下來。

圖5 獲取肉桂輪廓

圖6 擬合輪廓

（3）歸一化互相關(guān)匹配，尋找相似的實(shí)例：調(diào)用find_ncc_models算子尋找與模板相似的實(shí)例，并調(diào)用算子dev_display_ncc_matching_ results將其顯示出來。尋找結(jié)疤如圖7所示。

若第一張圖像尋找到相似的實(shí)例，則記錄該實(shí)例的中心坐標(biāo)，并在第二張圖像的肉桂下輪廓線坐標(biāo)中尋找與篩選到的實(shí)例相等的縱坐標(biāo)，獲取肉桂下輪廓線縱坐標(biāo)對(duì)應(yīng)的橫坐標(biāo)，此時(shí)獲取的坐標(biāo)是像素坐標(biāo)，需將該橫坐標(biāo)與篩選到的實(shí)例的縱坐標(biāo)通過提前標(biāo)定將像素坐標(biāo)轉(zhuǎn)換到世界坐標(biāo)，即可得到肉桂樹結(jié)疤的位置。

圖7 尋找結(jié)疤

若第一張圖找到結(jié)疤，便會(huì)在第一張圖顯示該疤到刀具總成的橫向距離，并在第二張圖顯示該疤的縱向距離（下一張圖相對(duì)于前一張圖旋轉(zhuǎn)了90°，可看出縱向距離），以此類推，按此依次在四個(gè)圖像中找出結(jié)疤的位置，效果如圖8所示，該肉桂有3個(gè)結(jié)疤，并在圖中顯示刀具總成應(yīng)移動(dòng)的橫向和縱向距離，上位機(jī)會(huì)將該位置坐標(biāo)依次傳輸給PLC，即可將刀具總成依次移動(dòng)到肉桂樹結(jié)疤的位置并進(jìn)行整形。

圖8 識(shí)別結(jié)果

3.2 軟件設(shè)計(jì)

Halcon擁有全面的視覺處理庫，能夠解決很多圖像問題，但是不能形成圖形化界面[10]，需聯(lián)合C#進(jìn)行人機(jī)界面設(shè)計(jì)，設(shè)計(jì)軟件使用Visual Studio[11-12]，該軟件是目前最強(qiáng)大的集成開發(fā)環(huán)境之一。人機(jī)界面如圖9所示。

通過人機(jī)交互界面，可以對(duì)肉桂表皮整形機(jī)構(gòu)進(jìn)行控制，可將拍照結(jié)果和結(jié)疤識(shí)別結(jié)果顯示到界面中，利用串口通信將結(jié)疤的位置信息傳輸給PLC，根據(jù)指令，控制步進(jìn)電機(jī)和直流電機(jī)，做出相應(yīng)的動(dòng)作。

3.3 PLC控制系統(tǒng)設(shè)計(jì)

根據(jù)肉桂整形的流程和輸入輸出點(diǎn)數(shù)，可編程控制器選用三菱FX3U-16MT，對(duì)繼電器、步進(jìn)電機(jī)、直流電機(jī)等電器元件進(jìn)行控制。

（1）I/O口參數(shù)分配

X0為急停按鈕；X1、X3、X2分別為軸的正轉(zhuǎn)、反轉(zhuǎn)限位、近點(diǎn)信號(hào)；X4、X6、X5分別為軸的正轉(zhuǎn)、反轉(zhuǎn)限位、近點(diǎn)信號(hào)。Y0、Y1、Y2分別連接軸、軸、軸的脈沖信號(hào)，Y3、Y4、Y5分別連接軸、軸、軸的脈沖信號(hào)方向，Y6連接中間繼電器，中間繼電器連接直流接觸器，直流接觸器連接直流電機(jī)。I/O口參數(shù)分配如表1所示。

由于PLC輸出端承受的功率有限，無法直接驅(qū)動(dòng)一個(gè)15 A的大電流電機(jī)，故需要用直流接觸器來接通電機(jī)，大電流觸點(diǎn)需要很大的閉合壓力，故接觸器的電磁線圈功率很大，由于PLC驅(qū)動(dòng)不了，需要通過繼電器來橋接，繼電器的電磁線圈功率一般在1 W以下，PLC可以直接驅(qū)動(dòng)，而繼電器觸點(diǎn)可以帶動(dòng)接觸器去驅(qū)動(dòng)電機(jī)。在這個(gè)過程中，繼電器起到了承上啟下的作用。

圖9 人機(jī)界面

表1 I/O口參數(shù)分配

（2）控制設(shè)計(jì)

PLC程序流程圖如圖10所示。當(dāng)機(jī)器視覺識(shí)別并定位到結(jié)疤部位時(shí)，上位機(jī)通過通信將四個(gè)數(shù)據(jù)D1（刀具總成到結(jié)疤右側(cè)的方向距離）、D2（刀具總成到結(jié)疤的方向距離）、D3（結(jié)疤的方向的寬度）、D5（結(jié)疤所在的角度）傳輸給PLC相應(yīng)的數(shù)據(jù)寄存器（D1～D5在上位機(jī)已轉(zhuǎn)化為相應(yīng)的脈沖數(shù)）。

由于PLC程序較長(zhǎng)，下面僅對(duì)軸旋轉(zhuǎn)進(jìn)行介紹。上位機(jī)傳輸完上面四個(gè)數(shù)據(jù)后，會(huì)讓輔助繼電器M51置為1，形成自鎖電路，通過絕對(duì)定位DRVA指令，讓軸旋轉(zhuǎn)，由于相機(jī)與刀具總成所在位置垂直，旋轉(zhuǎn)角度即為相機(jī)拍攝時(shí)已旋轉(zhuǎn)的角度再加90°，肉桂樹結(jié)疤處便可正對(duì)刀具總成。軸旋轉(zhuǎn)梯形圖如圖11所示。

圖10 PLC程序流程圖

圖11 A軸旋轉(zhuǎn)梯形圖

當(dāng)旋轉(zhuǎn)結(jié)束后，特殊輔助繼電器M8029會(huì)接通一瞬，使通信標(biāo)志M55置位，并斷開自鎖。當(dāng)上位機(jī)檢測(cè)到輔助繼電器M55置位后，說明肉桂樹旋轉(zhuǎn)已經(jīng)完成。

4 實(shí)驗(yàn)結(jié)果分析

圖12和圖13分別為肉桂整形效果表面和側(cè)面前后對(duì)比，可以看出，整形前結(jié)疤部位凸起明顯，整形后凸起被完全銑削掉，由此可見，該方法可以完整地去除結(jié)疤。

與手工祛疤所需時(shí)間進(jìn)行比較。結(jié)果表明：手工去除一個(gè)寬度20 mm左右的疤達(dá)到可順利剝皮所需時(shí)間大約為22 s，而肉桂表皮整形機(jī)構(gòu)去除一個(gè)寬度20 mm左右的疤大約需要14 s，祛疤效率提升了57.1%，且木工銑刀呈弧狀，整形后該部位仍為弧形，對(duì)后續(xù)剝皮十分有利。

圖12 肉桂整形效果表面前后對(duì)比

圖13 肉桂整形效果側(cè)面前后對(duì)比

5 結(jié)束語

本文基于Halcon，設(shè)計(jì)了歸一化互相關(guān)系數(shù)方法（NCC）的肉桂表皮結(jié)疤識(shí)別算法，并用Visual Studio進(jìn)行軟件設(shè)計(jì)，結(jié)合PLC設(shè)計(jì)了肉桂表皮整形機(jī)構(gòu)。該方法可實(shí)現(xiàn)自動(dòng)祛疤，相較于人工，工作效率提升了57.1%，且整形后該部位仍為弧形，對(duì)后續(xù)剝皮十分有利。該方法可以高效且完整地去除肉桂樹上的結(jié)疤。

[1]楊保健，楊登登，曹明軒. 肉桂樹剝皮機(jī)及關(guān)鍵部件設(shè)計(jì)[J]. 機(jī)械，2021，48（4）：20-25.

[2]曹平祥，郭曉磊. 木工銑刀裝夾技術(shù)與方法[J]. 林產(chǎn)工業(yè)，2009，36（6）：50-53.

[3]譚星凱，陳潤(rùn)康，劉穎君. 基于機(jī)器視覺的噴碼檢測(cè)系統(tǒng)設(shè)計(jì)[J]. 機(jī)械工程師，2016（10）：67-68.

[4]JiangangLin，LinJiangang，WangDongxing，et al. Surface defect detection of machined parts based on machining texture direction[J]. Measurement Science and Technology，2021，32（2）.

[5]Fan Yang，YuzengWang，ShibingWang，et al. Wood Veneer Defect Detection System Based on Machine Vision[C]. Proceedings of the 2018 International Symposium on Communication Engineering & Computer Science （CECS 2018），2018：423-428.

[6]謝暉，吳先鋒，付山，等. 基于Halcon的電表銘牌缺陷檢測(cè)系統(tǒng)[J]. 現(xiàn)代制造工程，2021（2）：119-126.

[7]陳獻(xiàn)明. 基于機(jī)器學(xué)習(xí)的木材表面缺陷圖像檢測(cè)及應(yīng)用[D]. 哈爾濱：東北林業(yè)大學(xué)，2020.

[8]范佳楠，劉英，楊雨圖，等. 機(jī)器視覺在木材缺陷檢測(cè)領(lǐng)域應(yīng)用研究進(jìn)展[J]. 世界林業(yè)研究，2020，33（3）：32-37.

[9]劉維平，李海柱，秦建峰，等. 基于halcon機(jī)器視覺的幾何元素提取方法[J]. 電子世界，2019（16）：16-17.

[10]張偉超，肖中俊，嚴(yán)志國(guó). 基于HALCON二維碼識(shí)別技術(shù)的AS/RS設(shè)計(jì)[J]. 齊魯工業(yè)大學(xué)學(xué)報(bào)，2019，33（4）：53-57.

[11]張寶愿，陳樺，張耿，等. 基于HALCON的注射器針頭缺陷檢測(cè)方法[J]. 軟件，2020，41（11）：190-193.

[12]羅福強(qiáng)，白忠建，楊劍. Visual C#. NET程序設(shè)計(jì)教程[M]. 北京：人民郵電出版社，2012.

Study on the Finishing Method of Cinnamon Epidermis Based on Machine Vision

YANG Baojian1，YANG Dengdeng1，CHEN Kaiqiang1，WU Huafeng2，ZHANG Dajun3

( 1.Faculty of Intelligent Manufacturing, Wuyi University, Jiangmen 529020, China; 2.Shenzhen Xiangchuang Automation Co., Ltd., Shenzhen518104, China; 3.Luoding Baogui Natural Flavor Technology Co., Ltd., Luoding 527245, China )

Cinnamon is a rare Chinese herbal medicine in Lingnan area. The hardest part of its trunk is the scar left after pruning, which causes damage to the peeling tools, so it needs to be removed early. In this paper, Halcon is used to design a cinnamon skin scar recognition algorithm based on the normalized cross correlation number method, and the software is designed in Visual Studio. The upper computer transits the location information of the cinnamon tree scar to PLC, performs the scar reshape through the linkage of the X-axis, Y-axis and A-axis. The result show that it takes about 14 seconds to remove a scar with a width of about 20mm by using this method. Compared with manual scar removal, the efficiency is increased by 57.1%, and the finish is good.

cinnamon；scarring；machine vision；PLC；finishing；algorithm

TP2

A

10.3969/j.issn.1006-0316.2022.08.011

1006-0316 (2022) 08-0069-07

2021-10-13

廣東大學(xué)生科技創(chuàng)新培育專項(xiàng)資金項(xiàng)目（pdjh2020b0603）；江門市基礎(chǔ)與理論科學(xué)研究類科技計(jì)劃項(xiàng)目（2019JC01012）；五邑大學(xué)2020年度校級(jí)大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃項(xiàng)目（202011349123）；2019年五邑大學(xué)學(xué)生創(chuàng)新創(chuàng)業(yè)項(xiàng)目（2019CX53）

楊保?。?982－），男，湖北隨州人，博士，講師，主要研究方向?yàn)橹悄苎b備技術(shù)等，Email：kurt.yang@163.com。