基于機(jī)器視覺(jué)的蠶繭分選綜合實(shí)驗(yàn)系統(tǒng)

邵鐵鋒，唐建祥，廖藝真

（中國(guó)計(jì)量大學(xué) 工程訓(xùn)練中心，浙江 杭州 310018）

制造業(yè)是國(guó)家發(fā)展的基石，當(dāng)今世界很多國(guó)家都紛紛提出了振興制造業(yè)的國(guó)家戰(zhàn)略[1-2]。智能制造不僅對(duì)生產(chǎn)的產(chǎn)品提出了更為嚴(yán)苛的要求，對(duì)智能制造人才的專業(yè)性和復(fù)合性等也提出了新的要求。為適應(yīng)新時(shí)代的發(fā)展，培養(yǎng)符合新工科要求的高素質(zhì)綜合型的人才[3-5]，高等院校培養(yǎng)機(jī)械工程師就需要讓學(xué)生掌握扎實(shí)的理論基礎(chǔ)，同時(shí)需要培養(yǎng)學(xué)生的產(chǎn)品設(shè)計(jì)能力和對(duì)產(chǎn)品進(jìn)行試驗(yàn)調(diào)試的應(yīng)用動(dòng)手能力[6-8]。

實(shí)驗(yàn)教學(xué)承載著學(xué)生實(shí)踐能力、創(chuàng)新能力、分析問(wèn)題和解決問(wèn)題能力培養(yǎng)的重任[9-10]，對(duì)學(xué)生深刻掌握理論知識(shí)起到重要的作用。為滿足我校機(jī)械電子工程專業(yè)的教學(xué)培養(yǎng)目標(biāo)，培養(yǎng)符合新工科背景的智能制造業(yè)人才，解決現(xiàn)有的教學(xué)實(shí)驗(yàn)平臺(tái)大多存在綜合性不強(qiáng)、學(xué)生實(shí)操性低等問(wèn)題[11]，本文將教師科研成果部分內(nèi)容轉(zhuǎn)化為實(shí)驗(yàn)教學(xué)資源，設(shè)計(jì)開(kāi)發(fā)了蠶繭分選綜合實(shí)驗(yàn)系統(tǒng)。該系統(tǒng)利用機(jī)器視覺(jué)技術(shù)實(shí)現(xiàn)不同種類蠶繭的識(shí)別與分選。根據(jù)蠶繭缺陷特征的多樣與不確定性等特點(diǎn)，實(shí)驗(yàn)系統(tǒng)通過(guò)相應(yīng)的機(jī)械裝置，實(shí)現(xiàn)了蠶繭立體圖像采集，在Visual Studio 2013 的開(kāi)發(fā)環(huán)境下，結(jié)合 OpenCV 和 MFC 兩個(gè)資源庫(kù)進(jìn)行蠶繭表面圖像的處理，并將處理結(jié)果發(fā)送至下位機(jī)嵌入式控制系統(tǒng)，實(shí)現(xiàn)不同種類蠶繭分選操作。系統(tǒng)有機(jī)融合了機(jī)械設(shè)計(jì)[12]、圖像處理[13]、嵌入式系統(tǒng)控制[14]、產(chǎn)品信息管理[15]等技術(shù)，能有效地完成機(jī)械和自動(dòng)化等專業(yè)的基礎(chǔ)性教學(xué)實(shí)訓(xùn)任務(wù)。

1 實(shí)驗(yàn)要求

該實(shí)驗(yàn)系統(tǒng)主要用于本科及研究生實(shí)驗(yàn)教學(xué)，使學(xué)生了解智能制造關(guān)鍵技術(shù)，培養(yǎng)學(xué)生的圖像采集與識(shí)別、機(jī)械設(shè)計(jì)、嵌入式控制、企業(yè)信息化管理等方面的研發(fā)能力。學(xué)生需要了解的知識(shí)點(diǎn)包括：①機(jī)械設(shè)計(jì)基礎(chǔ)知識(shí)。利用CAD 軟件，實(shí)現(xiàn)產(chǎn)品零件設(shè)計(jì)，并利用3-D 打印技術(shù)，完成產(chǎn)品樣機(jī)裝配和調(diào)試。②嵌入式控制系統(tǒng)基礎(chǔ)知識(shí)。設(shè)計(jì)并制作控制系統(tǒng)，包括傳感器檢測(cè)電路、嵌入式最小系統(tǒng)電路、電機(jī)控制電路設(shè)計(jì)、接口技術(shù)、嵌入式程序開(kāi)發(fā)等，實(shí)現(xiàn)裝置控制、光源控制、圖像采集裝置觸發(fā)、與上位機(jī)通信等功能。③圖像處理基礎(chǔ)知識(shí)。利用OpenCV 等資源庫(kù)，在Visual Studio 開(kāi)發(fā)環(huán)境下實(shí)現(xiàn)蠶繭表面圖像的處理與缺陷識(shí)別，并將識(shí)別結(jié)果通過(guò)串口發(fā)送至嵌入式控制系統(tǒng)。④信息化管理技術(shù)。開(kāi)發(fā)蠶繭分選信息化管理軟件，存儲(chǔ)、統(tǒng)計(jì)、分析不同時(shí)間段、不同批次、不同產(chǎn)地的蠶繭分選結(jié)果，并出具相應(yīng)的質(zhì)量分析報(bào)告。

2 實(shí)驗(yàn)系統(tǒng)設(shè)計(jì)

2.1 實(shí)驗(yàn)系統(tǒng)整體結(jié)構(gòu)

實(shí)驗(yàn)系統(tǒng)硬件部分主要由蠶繭分選輔助裝置、嵌入式控制系統(tǒng)、圖像采集系統(tǒng)、計(jì)算機(jī)組成，如圖 1所示。

圖1 實(shí)驗(yàn)系統(tǒng)硬件組成

（1）蠶繭分選輔助裝置：主要包括翻繭機(jī)構(gòu)、蠶繭分離機(jī)構(gòu)、分選執(zhí)行機(jī)構(gòu)等。翻繭機(jī)構(gòu)通過(guò)翻轉(zhuǎn)蠶繭的方法輔助相機(jī)采集蠶繭繭層表面的完整圖像；蠶繭分離機(jī)構(gòu)將圖像采集完成的蠶繭從翻繭機(jī)構(gòu)中與未完成圖像采集的蠶繭分離；分選執(zhí)行機(jī)構(gòu)根據(jù)計(jì)算機(jī)圖像識(shí)別結(jié)果，分選分離后的蠶繭，將其放入不同的通道。

（2）嵌入式控制系統(tǒng)：嵌入式控制系統(tǒng)采用STM32系列單片機(jī)作為主控單元，與計(jì)算機(jī)通過(guò)串口（如RS485）通信，配合實(shí)現(xiàn)對(duì)裝置的控制。主控單元通過(guò) MOS 管控制裝置中相機(jī)光源的開(kāi)關(guān)狀態(tài)，通過(guò)光電傳感器獲得各工位工作狀態(tài)，同時(shí)采用專用電機(jī)驅(qū)動(dòng)模塊 TB6612FNG 實(shí)現(xiàn)裝置中直流電機(jī)的啟停、正反轉(zhuǎn)控制。

（3）蠶繭圖像采集系統(tǒng)：主要包括工業(yè)相機(jī)、工業(yè)定焦鏡頭、相機(jī)光源等。采用LED 光源落射照明和背照式照明兩種方式為系統(tǒng)提供照明。

2.2 實(shí)驗(yàn)系統(tǒng)工作流程

蠶繭分選裝置的整體結(jié)構(gòu)如圖2 所示。蠶繭經(jīng)過(guò)單?；幚砗?，經(jīng)由傳送帶與撥繭機(jī)構(gòu)將蠶繭送入翻繭機(jī)構(gòu)。實(shí)驗(yàn)裝置主要工作流程如下：

（1）蠶繭進(jìn)入翻繭機(jī)構(gòu)后，系統(tǒng)打開(kāi)光源，第 1次采集蠶繭圖像。

（2）翻繭機(jī)構(gòu)實(shí)現(xiàn)蠶繭360°翻轉(zhuǎn)，系統(tǒng)在蠶繭翻轉(zhuǎn)的同時(shí)繼續(xù)采集圖像，實(shí)現(xiàn)蠶繭繭層圖像完整采集。

（3）圖像采集完成后，蠶繭分離機(jī)構(gòu)將蠶繭推落至分選執(zhí)行機(jī)構(gòu)中，同時(shí)由計(jì)算機(jī)對(duì)采集到圖像進(jìn)行處理和識(shí)別，判斷蠶繭的類別。撥繭機(jī)構(gòu)送入下一粒待檢測(cè)的蠶繭，并重復(fù)流程（2）。

（4）計(jì)算機(jī)將識(shí)別結(jié)果通過(guò)RS485 發(fā)送至嵌入式控制系統(tǒng)。系統(tǒng)根據(jù)處理結(jié)果控制分選執(zhí)行機(jī)構(gòu)將蠶繭送入到相應(yīng)的通道中，實(shí)現(xiàn)蠶繭的分選。

圖2 蠶繭表面圖像采集與分選裝置的整體結(jié)構(gòu)示意圖

3 實(shí)驗(yàn)項(xiàng)目開(kāi)發(fā)

3.1 機(jī)械設(shè)計(jì)類實(shí)驗(yàn)

該類實(shí)驗(yàn)主要讓學(xué)生了解蠶繭分選過(guò)程，并拆解撥繭機(jī)構(gòu)、蠶繭分離機(jī)構(gòu)、翻繭機(jī)構(gòu)、分選執(zhí)行機(jī)構(gòu)。在了解其中的機(jī)械結(jié)構(gòu)與工作原理的基礎(chǔ)上，重新設(shè)計(jì)方案，并利用 Solidworks、AutoCAD 等 CAD 軟件進(jìn)行三維建模，再利用3-D 打印技術(shù)，完成零件加工與裝配。實(shí)驗(yàn)項(xiàng)目可以提高學(xué)生的機(jī)械設(shè)計(jì)能力、三維建模能力和繪制機(jī)械圖紙的基本能力。下面以翻繭機(jī)構(gòu)設(shè)計(jì)為例說(shuō)明。

翻繭機(jī)構(gòu)的整體結(jié)構(gòu)如圖3 所示，翻繭機(jī)構(gòu)的設(shè)計(jì)核心是實(shí)現(xiàn)蠶繭360°表面與蠶繭兩端完整繭層圖像信息的提取。因此，實(shí)驗(yàn)參考方案為利用兩滾軸實(shí)現(xiàn)蠶繭翻轉(zhuǎn)，并在蠶繭兩端安裝平面鏡，實(shí)現(xiàn)蠶繭兩端圖像獲取。此外，在兩滾軸之間安裝強(qiáng)光源，用于采集蠶繭內(nèi)部圖像信息。該實(shí)驗(yàn)包括齒輪傳動(dòng)設(shè)計(jì)、翻轉(zhuǎn)軸設(shè)計(jì)與裝配等。

圖3 翻繭機(jī)構(gòu)整體結(jié)構(gòu)圖

3.2 嵌入式控制系統(tǒng)設(shè)計(jì)實(shí)驗(yàn)

嵌入式控制系統(tǒng)設(shè)計(jì)實(shí)驗(yàn)主要分為兩個(gè)方向：硬件電路設(shè)計(jì)和軟件設(shè)計(jì)。實(shí)驗(yàn)?zāi)康氖亲寣W(xué)生掌握嵌入式軟硬件開(kāi)發(fā)的能力。硬件電路設(shè)計(jì)內(nèi)容是根據(jù)系統(tǒng)需求選擇相應(yīng)的傳感器，確定電機(jī)型號(hào)，進(jìn)行元器件選型，采用Altium Designer 等CAD 軟件設(shè)計(jì)系統(tǒng)原理圖和PCB 圖，完成電路板加工、焊接與安裝。硬件電路組成如圖4 所示，主要包括單片機(jī)最小系統(tǒng)電路設(shè)計(jì)、光電傳感器讀取電路、串口通信電路、電機(jī)驅(qū)動(dòng)電路、光源驅(qū)動(dòng)電路等。軟件設(shè)計(jì)內(nèi)容是根據(jù)系統(tǒng)需求及硬件電路選型，采用 KEIL 等集成開(kāi)發(fā)環(huán)境，設(shè)計(jì)相應(yīng)驅(qū)動(dòng)程序。程序模塊主要包括初始化子程序、串口通信中斷服務(wù)程序、翻繭子程序、推繭控制子程序、分選執(zhí)行子程序等。各模塊的子程序獨(dú)立設(shè)計(jì)，由主函數(shù)根據(jù)計(jì)算機(jī)發(fā)送的指令進(jìn)行調(diào)用。最終與硬件電路一起完成程序調(diào)試，實(shí)現(xiàn)對(duì)裝置的控制。

圖4 裝置整體控制結(jié)構(gòu)圖

3.3 計(jì)算機(jī)軟件開(kāi)發(fā)實(shí)驗(yàn)

在 Visual Studio 2013 的開(kāi)發(fā)環(huán)境下，結(jié)合OpenCV、MFC 等資源庫(kù)實(shí)現(xiàn)蠶繭表面圖像處理與識(shí)別、蠶繭信息化管理。

1）圖像處理算法設(shè)計(jì)實(shí)驗(yàn)。

本實(shí)驗(yàn)?zāi)康氖鞘箤W(xué)生掌握?qǐng)D像處理的一般流程及相應(yīng)的圖像處理算法。圖像處理算法的目的是將采樣獲得的圖像去除多余的背景區(qū)域，僅保留蠶繭繭層表面圖像區(qū)域，并完成蠶繭疵點(diǎn)識(shí)別。其程序流程分為以下7 個(gè)步驟：①根據(jù)所標(biāo)記的坐標(biāo)點(diǎn)對(duì)原圖進(jìn)行感興趣區(qū)域（region of interest, ROI）選取；②將 ROI區(qū)域圖像轉(zhuǎn)換為灰度圖像并確定二值化閾值，完成圖像分割；③去除背景噪音，選擇連通域；④根據(jù)蠶繭形狀的特殊性，運(yùn)用Canny 算法提取蠶繭區(qū)域的邊緣輪廓[16]，根據(jù)Fitzgibbon 提出的直接最小二乘擬合算法對(duì)提取到的蠶繭邊緣輪廓進(jìn)行橢圓擬合[17]；⑤針對(duì)擬合完成的圖像，進(jìn)行旋轉(zhuǎn)、展開(kāi)、拼接等操作，得到直觀的繭層表面圖像并保存；⑥提取疵點(diǎn)圖像，并計(jì)算疵點(diǎn)面積大小與種類。

2）面向?qū)ο筌浖_(kāi)發(fā)實(shí)驗(yàn)。

面向?qū)ο筌浖_(kāi)發(fā)編程實(shí)驗(yàn)的目的是讓學(xué)生掌握面向?qū)ο蟮腃#編程語(yǔ)言和OpenCV 庫(kù)，在Visual Studio開(kāi)發(fā)環(huán)境下完成相應(yīng)軟件開(kāi)發(fā)。軟件界面如圖5 所示。主要實(shí)現(xiàn)以下功能：①實(shí)現(xiàn)攝像頭與光源控制；②實(shí)現(xiàn)與嵌入式系統(tǒng)通訊，從而控制裝置運(yùn)行；③實(shí)現(xiàn)圖形處理算法，完成疵點(diǎn)分析；④保存圖像與分析結(jié)果，出具統(tǒng)計(jì)報(bào)告。

圖5 軟件界面

4 結(jié)語(yǔ)

本文設(shè)計(jì)了蠶繭分選綜合實(shí)驗(yàn)系統(tǒng)，涵蓋了機(jī)械、電子、計(jì)算機(jī)技術(shù)、圖像處理技術(shù)等多方面實(shí)驗(yàn)，綜合了多門學(xué)科知識(shí)，可以滿足培養(yǎng)新工科背景的復(fù)合型人才的需求。同時(shí)，相對(duì)拔尖的學(xué)生可以在此平臺(tái)的基礎(chǔ)上，參與教師科研，進(jìn)一步探索蠶繭分選方法與裝置，使實(shí)驗(yàn)系統(tǒng)進(jìn)階化、創(chuàng)新化和工程化。該實(shí)驗(yàn)系統(tǒng)將科研與教學(xué)融合，實(shí)現(xiàn)了工程項(xiàng)目到實(shí)驗(yàn)項(xiàng)目，實(shí)驗(yàn)項(xiàng)目再到工程項(xiàng)目的循環(huán)，調(diào)動(dòng)了學(xué)生的主觀能動(dòng)性，鍛煉了學(xué)生的研究性創(chuàng)新思維，提升了實(shí)驗(yàn)教學(xué)質(zhì)量。