機(jī)器視覺在工程訓(xùn)練課程中的教學(xué)實(shí)踐

劉改霞，劉能鋒，陳如香，雷喬治，戴坤添

（哈爾濱工業(yè)大學(xué)（深圳），廣東 深圳 518055）

工程訓(xùn)練是高等教育階段系統(tǒng)、全面的工程實(shí)踐訓(xùn)練，在提升學(xué)生應(yīng)用水平，提高綜合素質(zhì)和創(chuàng)新能力方面具有不可替代的作用。傳統(tǒng)的工程訓(xùn)練課程以“金工+電工”實(shí)訓(xùn)為核心，課程體系面臨著知識陳舊、新技術(shù)更新慢以及地位邊緣化等多方面挑戰(zhàn)。新技術(shù)、新產(chǎn)業(yè)、新經(jīng)濟(jì)對新型人才的需求孕育了新工科的出現(xiàn)，新工科的改革深刻影響了工科基礎(chǔ)課、工程訓(xùn)練實(shí)踐創(chuàng)新教學(xué)模式的重構(gòu)和改革。為了推動(dòng)工程訓(xùn)練實(shí)踐創(chuàng)新教學(xué)改革和發(fā)展，各高校在教學(xué)模式、教學(xué)體系等方面都進(jìn)行了有益的探索。本文探索了在工程訓(xùn)練課程體系中引入當(dāng)前主流技術(shù)和產(chǎn)業(yè)需求——機(jī)器視覺，更新工程訓(xùn)練實(shí)踐教學(xué)模式和內(nèi)容，以提升工程訓(xùn)練的實(shí)踐教學(xué)水平和人才培養(yǎng)質(zhì)量，加快新工科實(shí)踐教學(xué)改革和建設(shè)。

1 課程介紹

我校工程訓(xùn)練以實(shí)際工業(yè)環(huán)境為背景，以產(chǎn)品全生命周期為主線，以培養(yǎng)高素質(zhì)復(fù)合型人才為目的，加強(qiáng)學(xué)科交叉融合，從主體訓(xùn)練、主題拓展、自由創(chuàng)新三個(gè)方面設(shè)計(jì)訓(xùn)練內(nèi)容。如圖1所示。主體訓(xùn)練立足傳統(tǒng)，發(fā)展主流，是工程訓(xùn)練的主干內(nèi)容，訓(xùn)練內(nèi)容包含切削制造與工藝、材料成形與工藝、電子制造與工藝等；主題拓展緊跟工業(yè)發(fā)展方向，是工程訓(xùn)練的拓展內(nèi)容，訓(xùn)練內(nèi)容包含機(jī)器視覺、工業(yè)機(jī)器人、企業(yè)經(jīng)營模擬等；自由創(chuàng)新以項(xiàng)目或競賽的形式展開，串聯(lián)相關(guān)訓(xùn)練環(huán)節(jié)，學(xué)生分小組完成創(chuàng)新產(chǎn)品的設(shè)計(jì)制作全過程，達(dá)到“學(xué)以致用、知行合一”的目的。

圖1 工程訓(xùn)練課程體系

機(jī)器視覺是人工智能的一個(gè)重要分支，是實(shí)現(xiàn)工業(yè)自動(dòng)化和智能化的關(guān)鍵技術(shù)之一。培養(yǎng)具有機(jī)器視覺項(xiàng)目開發(fā)的高端人才，定將對我國人工智能產(chǎn)業(yè)及工業(yè)智能化建設(shè)起到積極作用。因此，我校工程訓(xùn)練主題拓展引入機(jī)器視覺基礎(chǔ)內(nèi)容，讓學(xué)生了解機(jī)器視覺系統(tǒng)的組成、工作原理以及應(yīng)用，熟悉機(jī)器視覺系統(tǒng)中的關(guān)鍵器件，能夠針對特定的場景進(jìn)行機(jī)器視覺系統(tǒng)關(guān)鍵器件的選型分析并搭建機(jī)器視覺系統(tǒng)獲取目標(biāo)物體的理想圖像，熟悉目標(biāo)定位方法及其實(shí)現(xiàn)原理，能夠?qū)崿F(xiàn)特定工件的定位。該課程在教授學(xué)生機(jī)器視覺相關(guān)知識、提升學(xué)生綜合素質(zhì)能力的同時(shí)，也側(cè)重培養(yǎng)學(xué)生“把目光放在世界技術(shù)發(fā)展的前沿，看國家真正需要什么”的思維，為國家培養(yǎng)適應(yīng)時(shí)代變化、積極響應(yīng)國家政策的社會主義建設(shè)者和接班人。

2 教學(xué)設(shè)計(jì)

我校工程訓(xùn)練中機(jī)器視覺基礎(chǔ)模塊教學(xué)方案設(shè)計(jì)的總體思路是：以實(shí)際工業(yè)環(huán)境為背景,組織帶領(lǐng)學(xué)生參觀并近距離觀察了解機(jī)器視覺系統(tǒng)在自動(dòng)化生產(chǎn)線上的應(yīng)用，由自動(dòng)化生產(chǎn)設(shè)備中機(jī)器視覺系統(tǒng)的組成、選型分析以及目標(biāo)定位的實(shí)現(xiàn)，延伸拓展到一般工業(yè)中機(jī)器視覺系統(tǒng)的工作原理、器件選型分析以及目標(biāo)定位方法，并設(shè)計(jì)實(shí)驗(yàn)，在給定場景下選擇合適的器件搭建機(jī)器視覺系統(tǒng)獲取目標(biāo)物體清晰理想的圖像并實(shí)現(xiàn)特定工件的定位，從應(yīng)用出發(fā)，到實(shí)地觀察，再到講解分析，最后理解并實(shí)現(xiàn)，從實(shí)踐中來又到實(shí)踐中去，有效地將理論和實(shí)踐緊密結(jié)合，同時(shí)，結(jié)合學(xué)生不同專業(yè)有不同側(cè)重，實(shí)現(xiàn)了學(xué)習(xí)內(nèi)容縱向以及橫向的延伸，激發(fā)了學(xué)生的專業(yè)學(xué)習(xí)熱情和興趣，有效地提升了學(xué)生的工程應(yīng)用及創(chuàng)新實(shí)踐能力。

3 教學(xué)實(shí)踐

3.1 實(shí)踐平臺

（1）工業(yè)生產(chǎn)線實(shí)訓(xùn)平臺。為了讓學(xué)生對機(jī)器視覺系統(tǒng)的應(yīng)用有更直觀的認(rèn)識，將課堂翻轉(zhuǎn)到工業(yè)自動(dòng)化生產(chǎn)線上，該生產(chǎn)線位于我校省級實(shí)驗(yàn)示范中心——工程訓(xùn)練中心電子封裝與檢測實(shí)驗(yàn)室中。該生產(chǎn)線包含生產(chǎn)LED燈珠的固晶機(jī)、焊線機(jī)、點(diǎn)膠機(jī)設(shè)備，如圖2所示，其中固晶機(jī)中利用機(jī)器視覺系統(tǒng)進(jìn)行芯片及基板的定位，然后將芯片固定在基板上實(shí)現(xiàn)固晶操作；焊線機(jī)中利用機(jī)器視覺系統(tǒng)進(jìn)行焊點(diǎn)位置的精確定位，實(shí)現(xiàn)芯片與基板的電氣連接；點(diǎn)膠機(jī)中利用機(jī)器視覺系統(tǒng)進(jìn)行了點(diǎn)膠位置的精確定位，實(shí)現(xiàn)芯片的封裝操作。介紹機(jī)器視覺系統(tǒng)在該生產(chǎn)線上各自動(dòng)化生產(chǎn)設(shè)備中發(fā)揮的重要作用，并進(jìn)一步帶領(lǐng)學(xué)生分析固晶機(jī)設(shè)備中的機(jī)器視覺系統(tǒng)，包括相機(jī)的選型、光源的選型、目標(biāo)物體的特征、定位方法的實(shí)現(xiàn)等，激發(fā)學(xué)生對機(jī)器視覺系統(tǒng)學(xué)習(xí)的熱情及興趣，并為后續(xù)課程的學(xué)習(xí)奠定基礎(chǔ)。

圖2 工業(yè)生產(chǎn)線實(shí)訓(xùn)平臺

（2）實(shí)驗(yàn)平臺。機(jī)器視覺實(shí)驗(yàn)平臺如圖3所示，該實(shí)驗(yàn)平臺包含硬件及軟件兩部分，可針對不同的目標(biāo)物體實(shí)現(xiàn)目標(biāo)定位、目標(biāo)識別、尺寸測量、缺陷檢測等功能。硬件部分由圖像采集模組、三軸運(yùn)動(dòng)模組、電力監(jiān)測模組以及支架等組成。圖像采集模組配備環(huán)形光源、低角度環(huán)形光源、同軸光源、碗狀光源、平行背光源等不同規(guī)格型號的光源，12mm定焦鏡頭，8～16mm變焦鏡頭，130萬像素黑白相機(jī)，300萬像素彩色相機(jī)，若干試驗(yàn)樣品等，可供學(xué)生根據(jù)特定的實(shí)驗(yàn)樣品或工件進(jìn)行機(jī)器視覺系統(tǒng)關(guān)鍵器件的選擇，并動(dòng)手進(jìn)行機(jī)器視覺實(shí)驗(yàn)系統(tǒng)的搭建，進(jìn)而完成目標(biāo)定位、目標(biāo)識別、尺寸測量、缺陷檢測等應(yīng)用。

圖3 機(jī)器視覺實(shí)驗(yàn)平臺

3.2 圖像獲取

工程上機(jī)器視覺系統(tǒng)需要根據(jù)特定場景制定特定的圖像獲取方案，包括相機(jī)、鏡頭、光源的選擇。好的圖像獲取方案能夠有效突出目標(biāo)物體與背景的對比度及差異，弱化雜亂背景對目標(biāo)的影響，進(jìn)而大大地減輕后續(xù)圖像處理的壓力。圖像采集方案的合理設(shè)計(jì)是進(jìn)行機(jī)器視覺工程項(xiàng)目開發(fā)的必備技能。傳統(tǒng)教學(xué)模式通常采用成套的實(shí)驗(yàn)設(shè)備，學(xué)生無法對系統(tǒng)中關(guān)鍵的器件進(jìn)行選型，導(dǎo)致學(xué)生只知其然不知其所以然，無法培養(yǎng)學(xué)生圖像采集方案的設(shè)計(jì)能力以及搭建實(shí)驗(yàn)環(huán)境的動(dòng)手能力?；谝陨蠁栴}，本課程基于機(jī)器視覺實(shí)驗(yàn)平臺，設(shè)計(jì)圖像獲取實(shí)驗(yàn)，讓學(xué)生根據(jù)特定工件的特定檢測需求，自主設(shè)計(jì)圖像采集方案，自主進(jìn)行相機(jī)、光源、鏡頭的選型分析，并基于所選擇的器件自主搭建實(shí)驗(yàn)機(jī)器視覺系統(tǒng)進(jìn)行圖像的采集，培養(yǎng)了學(xué)生問題分析能力和圖像采集方案的設(shè)計(jì)能力，在實(shí)際動(dòng)手操作過程中，加深了學(xué)生對相關(guān)知識的理解。

教學(xué)過程中，為了讓學(xué)生對不同器件的選型對成像效果的影響有更直觀的認(rèn)識，采用現(xiàn)場演示及對比分析方法，以光源為例，將同一目標(biāo)物體在不同光源下的成像效果進(jìn)行對比分析，如圖4所示，讓學(xué)生切實(shí)體會到不同器件選型對成像效果影響的重要性。

圖4 同一目標(biāo)物體不同光源下的成像效果對比

針對所選工件，并引導(dǎo)學(xué)生分析檢測工件的形狀、材質(zhì)反光與透光性、檢測表面的粗糙度、檢測的內(nèi)容等，初步確定合適的打光方式。以同樣的方式引導(dǎo)學(xué)生初步確定相機(jī)和鏡頭的選型，然后在實(shí)驗(yàn)平臺上組裝并搭建機(jī)器視覺系統(tǒng)，利用實(shí)驗(yàn)平臺上搭載的軟件實(shí)現(xiàn)目標(biāo)物體圖像的采集，通過不斷調(diào)整方案配置及相關(guān)參數(shù)，最終確定最合適的方案。

3.3 目標(biāo)識別

目標(biāo)識別是機(jī)器視覺中的基礎(chǔ)及核心研究領(lǐng)域，是機(jī)器視覺系統(tǒng)進(jìn)行運(yùn)動(dòng)控制以完成最終功能的基礎(chǔ)?，F(xiàn)有的圖像識別方法較多，每種方法都有其特定的應(yīng)用場景。由于課程時(shí)間限制，課程重點(diǎn)介紹所參觀固晶機(jī)設(shè)備中所用的目標(biāo)識別定位方法，即模板匹配方法，通過固晶機(jī)中芯片識別定位的程序設(shè)定，引導(dǎo)學(xué)生思考其所采用目標(biāo)識別定位方法的工作原理，引起學(xué)生的求知興趣，進(jìn)一步引入介紹基于形狀的模板匹配方法，并通過操作固晶機(jī)實(shí)現(xiàn)不同芯片不同基板的固晶過程，引導(dǎo)學(xué)生思考該工業(yè)設(shè)備為何采用模板匹配方法。最后，設(shè)計(jì)實(shí)驗(yàn)項(xiàng)目讓學(xué)生選擇感興趣的實(shí)驗(yàn)樣品，基于機(jī)器視覺實(shí)驗(yàn)運(yùn)動(dòng)平臺，搭建機(jī)器視覺系統(tǒng)，利用基于形狀的模板匹配方法，完成所選擇實(shí)驗(yàn)樣品的實(shí)時(shí)識別定位。基于形狀的模板匹配方法實(shí)現(xiàn)目標(biāo)識別定位流程，如圖5所示。

圖5 基于形狀的模板匹配方法目標(biāo)識別流程圖

通過實(shí)驗(yàn)項(xiàng)目驅(qū)動(dòng)、理論和實(shí)踐無縫銜接教學(xué)方式，激發(fā)學(xué)生學(xué)習(xí)興趣，培養(yǎng)學(xué)生問題分析、方案設(shè)計(jì)和基本算法的綜合應(yīng)用能力，進(jìn)一步提高學(xué)生解決實(shí)際工程應(yīng)用問題的能力。

4 教學(xué)特色

4.1 翻轉(zhuǎn)課堂到自動(dòng)化生產(chǎn)線，與實(shí)際工業(yè)環(huán)境零距離

打破課堂講授的單一教學(xué)模式，將課堂搬進(jìn)了自動(dòng)化生產(chǎn)線上，組織帶領(lǐng)學(xué)生參觀并近距離觀察了解機(jī)器視覺系統(tǒng)在自動(dòng)化生產(chǎn)線上的應(yīng)用，由自動(dòng)化生產(chǎn)設(shè)備中機(jī)器視覺系統(tǒng)的組成、選型分析以及目標(biāo)識別的實(shí)現(xiàn)，延伸拓展到一般工業(yè)中機(jī)器視覺系統(tǒng)的工作原理、器件選型分析以及目標(biāo)識別方法，從具體應(yīng)用出發(fā)，讓學(xué)生看得到、摸得著，真切地體驗(yàn)到知識的實(shí)地應(yīng)用，然后再深入講解分析，使得知識更為具象，更易于理解。同時(shí)，通過知識在實(shí)際工業(yè)情境中的應(yīng)用，幫助學(xué)生建立知識與生活的聯(lián)系。

4.2 實(shí)驗(yàn)案例驅(qū)動(dòng)式教學(xué)，理論與實(shí)踐無縫銜接

針對課程知識內(nèi)容，設(shè)計(jì)實(shí)驗(yàn)案例，并圍繞案例所涉及知識點(diǎn)進(jìn)行教學(xué)，理論知識為實(shí)驗(yàn)實(shí)施奠定基礎(chǔ)，實(shí)驗(yàn)又促進(jìn)了知識的吸收內(nèi)化。對于實(shí)驗(yàn)過程中遇到的問題，學(xué)生愿意花費(fèi)更多的精力進(jìn)行思考、分析和解決，有效促進(jìn)了知識的內(nèi)化。

4.3 結(jié)合不同專業(yè)有不同側(cè)重，實(shí)現(xiàn)知識橫線延伸

本課程是工程訓(xùn)練中的一個(gè)模塊，面向機(jī)械、自動(dòng)化、材料、電信等專業(yè)學(xué)生開設(shè)，針對不同專業(yè)的學(xué)生進(jìn)行了課程內(nèi)容的優(yōu)化改革，面向機(jī)械專業(yè)學(xué)生側(cè)重機(jī)器視覺系統(tǒng)機(jī)械結(jié)構(gòu)的分析，面向自動(dòng)化專業(yè)學(xué)生側(cè)重機(jī)器視覺系統(tǒng)中運(yùn)動(dòng)控制的實(shí)現(xiàn)，面向材料專業(yè)學(xué)生側(cè)重引導(dǎo)學(xué)生對機(jī)器視覺系統(tǒng)中關(guān)鍵器件的用料進(jìn)行分析，面向電信專業(yè)學(xué)生側(cè)重機(jī)器視覺系統(tǒng)中識別算法的分析。面向不同專業(yè)對知識內(nèi)容有不同的側(cè)重，實(shí)現(xiàn)了知識的橫向以及縱向的延伸。

4.4 加入課程思政元素，弘揚(yáng)愛國精神

課程將立德樹人作為重要環(huán)節(jié)，寓德于課，挖掘價(jià)值引導(dǎo)與課程內(nèi)容的共振點(diǎn)，在帶領(lǐng)學(xué)生參觀機(jī)器視覺系統(tǒng)在工業(yè)自動(dòng)化LED生產(chǎn)線時(shí)，介紹我國特定領(lǐng)域受制于國外的卡脖子現(xiàn)象，弘揚(yáng)愛國精神，激發(fā)學(xué)生的愛國情、強(qiáng)國志、報(bào)國行。

5 結(jié)語

新工科背景下，我校積極更新工程訓(xùn)練實(shí)踐教學(xué)模式和內(nèi)容，在工程訓(xùn)練課程體系中引入當(dāng)前主流技術(shù)和產(chǎn)業(yè)需求——機(jī)器視覺，提升了工程訓(xùn)練的實(shí)踐教學(xué)水平和人才培養(yǎng)質(zhì)量，加快了新工科實(shí)踐教學(xué)改革和建設(shè)。機(jī)器視覺基礎(chǔ)課程以實(shí)際工業(yè)環(huán)境為背景,組織帶領(lǐng)學(xué)生參觀并近距離觀察了解機(jī)器視覺系統(tǒng)在自動(dòng)化生產(chǎn)線上的應(yīng)用，由自動(dòng)化生產(chǎn)設(shè)備中機(jī)器視覺系統(tǒng)的組成、選型分析以及目標(biāo)定位的實(shí)現(xiàn)，延伸拓展到一般工業(yè)中機(jī)器視覺系統(tǒng)的工作原理、器件選型分析以及目標(biāo)定位方法，并設(shè)計(jì)實(shí)驗(yàn)項(xiàng)目促進(jìn)對機(jī)器視覺系統(tǒng)及其應(yīng)用的理解，從應(yīng)用出發(fā)，到實(shí)地觀察，再到講解分析，最后理解并實(shí)現(xiàn)，從實(shí)踐中來，又到實(shí)踐中去，有效地將理論和實(shí)踐緊密結(jié)合，提升了學(xué)生的工程應(yīng)用及創(chuàng)新實(shí)踐能力。