基于機(jī)器視覺提高實(shí)習(xí)安全性的金工實(shí)習(xí)教學(xué)改革探索

程國(guó)偵，徐 永，鄭 勇

（福建農(nóng)林大學(xué) 機(jī)電工程學(xué)院，福建 福州 350002）

金工實(shí)習(xí)是高等院校工科教育中重要的工程訓(xùn)練環(huán)節(jié)之一，包括對(duì)車工、銑工、刨工、磨工、鉗工、電焊等傳統(tǒng)機(jī)械制造方法的認(rèn)識(shí)和實(shí)習(xí)，以及數(shù)控加工和特種加工等先進(jìn)制造技術(shù)，在提高學(xué)生工程實(shí)踐能力上發(fā)揮著不可取代的作用。然而，與一般的實(shí)踐課程相比，金工實(shí)習(xí)有更高的危險(xiǎn)性。在實(shí)際生產(chǎn)中，即使是操作熟練的技術(shù)人員也難以完全避免事故的發(fā)生，而完全沒有生產(chǎn)經(jīng)驗(yàn)的學(xué)生不但要近距離認(rèn)識(shí)各類機(jī)械設(shè)備，還要在數(shù)周時(shí)間內(nèi)，動(dòng)手操作這些設(shè)備進(jìn)行加工。如果發(fā)生事故，輕則損毀設(shè)備，影響課程進(jìn)度，重則造成難以彌補(bǔ)的人身傷害。因此，保障實(shí)習(xí)安全，是金工實(shí)習(xí)課程順利開展最重要的前提條件。

1 金工實(shí)習(xí)中常用的安全措施

目前各高校在金工實(shí)習(xí)中常用的安全措施，可以分為以下幾類：

（1）安全教育。大部分學(xué)生對(duì)機(jī)械制造過(guò)程的危險(xiǎn)性缺乏認(rèn)識(shí)，存在僥幸心理。因此首先要通過(guò)講述相關(guān)安全事故的實(shí)例，使學(xué)生認(rèn)識(shí)到操作安全的重要性。然后詳細(xì)講解各個(gè)工種的安全操作規(guī)程，以及違反操作規(guī)程可能引發(fā)的后果。學(xué)生安全意識(shí)的缺乏是事故發(fā)生的一個(gè)重要原因，通過(guò)安全教育，能有效避免此類事故的發(fā)生。

（2）巡視監(jiān)督。由于操作不熟練、動(dòng)手能力差、馬虎大意等原因，即使反復(fù)強(qiáng)調(diào)，學(xué)生也可能違反操作規(guī)程。在實(shí)習(xí)過(guò)程中必須不時(shí)巡視，對(duì)操作不規(guī)范的學(xué)生及時(shí)糾正。

（3）安裝安全裝置。通過(guò)增設(shè)安全裝置，可以避免一些常見事故的發(fā)生。如學(xué)生在啟動(dòng)操作車床時(shí)，容易忘記取下卡盤扳手，造成扳手高速甩出。針對(duì)此類事故，可以將限位開關(guān)接入機(jī)床控制線路[1]。如圖1所示，當(dāng)卡盤扳手放入插銷并在重力作用下，將限位開關(guān)按下時(shí)，機(jī)床才能啟動(dòng)。

圖1 卡盤扳手限位裝置示意圖

（4）應(yīng)用虛擬仿真技術(shù)。利用虛擬仿真技術(shù)，可以在計(jì)算機(jī)上生成三維立體的設(shè)備模型，學(xué)生通過(guò)鼠標(biāo)等輸入設(shè)備發(fā)出指令，操作虛擬設(shè)備進(jìn)行各種加工。學(xué)生在仿真訓(xùn)練合格后，再進(jìn)行實(shí)際操作，可以使學(xué)生熟悉操作的同時(shí)，不必承擔(dān)安全風(fēng)險(xiǎn)。

2 機(jī)器視覺在金工實(shí)習(xí)中的應(yīng)用

傳統(tǒng)的安全措施雖然能在一定程度上降低事故的發(fā)生，但由于當(dāng)前高校金工實(shí)習(xí)教學(xué)時(shí)間較為緊張，學(xué)生人數(shù)眾多，且動(dòng)手能力參差不齊，一些意外及小事故仍時(shí)有發(fā)生。在實(shí)習(xí)過(guò)程中，一位教師往往要負(fù)責(zé)多臺(tái)機(jī)床，指導(dǎo)數(shù)十位學(xué)生。在給某一位學(xué)生糾正操作時(shí)，就難以顧及其他學(xué)生。因此，若是能在機(jī)床上設(shè)計(jì)一款智能監(jiān)測(cè)設(shè)備，實(shí)時(shí)監(jiān)測(cè)每一臺(tái)機(jī)床的操作狀況，當(dāng)出現(xiàn)安全風(fēng)險(xiǎn)時(shí)，及時(shí)對(duì)教師和學(xué)生播報(bào)語(yǔ)音警示，將會(huì)極大地提高金工實(shí)習(xí)的安全性和教學(xué)質(zhì)量。

目前，國(guó)內(nèi)學(xué)者對(duì)金工實(shí)習(xí)安全設(shè)備的研究多是針對(duì)某一個(gè)安全事故，開發(fā)一種安全裝置來(lái)防范，鮮有從計(jì)算機(jī)視覺（computer vision，CV）角度進(jìn)行研究。事實(shí)上對(duì)每個(gè)安全事故都研發(fā)一種安全裝置極為困難，而通過(guò)計(jì)算機(jī)視覺卻有實(shí)現(xiàn)的可能性。計(jì)算機(jī)視覺是一門跨學(xué)科的新興技術(shù)，通過(guò)計(jì)算機(jī)處理圖像數(shù)據(jù)，使人類視覺系統(tǒng)可以完成的任務(wù)實(shí)現(xiàn)自動(dòng)化，其在自動(dòng)駕駛上的應(yīng)用已經(jīng)逐漸走入現(xiàn)實(shí)生活。如特斯拉汽車公司的所有新車型，都配備了視覺系統(tǒng)，利用車身安裝的8 個(gè)攝像頭，獲取周圍每個(gè)方向的圖像數(shù)據(jù)，可以實(shí)現(xiàn)自動(dòng)轉(zhuǎn)向、自動(dòng)加速及自動(dòng)制動(dòng)等輔助駕駛功能，提高了行車的安全性。

普通臥式車床在以往的金工實(shí)習(xí)教學(xué)中，相對(duì)其他工種事故發(fā)生更為頻繁。因此本文首先選擇普通臥式車床作為研究對(duì)象，利用計(jì)算機(jī)視覺技術(shù)，搭建一套帶有自動(dòng)檢測(cè)功能的安全系統(tǒng)。

2.1 系統(tǒng)構(gòu)成及檢測(cè)流程

系統(tǒng)的構(gòu)成如圖2 所示，主要有以下幾個(gè)部件組成：使用扁鐵焊接的支撐架，放置于車床主軸箱上方；電源使用20 000 mA 的充電寶；樹莓派（Raspberry Pi）型號(hào)3b+，搭載Debian 系統(tǒng)；樹莓派攝像機(jī)，型號(hào)為V2，像素800 萬(wàn)；樹莓派WM8960 音頻擴(kuò)展板；搭載Windows10 操作系統(tǒng)的計(jì)算機(jī)；樹莓派和計(jì)算機(jī)之間使用Wi-Fi 進(jìn)行通信。

圖2 車床安全監(jiān)測(cè)系統(tǒng)示意圖

樹莓派攝像頭每隔3 s 拍攝加工時(shí)的圖像，通過(guò)Wi-Fi 將圖像傳回計(jì)算機(jī)。計(jì)算機(jī)通過(guò)圖像判斷當(dāng)前零件的形狀，使用的刀具種類及刀具與零件的相對(duì)位置。最后再將處理結(jié)果進(jìn)行分類，達(dá)到警報(bào)條件則發(fā)出警報(bào)，警報(bào)內(nèi)容實(shí)時(shí)顯示在計(jì)算機(jī)屏幕上，并通過(guò)樹莓派的揚(yáng)聲器語(yǔ)音提醒學(xué)生。

2.2 車工實(shí)習(xí)常見事故及原因

車工實(shí)習(xí)常見的事故及其原因可分為以下幾類：

（1）鐵屑飛濺入眼。加工過(guò)程中要求學(xué)生必須佩戴防護(hù)眼鏡，但還是有個(gè)別學(xué)生忘記佩戴，導(dǎo)致鐵屑飛濺入眼。剛飛出的鐵屑不僅鋒利，而且溫度高，極易造成眼睛損傷。

（2）刀具割手。多由于學(xué)生未按規(guī)定穿著長(zhǎng)袖，或?qū)⑿渥泳砥鹨l(fā)；操作中手臂若是不慎觸碰到刀架上的刀具，很容易割破手臂。

（3）卡盤扳手飛出。目前車床都裝有放置卡盤扳手才能啟動(dòng)的限位器，但在限位器發(fā)生故障的時(shí)候，如果學(xué)生忘記將卡盤扳手取下，一按下啟動(dòng)，扳手就會(huì)往人站立的方向高速甩出而傷人。

（4）刀具崩斷飛出。發(fā)生此事故多由于學(xué)生錯(cuò)誤操作導(dǎo)致，如卡盤調(diào)速過(guò)高、走刀速度過(guò)快、進(jìn)刀量過(guò)大、刀具誤撞卡盤等。

（5）零件甩出。多由于學(xué)生裝夾不牢、裝夾長(zhǎng)度過(guò)長(zhǎng)、切斷速度過(guò)快等引起。

2.3 機(jī)器視覺在車工實(shí)習(xí)中的應(yīng)用

針對(duì)以上事故，結(jié)合車工實(shí)習(xí)教學(xué)經(jīng)驗(yàn)，通過(guò)機(jī)器視覺可以進(jìn)行如下檢測(cè)：

（1）檢測(cè)學(xué)生狀態(tài)。主要檢測(cè)是否穿著長(zhǎng)袖長(zhǎng)褲，是否佩戴防護(hù)眼鏡，女生是否戴好帽子，操作機(jī)床時(shí)是否有玩手機(jī)、開小差等情況。

（2）檢測(cè)機(jī)床狀態(tài)。檢測(cè)卡盤轉(zhuǎn)速、走刀速度、滑板位置等是否正常。

（3）對(duì)每個(gè)操作步驟作出提示。在車工實(shí)習(xí)的第一堂課上，絕大多數(shù)學(xué)生從未接觸過(guò)類似設(shè)備，操作時(shí)容易緊張，要學(xué)的內(nèi)容也較多，難免出現(xiàn)顧此失彼和錯(cuò)誤操作。因此可以實(shí)時(shí)檢測(cè)當(dāng)前將要進(jìn)行的是哪個(gè)操作，并對(duì)操作要點(diǎn)重新進(jìn)行簡(jiǎn)要的講解。

（4）出現(xiàn)錯(cuò)誤操作發(fā)出警報(bào)。實(shí)時(shí)檢測(cè)操作過(guò)程，對(duì)吃刀量過(guò)大、鐵屑顏色異常、刀具磨損嚴(yán)重等危險(xiǎn)情況發(fā)出警報(bào)。

（5）實(shí)習(xí)結(jié)束后檢測(cè)車床整理情況。檢測(cè)車床工具、滑板是否正確歸位，車床是否打掃干凈。

2.4 機(jī)床當(dāng)前操作狀況的識(shí)別方法

當(dāng)前機(jī)床操作狀況的識(shí)別，首先要確定刀具位置及零件形狀，再通過(guò)計(jì)算二者的相對(duì)位置，判斷正在進(jìn)行的操作步驟，進(jìn)而做出相應(yīng)提示。

2.4.1 識(shí)別方法選擇

實(shí)習(xí)使用的普通臥式車床型號(hào)為CA6136，車床各部位長(zhǎng)期使用發(fā)生掉漆，并且存在油漬，導(dǎo)致俯視圖背景復(fù)雜，直接通過(guò)圖像進(jìn)行識(shí)別存在較大難度，需要增設(shè)標(biāo)識(shí)物。如圖3 所示，分別在大滑板和方刀架上粘貼顏色鮮艷的薄片作為標(biāo)識(shí)物，在不影響車床正常操作的同時(shí)降低識(shí)別難度。然而在實(shí)際加工過(guò)程中，往往鐵屑飛濺，且光影變化復(fù)雜。使用閾值分割、邊緣檢測(cè)、背景差分、模板匹配等傳統(tǒng)目標(biāo)檢測(cè)算法難以有效對(duì)刀具和零件進(jìn)行識(shí)別，而深度學(xué)習(xí)技術(shù)遠(yuǎn)超傳統(tǒng)算法的魯棒性和泛化能力，無(wú)疑是解決此類問題的更好選擇。

圖3 車床俯視圖前后對(duì)比

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一種方式，是對(duì)人腦運(yùn)行機(jī)制的一種簡(jiǎn)單模仿，通過(guò)多層神經(jīng)網(wǎng)絡(luò)處理圖像、音頻等數(shù)據(jù)。該方法從本質(zhì)上說(shuō)，與所有機(jī)器學(xué)習(xí)方法一樣，是一種用數(shù)學(xué)模型對(duì)具體問題進(jìn)行建模分析問題的方法。深度學(xué)習(xí)極端依賴大規(guī)模并行計(jì)算，而中央處理器（central processing unit，CPU）難以滿足這種需求。深度學(xué)習(xí)從學(xué)術(shù)界走入現(xiàn)實(shí)生活，與GPU技術(shù)的成熟密不可分。2012 年，Hinton 的團(tuán)隊(duì)使用英偉達(dá)公司（NVIDIA）生產(chǎn)的GPU，應(yīng)用深度學(xué)習(xí)技術(shù)，在機(jī)器視覺比賽（ImageNet）中奪得冠軍，其預(yù)測(cè)的正確率首次超過(guò)傳統(tǒng)算法[2]。近年來(lái)，在目標(biāo)檢測(cè)領(lǐng)域，隨著R-CNN[3]、SSD[4]、RetianNet[5]、YOLO[6]等基于深度學(xué)習(xí)優(yōu)秀算法的出現(xiàn)，使得那些傳統(tǒng)算法表現(xiàn)不佳的視覺識(shí)別任務(wù)有了替代方案。本文分別選擇 YOLO v3[7]和 U-Net[8]算法對(duì)刀具位置和零件形狀進(jìn)行識(shí)別，實(shí)驗(yàn)結(jié)果表明，識(shí)別速度和準(zhǔn)確率較為理想。

2.4.2 刀具位置的判定

YOLO v3 是深度學(xué)習(xí)領(lǐng)域的一種優(yōu)良的目標(biāo)檢測(cè)方法，以往的目標(biāo)檢測(cè)方法大多利用分類器執(zhí)行檢測(cè)，而YOLO v3 將目標(biāo)檢測(cè)任務(wù)作為目標(biāo)區(qū)域預(yù)測(cè)和類別預(yù)測(cè)的回歸分析問題，采用單個(gè)神經(jīng)網(wǎng)絡(luò)直接預(yù)測(cè)物品的邊界和類別的概率，實(shí)現(xiàn)端到端的物品檢測(cè)[7]。具體實(shí)現(xiàn)步驟簡(jiǎn)述如下：

（1）制作數(shù)據(jù)集。車工實(shí)習(xí)中常用的刀具共3 種：外圓刀、圓弧刀和切斷刀。刀具數(shù)據(jù)集如表1 所示，使用不同的刀具時(shí)，方刀架上不同顏色貼片的旋轉(zhuǎn)方向不同。拍攝刀架處于不同位置的圖片后，分別對(duì)貼片區(qū)域進(jìn)行標(biāo)注，得到三類刀具圖片數(shù)量分別為125張、123 張和148 張。再通過(guò)旋轉(zhuǎn)、縮放、添加噪聲、局部扭曲的方法對(duì)圖像進(jìn)行數(shù)據(jù)增強(qiáng)，將圖片數(shù)量增加到原來(lái)的5 倍。圖片總數(shù)量達(dá)1 980 張，其中訓(xùn)練集和驗(yàn)證集的數(shù)量之比為9∶1。

拍攝的原始圖像如圖4 所示，圖片大小為3 280 pixel×2 464 pixel，格式為24 位的JPG 文件。用圖像處理工具將所有圖片尺寸縮小至800 pixel×480 pixel，降低訓(xùn)練時(shí)的計(jì)算量。

（2）訓(xùn)練數(shù)據(jù)。YOLO v3 網(wǎng)絡(luò)訓(xùn)練過(guò)程中，類別數(shù)為3，批處理大小為5，迭代次數(shù)為50，其余參數(shù)采用默認(rèn)值。

（3）使用模型進(jìn)行檢測(cè)。使用網(wǎng)絡(luò)訓(xùn)練得到的模型文件進(jìn)行檢測(cè)，識(shí)別效果如圖5 所示。

表1 刀具數(shù)據(jù)集

圖4 拍攝的原始圖

圖5 識(shí)別效果圖

2.4.3 零件外形輪廓的獲取

U-Net 是一種基于FCN 框架的全卷積網(wǎng)絡(luò)[9]，目前廣泛應(yīng)用于醫(yī)療領(lǐng)域的圖像語(yǔ)義分割。醫(yī)療圖像往往語(yǔ)義簡(jiǎn)單、結(jié)構(gòu)固定，而數(shù)據(jù)量較少。因此模型參數(shù)不宜過(guò)多，否則容易導(dǎo)致過(guò)擬合，而U-Net 輕量級(jí)的模型結(jié)構(gòu)正適合于處理此類圖像[10]。

圖6 所示是車工第一節(jié)課加工的零件，在加工過(guò)程中零件的位置相對(duì)固定，外形變化不大。要對(duì)未加工的鋼材和加工過(guò)程中的零件輪廓分別進(jìn)行識(shí)別，用U-Net 網(wǎng)絡(luò)可以實(shí)現(xiàn)較好的效果。具體實(shí)現(xiàn)步驟簡(jiǎn)述如下：

圖6 車工零件圖

（1）零件數(shù)據(jù)集。零件始終固定在卡盤上，不需要處理拍攝的整張圖像。如表2 所示，零件有未加工和加工后兩種類別，截取后的尺寸為350 pixel×200 pixel，拍攝的圖片數(shù)量分別為11 張和26 張。程序在訓(xùn)練過(guò)程中對(duì)數(shù)據(jù)進(jìn)行增強(qiáng)，因此不需要收集太多數(shù)據(jù)就可以達(dá)到較好效果。

表2 零件數(shù)據(jù)集

（2）訓(xùn)練數(shù)據(jù)。使用U-Net 網(wǎng)絡(luò)訓(xùn)練過(guò)程中，訓(xùn)練期數(shù)為7 次，每次訓(xùn)練的圖片樣本數(shù)量為600 張，其余參數(shù)采用默認(rèn)值。

（3）使用模型進(jìn)行檢測(cè)。使用網(wǎng)絡(luò)訓(xùn)練得到的模型文件進(jìn)行檢測(cè)，識(shí)別效果如圖7 所示。

圖7 語(yǔ)義分割效果圖

2.4.4 識(shí)別效果測(cè)試

以人工標(biāo)注的結(jié)果作為參考，重新拍攝20 張圖片進(jìn)行測(cè)試。測(cè)試系統(tǒng)軟件環(huán)境為：Windows10，Python，Cuda 等。主要硬件為：CPU 型號(hào)為AMD 2600X；GPU型號(hào)為RTX2060；內(nèi)存條的容量和頻率為16 G 和3000 MHz。識(shí)別準(zhǔn)確率及耗時(shí)如表3 所示，準(zhǔn)確率均在80%以上，耗時(shí)滿足拍攝時(shí)間間隔要求。

表3 識(shí)別準(zhǔn)確率及耗時(shí)

2.5 系統(tǒng)預(yù)期功能

通過(guò)對(duì)零件外形輪廓及刀具的識(shí)別，可以避免車工實(shí)習(xí)常見的三類事故：

（1）零件裝夾長(zhǎng)度錯(cuò)誤。零件裝夾長(zhǎng)度過(guò)長(zhǎng)，會(huì)導(dǎo)致徑向扭矩過(guò)大，使得零件震動(dòng)、彎曲、損毀，甚至擊飛刀具；裝夾長(zhǎng)度過(guò)短，會(huì)使得刀具容易與高速旋轉(zhuǎn)中的卡盤碰撞。因此可以計(jì)算零件外形輪廓的長(zhǎng)度，超過(guò)規(guī)定值提前發(fā)出警報(bào)。

（2）背吃刀量過(guò)大。此類事故通常發(fā)生在加工零件外徑時(shí)，背吃刀量超過(guò)規(guī)定值，刀具劇烈磨損，嚴(yán)重時(shí)可能導(dǎo)致刀刃崩斷。通過(guò)檢測(cè)零件外形輪廓的變化，可以對(duì)背吃刀量進(jìn)行估算，避免事故發(fā)生。

（3）進(jìn)給速度不當(dāng)。在切斷時(shí)，進(jìn)給速度過(guò)快會(huì)使刀具劇烈磨損；進(jìn)給速度過(guò)慢又會(huì)加劇摩擦。為避免這兩種情況，可以通過(guò)對(duì)刀具類型及位置的識(shí)別，計(jì)算出刀具的移動(dòng)速度，當(dāng)?shù)毒咚俣炔辉诎踩秶鷷r(shí)及時(shí)示警。

3 結(jié)語(yǔ)

本文提出了一種將機(jī)器視覺、人工智能與傳統(tǒng)的金工實(shí)習(xí)教學(xué)相結(jié)合的教學(xué)改革方案。實(shí)習(xí)過(guò)程中人眼難以實(shí)時(shí)觀察每一臺(tái)機(jī)床的操作情況，在出現(xiàn)問題時(shí)，往往已經(jīng)來(lái)不及阻止。機(jī)器視覺可以不知疲倦且實(shí)時(shí)準(zhǔn)確地發(fā)現(xiàn)問題，彌補(bǔ)人眼的不足并及時(shí)發(fā)出提醒信號(hào)，將可能的故障率降到最低。此外，人工教學(xué)難以對(duì)每一位學(xué)生的每一個(gè)操作都做出指導(dǎo)，用機(jī)器視覺結(jié)合語(yǔ)音指導(dǎo)，可以彌補(bǔ)人力的不足，幫助學(xué)生正確操作，從而提高教學(xué)效果。利用機(jī)器視覺還可以將所有警報(bào)記錄下來(lái)，作為考評(píng)成績(jī)的一部分。在以往教學(xué)中，雖然也多次提醒學(xué)生規(guī)范操作、遵守紀(jì)律是成績(jī)的一部分，但是由于學(xué)生人數(shù)眾多，在實(shí)際教學(xué)中，往往難以落實(shí)，因此很多學(xué)生也不重視。有了這一全新的系統(tǒng)，不僅使得記錄學(xué)生的每個(gè)操作過(guò)程成為可能，而且還能敦促學(xué)生注意規(guī)范操作，為學(xué)生今后的工程實(shí)踐打下良好的基礎(chǔ)。綜上所述，該方案有助于提高金工實(shí)習(xí)的安全性和教學(xué)質(zhì)量，以及設(shè)備的完好率。但目前通過(guò)機(jī)器視覺僅實(shí)現(xiàn)了部分功能，如何更全面、精確地對(duì)操作狀況進(jìn)行識(shí)別，還需要進(jìn)一步研究。