計(jì)算機(jī)視覺(jué)技術(shù)在零件識(shí)別中的應(yīng)用

馬敬，劉溪，楊勇，張錫志

（紅塔煙草集團(tuán)有限責(zé)任公司，云南 玉溪 653100）

“中國(guó)制造2025”戰(zhàn)略提出要大力推進(jìn)“兩化”融合，使生產(chǎn)制造過(guò)程高度自動(dòng)化與智能化。近年來(lái)，隨著人工智能相關(guān)技術(shù)的不斷發(fā)展，計(jì)算機(jī)視覺(jué)技術(shù)在制造業(yè)扮演著越來(lái)越重要的角色，通過(guò)計(jì)算機(jī)自主學(xué)習(xí)的能力讓制造過(guò)程更加精確化和智能化。

計(jì)算機(jī)視覺(jué)技術(shù)用攝像頭和處理器來(lái)模擬人的眼睛和大腦，接收真實(shí)世界的視覺(jué)信息，例如圖片、視頻等，通過(guò)傳統(tǒng)圖像處理方法或者機(jī)器學(xué)習(xí)模型對(duì)目標(biāo)物體進(jìn)行特征提取、轉(zhuǎn)化和識(shí)別，具有硬件成本低、識(shí)別準(zhǔn)確度高、無(wú)接觸性等優(yōu)勢(shì)。采集物體的視覺(jué)信息并進(jìn)行運(yùn)算和分析，將圖像信息轉(zhuǎn)化為計(jì)算機(jī)可處理的數(shù)字信號(hào)，并產(chǎn)生反饋信息指導(dǎo)自動(dòng)化設(shè)備的智能生產(chǎn)或者管理，在工業(yè)領(lǐng)域中，視覺(jué)算法通常用于零件的精密測(cè)量、外觀缺陷與磨損檢測(cè)、自動(dòng)分揀系統(tǒng)、備件庫(kù)圖像檢索等。

如今工業(yè)企業(yè)中使用的零件種類繁多、數(shù)量巨大，在諸多場(chǎng)景中都需要對(duì)零件進(jìn)行自動(dòng)識(shí)別，例如自動(dòng)化生產(chǎn)線中的零件分揀系統(tǒng)，如果采用人工分揀模式則存在效率低、錯(cuò)誤率高等問(wèn)題，基于計(jì)算機(jī)視覺(jué)的零件識(shí)別方式打破了傳統(tǒng)人工分揀的缺陷，能夠更加高效、客觀和準(zhǔn)確地對(duì)零件進(jìn)行識(shí)別，提升生產(chǎn)效率。同時(shí)，目前大多數(shù)工業(yè)企業(yè)都有一套完善的信息化物流管理模式，零件的各種信息都存儲(chǔ)在零備件管理系統(tǒng)中，使用計(jì)算機(jī)視覺(jué)技術(shù)對(duì)零件圖片進(jìn)行識(shí)別，并快速地從系統(tǒng)中檢索出相應(yīng)零件信息，這是傳統(tǒng)的憑借人工經(jīng)驗(yàn)進(jìn)行檢索的模式所不能及的。因此研究基于計(jì)算機(jī)視覺(jué)的零件識(shí)別算法具有非常重要的應(yīng)用價(jià)值和意義，本文主要對(duì)計(jì)算機(jī)視覺(jué)相關(guān)技術(shù)，以及其在零件識(shí)別中的應(yīng)用情況進(jìn)行研究和探索，并對(duì)未來(lái)的發(fā)展趨勢(shì)進(jìn)行展望。

1 計(jì)算機(jī)視覺(jué)技術(shù)分析

計(jì)算機(jī)視覺(jué)的核心在于圖像處理，圖像處理中的難點(diǎn)在于特征提取，特征提取指的是從圖像中提取出物體特征，如人臉的皮膚顏色、邊緣輪廓、關(guān)鍵點(diǎn)等，特征提取決定了接下來(lái)的圖像分類或檢測(cè)的效果。其中特征提取方式主要分為人工設(shè)計(jì)特征的提取算法和深度學(xué)習(xí)自動(dòng)提取特征的方法。

1.1 人工設(shè)計(jì)特征的提取算法

人工設(shè)計(jì)特征提取算法主要指針對(duì)特定任務(wù)精心設(shè)計(jì)算法對(duì)圖像進(jìn)行特征提取，其中SIFT（尺度不變特征變換）是比較經(jīng)典的特征提取算法，屬于局部特征的描述算子，原理是在不同的尺度空間中查找圖像關(guān)鍵點(diǎn)，并消除光照和噪聲的影響，找到邊緣點(diǎn)、角點(diǎn)等特征，SIFT算法具有穩(wěn)定性和不變形，能夠適應(yīng)圖像縮放、旋轉(zhuǎn)以及亮度變化，且特征向量匹配速度快。同時(shí)，HOG（方向梯度直方圖）也是常用的提取方法，其思想是一副圖像中局部物體的外觀和形狀能夠被邊緣方向的密度分布來(lái)描述，而梯度通常存在于物體的邊緣，通過(guò)計(jì)算圖像的局部區(qū)域的梯度直方圖來(lái)生成特征，被廣泛應(yīng)用于行人檢測(cè)任務(wù)。其他傳統(tǒng)特征提取方法還有ORB、HAAR等，其中ORB算法具有尺度不變形和旋轉(zhuǎn)不變形等優(yōu)點(diǎn)，而且能夠快速檢測(cè)和提取圖像特征點(diǎn)，運(yùn)算速度上比SITF快很多；HAAR是一種對(duì)圖像中的物體或目標(biāo)進(jìn)行檢測(cè)的算法，主要針對(duì)剛性物體檢測(cè)，常被應(yīng)用于人臉檢測(cè)任務(wù)。

1.2 深度學(xué)習(xí)方法

可以看出傳統(tǒng)的人工設(shè)計(jì)特征算法，其算子需要人為憑借經(jīng)驗(yàn)設(shè)計(jì)，其設(shè)計(jì)中只有少量參數(shù)，往往要經(jīng)過(guò)幾年才能出現(xiàn)一個(gè)被廣泛接受的特征提取算法。隨著圖片數(shù)據(jù)的激增，傳統(tǒng)特征提取方法很難提取出海量圖片數(shù)據(jù)中隱含的信息，而深度學(xué)習(xí)方法打破了人工設(shè)計(jì)特征的瓶頸，能夠從大量樣本中自動(dòng)地提取對(duì)任務(wù)有用的特征，提取過(guò)程完全不依賴人工設(shè)計(jì)。2012年，8層的AlexNet網(wǎng)絡(luò)在ImageNet圖片分類挑戰(zhàn)賽中的分類錯(cuò)誤率相比傳統(tǒng)特征提取方法降低了近一半，目前深度學(xué)習(xí)方法在絕大多數(shù)視覺(jué)識(shí)別任務(wù)上的效果都遠(yuǎn)遠(yuǎn)超過(guò)了傳統(tǒng)的人工設(shè)計(jì)特征方法。

深度學(xué)習(xí)將更深層次的神經(jīng)網(wǎng)絡(luò)應(yīng)用于計(jì)算機(jī)視覺(jué)，提取圖像的抽象特征，從AlexNet開(kāi)始，相關(guān)學(xué)者從網(wǎng)絡(luò)結(jié)構(gòu)和網(wǎng)絡(luò)深度來(lái)不斷提升深度神經(jīng)網(wǎng)絡(luò)的效果，例如Inception網(wǎng)絡(luò)用于捕捉不同尺度的特征，2015年提出的深度殘差網(wǎng)絡(luò)（ResNet）通過(guò)擬合殘差的方式來(lái)訓(xùn)練更深的網(wǎng)絡(luò)，隨后密集網(wǎng)絡(luò)（DenseNet）被提出用于提取更隱含的圖像特征，而且DenseNet支持特征復(fù)用、結(jié)構(gòu)簡(jiǎn)單。深度學(xué)習(xí)在圖像分類任務(wù)上取得了顯著的效果，同樣地在語(yǔ)義分割、目標(biāo)檢測(cè)等領(lǐng)域也得到了廣泛的應(yīng)用，例如R-CNN作為經(jīng)典的基于深度學(xué)習(xí)的目標(biāo)檢測(cè)網(wǎng)絡(luò)，其利用卷積神經(jīng)網(wǎng)絡(luò)（CNN）對(duì)候選搜索區(qū)域進(jìn)行特征提取，然后使用支持向量機(jī)進(jìn)行區(qū)域分類，極大地提升了檢測(cè)效果；SSD是一種針對(duì)多類別的單次檢測(cè)器，因識(shí)別速度快而被廣泛應(yīng)用；此外從YOLO V1到Y(jié)OLO V4系列，將圖像物體檢測(cè)看作回歸問(wèn)題，直接從整張圖片預(yù)測(cè)邊緣坐標(biāo)，標(biāo)注框中包含物體的置信度，并且能夠提取更加抽象的物體特征，整個(gè)流程使用端到端來(lái)優(yōu)化檢測(cè)性能，因此識(shí)別速度很快。

2 基于計(jì)算機(jī)視覺(jué)的零件識(shí)別

機(jī)械零件識(shí)別是計(jì)算機(jī)視覺(jué)在工業(yè)領(lǐng)域中是一個(gè)重要應(yīng)用，指識(shí)別圖像中的零件類型，最開(kāi)始用于生產(chǎn)過(guò)程中對(duì)零件進(jìn)行定位和分類，代替重復(fù)的人工勞動(dòng)。根據(jù)圖像特征提取方式的不同分為基于特征提取算子的方法和基于深度學(xué)習(xí)的方法。

2.1 基于特征提取算子的方法

基于特征提取算子的方法通常分為幾個(gè)步驟：第一，對(duì)圖像進(jìn)行預(yù)處理，圖像的質(zhì)量決定了識(shí)別算法的精度，圖像預(yù)處理目的是剔除圖像中的冗余信息，提取有用的真實(shí)信息，增強(qiáng)可檢測(cè)性，通常的處理操作有灰度化、幾何變換和圖像增強(qiáng)；第二，圖像分割，將圖像中的物體分割出來(lái)，減少無(wú)關(guān)背景對(duì)識(shí)別算法的影響，一般分為圖論分割方法、聚類分割方法和語(yǔ)義分割方法；第三，特征提取，提取出圖像中對(duì)識(shí)別有用的特征，常用的方法有SIFT、HOG等；最后，將提取到的圖像特征輸入到機(jī)器學(xué)習(xí)分類器中，完成對(duì)圖像的分類。通常來(lái)說(shuō)，決定識(shí)別效果的主要因素是特征提取階段。

從上個(gè)世紀(jì)50年代開(kāi)始，國(guó)外就對(duì)二維圖像的模式識(shí)別進(jìn)行了研究，在零件分類識(shí)別任務(wù)中，Almouhamed M提出了一種基于縮放不變形的平面輪廓識(shí)別算法，并且在遮擋場(chǎng)景下對(duì)機(jī)械零件的輪廓片段進(jìn)行匹配，是一種具有強(qiáng)魯棒性的形狀匹配方法。LJ Xiwe等人為了完成工業(yè)零件的在線分揀工作，使用多個(gè)USB攝像頭從多角度捕獲傳送帶上的零件圖像，使用Otsu算法對(duì)圖像進(jìn)行二值化處理，然后進(jìn)行輪廓提取和連接的組件標(biāo)記，計(jì)算工業(yè)零件的圓度和顏色信息，通過(guò)將圓度和顏色信息與之前人工建立的標(biāo)準(zhǔn)模板進(jìn)行比較，該方法嚴(yán)重依賴于人工標(biāo)準(zhǔn)模板，因此識(shí)別的零件種類不多。B Liu對(duì)圖片進(jìn)行邊緣檢測(cè)并選取合適的轉(zhuǎn)矩特征，然后搭建BP神經(jīng)網(wǎng)絡(luò)對(duì)零件進(jìn)行分類。

在國(guó)內(nèi)方面，任楷飛等人在LabView開(kāi)發(fā)環(huán)境下提出了一種基于灰度值金字塔的模式匹配算法，對(duì)圖像進(jìn)行灰度化后經(jīng)過(guò)高斯濾波處理，在特定的模型參數(shù)下和模板圖像進(jìn)行匹配。司小婷等人對(duì)零件圖片進(jìn)行了識(shí)別和定位的研究，從零件的幾何、形狀和多輪廓特征對(duì)待識(shí)別零件和零件模板進(jìn)行匹配，然后使用最小外接矩形來(lái)定位零件?？镞d君對(duì)零件圖片提取HU不變矩和仿射不變矩，并進(jìn)行組合使得圖像具有平移、縮放、選擇不變形，然后針對(duì)訓(xùn)練樣本少且特征維度高的問(wèn)題，采用核參數(shù)的支持向量機(jī)（SVM）以及有向無(wú)環(huán)圖設(shè)計(jì)的多分類器對(duì)零件進(jìn)行分類。袁安富針對(duì)零件自動(dòng)識(shí)別系統(tǒng)效率低的問(wèn)題，提出了基于SURF的零件識(shí)別算法，SURF是SIFT的變種，主要是為了解決SIFT算法在DOG構(gòu)建和極值計(jì)算時(shí)效率低下的問(wèn)題，SURF使用Hessian矩陣來(lái)檢測(cè)極值以及用小波轉(zhuǎn)化來(lái)計(jì)算關(guān)鍵點(diǎn)，將SURF得到的特征向量用最臨近算法搜索和模板圖像最接近的零件圖像。馮長(zhǎng)建通過(guò)傅里葉描述子提取零件的形狀和輪廓信息，將得到的高維向量用主成分分析進(jìn)行降維，然后用支持向量機(jī)進(jìn)行分類，但是分類的零件較為簡(jiǎn)單（螺母、螺栓和墊圈等）。

綜上所述，基于特征提取算子的方法核心在于特征提取算法的設(shè)計(jì)，由于此類算法的設(shè)計(jì)需要很豐富的專家經(jīng)驗(yàn)，所以目前主流的方法均基于經(jīng)典的、經(jīng)過(guò)時(shí)間驗(yàn)證且成熟的特征提取算法。其次大多數(shù)方法需要和模板圖像進(jìn)行比對(duì)，因此標(biāo)準(zhǔn)模板的設(shè)計(jì)也很關(guān)鍵。

2.2 基于深度學(xué)習(xí)的方法

隨著工業(yè)制造的發(fā)展，需要快速地對(duì)紛繁復(fù)雜且數(shù)量龐大的零件類型進(jìn)行識(shí)別，基于特征提取算子的方法需要精心設(shè)計(jì)提取算法，無(wú)法適用于海量的零件識(shí)別，并且為每種零件設(shè)計(jì)標(biāo)準(zhǔn)圖像模板工作量巨大，深度學(xué)習(xí)方法能夠避免人工設(shè)計(jì)特征所帶來(lái)的工作量和局限性，因此越來(lái)越多的工作在利用深度學(xué)習(xí)自動(dòng)提取特征的能力對(duì)零件進(jìn)行自動(dòng)識(shí)別。

張煥煥對(duì)零件進(jìn)行了圖像采集，采用卷積神經(jīng)網(wǎng)絡(luò)（CNN）對(duì)圖像進(jìn)行特征提取，將訓(xùn)練好的CNN網(wǎng)絡(luò)用于三種常見(jiàn)零件的識(shí)別。陳冠琪等人使用SSD網(wǎng)絡(luò)對(duì)零件圖像進(jìn)行識(shí)別，并且在SSD網(wǎng)絡(luò)的基礎(chǔ)上增加了多尺度模塊，通過(guò)該模塊將不同深度的網(wǎng)絡(luò)單元進(jìn)行跳躍連接，同時(shí)完成零件類型預(yù)測(cè)和定位，在小目標(biāo)零件上取得了不錯(cuò)的識(shí)別效果。還有學(xué)者研究將支持向量機(jī)和深度學(xué)習(xí)相結(jié)合的方法，通過(guò)Mask R-CNN對(duì)圖片中的零件區(qū)域進(jìn)行分割，然后利用梯度直方圖（HOG）和LBP特征來(lái)訓(xùn)練SVM分類器，在遮擋情況下表現(xiàn)良好。為了緩解零件訓(xùn)練圖片缺乏的問(wèn)題，陳緒等人提出了一種基于遷移學(xué)習(xí)的零件識(shí)別模型，將預(yù)訓(xùn)練模型應(yīng)用到小樣本的零件數(shù)據(jù)集上訓(xùn)練，經(jīng)過(guò)較少的迭代次數(shù)后在4種零件上達(dá)到了93%的精度。在進(jìn)行零件識(shí)別之前，將零件所在區(qū)域分割出來(lái)能夠降低無(wú)關(guān)背景對(duì)精度的影響，因此黃海松等人在標(biāo)注好區(qū)域的零件數(shù)據(jù)集上對(duì)Mask R-CNN進(jìn)行微調(diào)，然后將零件區(qū)域分割出來(lái)，使得后續(xù)識(shí)別過(guò)程更具魯棒性。

目前深度學(xué)習(xí)技術(shù)在零件識(shí)別上應(yīng)用較少，一方面因?yàn)樯疃葘W(xué)習(xí)在工業(yè)領(lǐng)域還沒(méi)未發(fā)展成熟，第二個(gè)方面因?yàn)樯疃壬窠?jīng)網(wǎng)絡(luò)需要大量的訓(xùn)練樣本，對(duì)于工業(yè)零件識(shí)別來(lái)說(shuō)標(biāo)注工作量太大。

3 結(jié)語(yǔ)

傳統(tǒng)的人工設(shè)計(jì)特征進(jìn)行零件識(shí)別的方式無(wú)法適用于數(shù)據(jù)量龐大的機(jī)械零件識(shí)別，特征提取算子嚴(yán)重依賴于專家經(jīng)驗(yàn)，雖然深度學(xué)習(xí)方法能夠自動(dòng)提取圖像特征，效果往往也優(yōu)于傳統(tǒng)方式，但是需要大量的人工標(biāo)注樣本。因此未來(lái)深度學(xué)習(xí)在零件識(shí)別上所面臨的困難是如何低成本地獲取海量的訓(xùn)練數(shù)據(jù)，例如利用機(jī)械零件所對(duì)應(yīng)的3D模型，從3D模型中快速產(chǎn)生大量的平面圖像作為訓(xùn)練，并采用一些風(fēng)格遷移算法緩解真實(shí)圖片和3D投影平面圖的視覺(jué)差異。