機(jī)器視覺(jué)研究進(jìn)展及工業(yè)應(yīng)用綜述

李祥瑞

（北華大學(xué)材料科學(xué)與工程學(xué)院，吉林 吉林 132013）

1 緒論

近年來(lái)，現(xiàn)代制造業(yè)正處于產(chǎn)業(yè)結(jié)構(gòu)調(diào)整和轉(zhuǎn)型的階段，機(jī)器人被廣泛應(yīng)用于電子、化工、醫(yī)藥、物流等各個(gè)領(lǐng)域之中。機(jī)器人的發(fā)展使工業(yè)生產(chǎn)越來(lái)越“智能”[1]。智能化的應(yīng)用離不開(kāi)各種傳感器的使用，視覺(jué)傳感器的應(yīng)用十分廣泛，機(jī)器視覺(jué)技術(shù)也得到了快速發(fā)展。機(jī)器視覺(jué)技術(shù)涉及人工智能、圖像處理、模式識(shí)別等諸多前沿領(lǐng)域，具有效率高，出錯(cuò)率低、實(shí)現(xiàn)功能多等特點(diǎn)[2]。機(jī)器視覺(jué)技術(shù)的主要功能是利用相機(jī)、計(jì)算機(jī)等設(shè)備模擬人的視覺(jué)對(duì)所需測(cè)量的對(duì)象進(jìn)行識(shí)別和判斷，從而實(shí)現(xiàn)如檢測(cè)、測(cè)量、控制等操作，改變了傳統(tǒng)質(zhì)量檢測(cè)時(shí)需要人工檢測(cè)的情況。典型的工業(yè)機(jī)器視覺(jué)應(yīng)用系統(tǒng)應(yīng)包括光源，鏡頭，圖像采集卡，圖像處理單元，通信單元、圖像處理軟件等[3]，如圖1所示。

圖1 工業(yè)機(jī)器視覺(jué)系統(tǒng)的組成部分

本文主要對(duì)機(jī)器視覺(jué)的發(fā)展現(xiàn)狀、相關(guān)核心技術(shù)以及在工業(yè)中的應(yīng)用進(jìn)行總結(jié)和分析，并對(duì)其發(fā)展趨勢(shì)進(jìn)行展望。

2 機(jī)器視覺(jué)技術(shù)發(fā)展現(xiàn)狀

機(jī)器視覺(jué)在中國(guó)的發(fā)展較晚，在20世紀(jì)90年代才有少數(shù)的機(jī)器視覺(jué)技術(shù)公司成立，但是在較長(zhǎng)的時(shí)間內(nèi)，機(jī)器視覺(jué)技術(shù)在很多行業(yè)尚未普及，開(kāi)發(fā)出的機(jī)器視覺(jué)系統(tǒng)例如表面缺陷檢測(cè)、車(chē)牌識(shí)別等也存在著功能單一、準(zhǔn)確性不足等問(wèn)題。目前，機(jī)器視覺(jué)技術(shù)在歐美、日本等發(fā)達(dá)國(guó)家的發(fā)展較為成熟，應(yīng)用也較為廣泛，主要應(yīng)用于半導(dǎo)體行業(yè)和電子行業(yè)，比如PCB印刷電路、電子封裝技術(shù)與應(yīng)用等領(lǐng)域[4]。而我國(guó)此類(lèi)行業(yè)還屬于新型產(chǎn)業(yè)，機(jī)器視覺(jué)技術(shù)的應(yīng)用較外國(guó)相比具有一定差距。但近年來(lái)，隨著相關(guān)政策的支持與理論實(shí)踐積累，我國(guó)已經(jīng)取得了一定的成果并進(jìn)入到機(jī)器視覺(jué)發(fā)展的高速階段。機(jī)器視覺(jué)技術(shù)已經(jīng)慢慢融入國(guó)內(nèi)的半導(dǎo)體、電子制造、印刷、新能源、汽車(chē)制造等領(lǐng)域，但現(xiàn)階段應(yīng)用的場(chǎng)合仍十分有限，需要進(jìn)行更多的嘗試與開(kāi)發(fā)。

3 機(jī)器視覺(jué)系統(tǒng)的組成

從硬件和軟件兩個(gè)方面對(duì)機(jī)器視覺(jué)系統(tǒng)進(jìn)行分析。硬件主要有照明系統(tǒng)、成像系統(tǒng)等。硬件部分的主要功能是實(shí)現(xiàn)圖像的采集，軟件部分則主要是對(duì)采集到的信息進(jìn)行相應(yīng)的處理，從而得到檢測(cè)結(jié)果。

3.1 硬件

照明系統(tǒng)的作用主要是將外部光以合適的方式照射到被測(cè)目標(biāo)上，從而減小圖像中的干擾并增強(qiáng)某一特征，使圖像更容易被鏡頭檢測(cè)，提高系統(tǒng)的識(shí)別效率。然而由于根據(jù)檢測(cè)目標(biāo)、檢測(cè)特征、檢測(cè)背景、檢測(cè)材質(zhì)等的不同，要選取不同的照明方案，從而得到最佳效果。不同的光源的顏色、波長(zhǎng)、亮度能耗等因素不僅相同，在機(jī)器視覺(jué)中使用的光源主要有氙燈、LED、熒光燈、激光鹵素?zé)舻?。常?jiàn)的光源性能如表1[5]所示。光源的使用還要考慮到光源的角度、位置等因素。在機(jī)器視覺(jué)系統(tǒng)中除了光源的選取，還應(yīng)考慮檢測(cè)物體的位置，物體表面紋理，物體的形狀等因素。

表1 光源對(duì)比

成像系統(tǒng)主要包括鏡頭、工業(yè)相機(jī)和圖像采集卡等設(shè)備。鏡頭的主要作用是將收集到的光線聚焦在相機(jī)芯片的光敏面陣上。鏡頭選取的過(guò)程中要考慮工作距離、視距、景深等因素。圖像成像的質(zhì)量很大程度上取決于鏡頭的質(zhì)量。由鏡頭因素導(dǎo)致的圖像失真很難在后續(xù)步驟中進(jìn)行恢復(fù)，因此鏡頭質(zhì)量的好壞直接影響系統(tǒng)的整體性能。工業(yè)相機(jī)的主要功能是將光信號(hào)轉(zhuǎn)化為電信號(hào)，在實(shí)際工業(yè)應(yīng)用中，主要將光信號(hào)轉(zhuǎn)化為數(shù)字信號(hào)。常用的工業(yè)相機(jī)有CCD相機(jī)和CMOS相機(jī)。CCD相機(jī)成像質(zhì)量好，但成本較高。CMOS相機(jī)能耗低，數(shù)據(jù)傳輸速度快。根據(jù)相機(jī)傳感器的結(jié)構(gòu)性能劃分，工業(yè)相機(jī)又可劃分為面陣式和線陣式兩種。面陣式相機(jī)每次獲得完整的一幅圖像，因此獲得的圖像直觀。線陣式相機(jī)通過(guò)逐行掃描的方式獲得完整的圖像，分辨率較高。除了相機(jī)成像，還需考慮響應(yīng)速度、系統(tǒng)精度、識(shí)別范圍等因素。圖像采集卡是圖像采集部分和圖像處理部分的中間環(huán)節(jié)，其主要作用是進(jìn)行數(shù)據(jù)的傳輸和通信[6]。

3.2 軟件

軟件部分，國(guó)內(nèi)外諸多專(zhuān)家對(duì)圖像識(shí)別和處理算法進(jìn)行了深入研究，已經(jīng)形成諸多成熟的圖像處理算法，同時(shí)也催生出很多功能強(qiáng)大的機(jī)器視覺(jué)軟件。如美國(guó)Intel公司開(kāi)發(fā)的OpenCV開(kāi)源圖像處理庫(kù)。德國(guó)MVTec公司開(kāi)發(fā)的HALCON機(jī)器視覺(jué)算法包等。這些軟件往往具有操作簡(jiǎn)單、擴(kuò)展性良好、界面簡(jiǎn)介、軟硬件兼容等特點(diǎn)，因此得到了廣泛應(yīng)用?；谝陨蠌?qiáng)大的機(jī)器視覺(jué)軟件進(jìn)行圖像處理和分析應(yīng)具有以下步驟：圖像預(yù)處理、定位與分割、特征提取、模式分類(lèi)、圖像理解等步驟。圖像信號(hào)處理是機(jī)器視覺(jué)技術(shù)的關(guān)鍵，很多成熟的機(jī)器視覺(jué)算法可以直接應(yīng)用?，F(xiàn)在的機(jī)器視覺(jué)算法已經(jīng)不局限于單一特征的識(shí)別。并且現(xiàn)在深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)等對(duì)機(jī)器視覺(jué)算法進(jìn)行完善和升級(jí)，使機(jī)器視覺(jué)技術(shù)和算法的運(yùn)行速率、準(zhǔn)確性和魯棒性得到大幅提升。

4 機(jī)器視覺(jué)技術(shù)應(yīng)用

機(jī)器視覺(jué)最大的優(yōu)勢(shì)是與被檢測(cè)對(duì)象無(wú)直接接觸，不會(huì)損傷被觀測(cè)對(duì)象。與此同時(shí)，隨著圖像處理技術(shù)的不斷完善，機(jī)器視覺(jué)技術(shù)應(yīng)用的場(chǎng)合越來(lái)越廣泛。但根據(jù)需要識(shí)別進(jìn)行判斷的參數(shù)不同，所進(jìn)行的數(shù)據(jù)分析以及采用方法也有所差異。本文主要從3個(gè)應(yīng)用場(chǎng)合來(lái)介紹機(jī)器視覺(jué)技術(shù)應(yīng)用。

4.1 表面瑕疵檢測(cè)

基于機(jī)器視覺(jué)的表面缺陷自動(dòng)檢測(cè)是自動(dòng)化生產(chǎn)中產(chǎn)品質(zhì)量保障的一個(gè)重要環(huán)節(jié)。表面缺陷檢測(cè)是指利用相機(jī)等視覺(jué)傳感器對(duì)產(chǎn)品表面的缺陷瑕疵進(jìn)行成像，并通過(guò)圖像處理技術(shù)對(duì)圖像進(jìn)行處理，從而得到有無(wú)瑕疵、瑕疵位置、瑕疵數(shù)量、瑕疵類(lèi)型等數(shù)據(jù)，進(jìn)而可以對(duì)瑕疵產(chǎn)生原因進(jìn)行分析。機(jī)器視覺(jué)在表面瑕疵檢測(cè)方面的應(yīng)用可以有效地降低傳統(tǒng)人工瑕疵檢測(cè)的主觀性差異，能夠提高生產(chǎn)效率，降低生產(chǎn)成本。與此同時(shí)，在一些工作環(huán)境惡劣的場(chǎng)所中，機(jī)器視覺(jué)技術(shù)的使用可以更好的發(fā)揮其優(yōu)勢(shì)。

產(chǎn)品的缺陷檢測(cè)一般分為圖像預(yù)處理、特征提取、缺陷確認(rèn)和分類(lèi)等步驟?；跈C(jī)器視覺(jué)的缺陷檢測(cè)方法中基于圖像處理的缺陷檢測(cè)中的模板匹配的方法已經(jīng)在工業(yè)檢測(cè)環(huán)節(jié)得到了應(yīng)用實(shí)踐。例如，趙翔宇等[7]基于模板匹配的方法檢測(cè)印刷品的缺陷，將圖像歸邊運(yùn)算添加到圖像預(yù)處理過(guò)程中，利用數(shù)學(xué)形態(tài)學(xué)對(duì)幀差結(jié)果圖進(jìn)行處理，克服了在工業(yè)環(huán)境中的灰塵干擾和傳送震動(dòng)干擾。孫光民等[8]提出一種針對(duì)帶鋼圖像的圖像二值化算法，對(duì)傳統(tǒng)算法中邊緣檢測(cè)、圖像分塊、連通域分析等過(guò)程進(jìn)行了改進(jìn)。改進(jìn)后的算法在保持較高檢測(cè)正確率的同時(shí)，缺陷定位較于傳統(tǒng)缺陷檢測(cè)算法更加準(zhǔn)確。然而在進(jìn)行缺陷確認(rèn)時(shí)，由于工業(yè)生產(chǎn)時(shí)所得到的數(shù)據(jù)影響因素較多，難以得到“標(biāo)準(zhǔn)”的圖像，因此傳統(tǒng)的圖相匹配等方法難以使用，因此常常采用圖像分割的方法實(shí)現(xiàn)瑕疵區(qū)域的定位。周宇[9]等將采集到的圖像進(jìn)行分塊并變成列向量，再使用列向量矩陣進(jìn)行RCDA維數(shù)約減，對(duì)約減后的特征進(jìn)行支持向量機(jī)訓(xùn)練與測(cè)試，得到圖像塊分類(lèi)結(jié)果，最后將塊分類(lèi)矩陣變形成二值分割圖，得到死節(jié)缺陷目標(biāo)。此外，深度學(xué)習(xí)在產(chǎn)品表面瑕疵的檢測(cè)中也得到了廣泛應(yīng)用，大大提高了缺陷檢測(cè)的準(zhǔn)確性。表現(xiàn)瑕疵與表面紋理的檢測(cè)原理相似。

4.2 智能裝配與分揀

裝配一直是工業(yè)生產(chǎn)中不可或缺的環(huán)節(jié)，傳統(tǒng)的人工裝配已經(jīng)不能滿足一些裝配精度的要求，如晶體管的焊接等。因此裝配機(jī)器人應(yīng)運(yùn)而生。傳統(tǒng)的裝配機(jī)器人一般按照離線編程方式工作，難以適應(yīng)環(huán)境變化。而機(jī)器視覺(jué)的加入可以使裝備機(jī)器人更加智能化。裝配機(jī)器人應(yīng)用機(jī)器視覺(jué)的方式有很多種，使用三維視覺(jué)可以更加準(zhǔn)確的進(jìn)行識(shí)別。王帥等[10]提出了一種基于Hough變換的底座表面原型特征識(shí)別算法和基于鏈碼的姿態(tài)識(shí)別算法，實(shí)現(xiàn)了工業(yè)機(jī)器人底座與減速器的智能裝配。韓浩等[11]設(shè)計(jì)一種基于工業(yè)機(jī)器人裝配生產(chǎn)線，在智能裝配過(guò)程中，提出了一種改進(jìn)型的二次匹配誤差法，首先進(jìn)行粗略匹配，大幅度減少數(shù)據(jù)量，第二次則在第一次誤差最小點(diǎn)的鄰域內(nèi)進(jìn)行匹配，加快了識(shí)別速度。

智能裝配與分揀的在機(jī)器視覺(jué)的圖像識(shí)別方面原理類(lèi)似，都是在識(shí)別完成之后對(duì)受控單元發(fā)布運(yùn)行指令。例如，方小明等[12]提出一種將圖像識(shí)別和區(qū)域斑點(diǎn)數(shù)目聯(lián)合識(shí)別的改進(jìn)方法。提高了工業(yè)機(jī)器人的自適應(yīng)性提高了工件的檢測(cè)和分選精度。機(jī)器視覺(jué)技術(shù)在智能裝配和分揀方便的應(yīng)用，極大地提高了相關(guān)產(chǎn)業(yè)的智能化。

4.3 家居板件尺寸測(cè)量

我國(guó)一些制造業(yè)已經(jīng)進(jìn)入大規(guī)模集成化發(fā)展的階段，例如家具制造業(yè)。自動(dòng)化流水線已經(jīng)應(yīng)用于加工各類(lèi)家具模板，但尺寸測(cè)量仍需人工測(cè)量，這帶來(lái)了一定的誤差，也降低了生產(chǎn)效率。唐小松等[13]提出一種基于面陣相機(jī)的板件尺寸檢測(cè)機(jī)器視覺(jué)系統(tǒng)，實(shí)現(xiàn)了使用計(jì)算機(jī)計(jì)算圖像中幾何要素的尺寸。但是其檢測(cè)速度慢，精度低并且大尺寸板件檢測(cè)困難。肖書(shū)浩等[14]提出一種基于機(jī)器視覺(jué)的通用平面尺寸檢測(cè)系統(tǒng)，可以實(shí)現(xiàn)多個(gè)尺寸同時(shí)測(cè)量，但需要手動(dòng)選定區(qū)域，沒(méi)有實(shí)現(xiàn)完全的自動(dòng)化，難以高效率識(shí)別。鄧斌攸等[15]提出一種家居板件幾何測(cè)量系統(tǒng)，可以提取出板材的幾何要素且保持較高精度。機(jī)器視覺(jué)在家居板件尺寸測(cè)量方面的應(yīng)用已經(jīng)逐步成熟，自動(dòng)化和智能化水平不斷提高。

5 結(jié)束語(yǔ)

機(jī)器視覺(jué)在近年來(lái)取得巨大進(jìn)展，應(yīng)用領(lǐng)域也逐漸擴(kuò)展，提高了工業(yè)生產(chǎn)的自動(dòng)化水平，但仍面臨著諸多挑戰(zhàn)。應(yīng)用場(chǎng)景的復(fù)雜性而導(dǎo)致的可靠性和準(zhǔn)確性的問(wèn)題；圖像或視頻數(shù)據(jù)龐大而導(dǎo)致的運(yùn)算速度問(wèn)題；多傳感器使用時(shí)的同步問(wèn)題、產(chǎn)品通用性不足的問(wèn)題等。此外，在機(jī)器視覺(jué)領(lǐng)域中如鏡頭、芯片等器件還依賴于進(jìn)口，國(guó)內(nèi)企業(yè)所研制出的機(jī)器視覺(jué)系統(tǒng)穩(wěn)定性有待提升。未來(lái)完整的機(jī)器視覺(jué)系統(tǒng)在工業(yè)中的使用集成化更高，處理速度更快；通用性能更強(qiáng)，能夠適應(yīng)不同的工作環(huán)境；擁有更加完善的數(shù)據(jù)庫(kù)，能夠更加準(zhǔn)確地進(jìn)行識(shí)別；與不同傳感器的信息能夠更好的貼合，穩(wěn)定性更強(qiáng)；在圖像捕獲和處理方面基于三維圖像上探究。此外，與人工智能的融合可以更好地提高其智能性和學(xué)習(xí)能力。