基于視覺技術(shù)的汽車制造智能裝備文獻綜述

劉科，伍力

（1.瑞松北斗汽車裝備有限公司，廣東 廣州 510760；2.東南大學(xué)機械工程學(xué)院，江蘇 南京 211189）

基于視覺技術(shù)的汽車制造智能裝備文獻綜述

劉科1，伍力2

（1.瑞松北斗汽車裝備有限公司，廣東 廣州 510760；2.東南大學(xué)機械工程學(xué)院，江蘇 南京 211189）

機器視覺是近20年新興起來的一項工程技術(shù)，涉及到成像技術(shù)、圖像處理、傳感器技術(shù)、硬件技術(shù)與接口技術(shù)等。隨著視覺技術(shù)的逐步完善和發(fā)展，其在工程上得到了越來越廣泛的運用。文章就視覺技術(shù)的組成、機器視覺在智能裝備上的運用以及機器視覺在焊接線上的運用展開了綜述，在總結(jié)文獻的基礎(chǔ)上對汽車生產(chǎn)焊接線上使用機器視覺技術(shù)進行了展望。

機器視覺；智能裝備；焊接線

KCLC NO.:U461Document Code:AArticle ID:1671-7988 (2017)03-21-04

1、視覺技術(shù)

機器視覺是指利用利用計算機等設(shè)備代替人眼視覺的技術(shù)。機器視覺系統(tǒng)通過攝像機獲取圖像，將圖像輸入計算機，經(jīng)系統(tǒng)對圖像的處理和分析，得到相關(guān)的信息，對所拍攝的對象所處的狀態(tài)進行判斷。在對圖像進行處理的之前，圖像會先經(jīng)過預(yù)處理，通過A/D轉(zhuǎn)換后輸入處理軟件，處理軟件會根據(jù)輸入的數(shù)據(jù)提取出圖像的像素分布、顏色、亮度等信息，并據(jù)此提取圖像特征，做出判斷，輸出給后續(xù)的控制、執(zhí)行機構(gòu)[1]。

完整的機器視覺系統(tǒng)包括光源系統(tǒng)，圖像采集，數(shù)字圖像處理模塊，智能判斷決策和機械執(zhí)行模塊[2]。每一個部分對視覺系統(tǒng)的效果都有著至關(guān)重要的影響。光源的選擇需要考慮拍攝對象的材質(zhì)、反射系數(shù)、折射系數(shù)、所處環(huán)境等等條件。在選取光源時，需要考慮光源的亮度、顏色以及照明方式。按照照明方式的不同，又可以分為前向照明、背向照明、結(jié)構(gòu)光和頻閃光照明[3]等。前向照明是將光源和攝像機安裝在一側(cè)，這種照明方式的優(yōu)點是安裝方便；背向照明光源和攝像機安裝在拍攝對象的兩側(cè)，這種照明方式的優(yōu)點是獲得的圖像對比度高；結(jié)構(gòu)光照明利用光柵或者點光源投影到拍攝對象上，使其產(chǎn)生畸變，再解調(diào)出對象的三維信息；頻閃光照明主要運用于拍攝高速運動的物體，利用高頻率的光脈沖，使得拍攝頻率和光源的頻率一致，則可以實現(xiàn)高速攝影。

圖像采集部分主要由光學(xué)鏡頭和相機兩部分組成。光學(xué)鏡頭或多或少地會存在成像畸變的問題，不同質(zhì)量的光學(xué)鏡頭的差別就在于畸變的大小，太大的畸變會對圖像的識別帶來較大的困難。圖像采集部分的有效視場是指鏡頭成像畸變較小的部分。光學(xué)鏡頭有定焦和變焦之分，定焦鏡頭只有在焦距處才能清晰成像，而變焦鏡頭在焦距附近一定范圍內(nèi)均能清晰成像。但是同檔次的變焦鏡頭成像效果不如定焦鏡頭[4]，因此選取何種光學(xué)鏡頭要視具體情況而定。相機是一種光電轉(zhuǎn)換設(shè)備，其將輸入的光信號轉(zhuǎn)換成電信號輸出，一般由光電轉(zhuǎn)換器件、外圍電路、I/O接口組成。這其中光電轉(zhuǎn)換器件是核心。上世紀(jì)90年代新興一種新的光電傳感器，CMOS（Complementary Metal Oxide Semiconductor互補金屬氧化物半導(dǎo)體），使用這種光電傳感器的相機為CMOS相機。CMOS傳感器起步較早，但是由于當(dāng)時的工藝水平的限制，CMOS傳感器有著成像質(zhì)量差、分辨率低、噪聲高和光照靈敏度低的缺點[5]，這大大限制了CMOS傳感器的發(fā)展。近年來CMOS傳感器的缺點已逐步有了解決的方案，但是還處于研發(fā)階段。此外，CCD圖像傳感器由于其成像質(zhì)量高、分辨率高、噪聲低和光照靈敏度高的優(yōu)點，得到了廣泛的運用。CCD相機按照CCD器件的不同可分為線陣CCD相機和面陣CCD相機。線陣CCD相機一次只能獲得圖像的一行信息，面陣CCD相機一次可以處理整幅圖像的信息[4]。CCD相機目前使用較廣，技術(shù)也比較成熟。

圖像數(shù)字處理部分是視覺系統(tǒng)的核心。功能類似于人的大腦。圖像處理的目的是對圖像進行降噪、增強、復(fù)原、分割和特征提取操作，以提高圖像的視感質(zhì)量，提取圖像中所包含的信息，對圖像進行變換、壓縮、編碼，使得圖像便于存儲、傳輸[6]。評價圖像處理水平的一個重要指標(biāo)是處理速度。隨著機器視覺技術(shù)的發(fā)展，對機器視覺系統(tǒng)的實時性要求越來越高。圖像采集、圖像處理以及I/O接口的傳輸都會影響系統(tǒng)的實時性。實時性有兩種級別，分別是硬實時和軟實時。硬實時在數(shù)量級上要求是微秒級甚至更短；軟實時則相對寬松很多，要求為10毫秒甚至百毫秒級別[7]。當(dāng)前數(shù)據(jù)處理水平還無法達到硬實時的級別。在數(shù)字圖像處理發(fā)展前期，多基于PC系統(tǒng)進行圖像處理，依賴于軟件和算法，缺少硬件支持，處理速度慢，效率低，隨著嵌入式系統(tǒng)的發(fā)展，逐漸發(fā)展起來專門用于處理圖像的嵌入式系統(tǒng)[8]，大大提高了圖像處理的速度。

2、視覺技術(shù)在智能裝備上的運用

機器視覺與觀測對象之間沒有接觸，不會對被觀測對象造成損傷。在一些危險的條件下，機器視覺系統(tǒng)可以替代人工進行觀測，大大降低了工作人員的工作風(fēng)險。視覺系統(tǒng)可以持續(xù)不間斷地進行觀測，不會因為疲勞而產(chǎn)生觀測精度的下降。正是由于這些優(yōu)點，機器視覺技術(shù)能夠有很好的應(yīng)用前景[9]。雖然機器視覺技術(shù)與上世紀(jì)80年代才開始發(fā)展，現(xiàn)在很多領(lǐng)域都有著廣泛的運用。

國外的機器視覺技術(shù)發(fā)展較快[9]，應(yīng)用范圍也比較廣。國外早期使用機器視覺技術(shù)的行業(yè)主要是半導(dǎo)體行業(yè)以及電子行業(yè)，主要用于檢測PCB印刷電路、SMT表面貼裝以及電子生產(chǎn)加工等等[1]。隨著視覺技術(shù)的發(fā)展，在機械工業(yè)生產(chǎn)中也逐漸得到了廣泛的運用。機器視覺可以運用于定位。文獻[10]介紹了利用機器視覺實現(xiàn)工件的定位安裝的方法，該方法將機器視覺技術(shù)與坐標(biāo)測量結(jié)合起來，確定工件的位置；文獻[11]利用3D視覺系統(tǒng)，在三維空間中再現(xiàn)了觀測對象的位置，實現(xiàn)了觀測對象的定位。視覺技術(shù)還廣泛運用于檢測方面。文獻[12]介紹了在數(shù)控銑床加工過程中，引入機器視覺技術(shù)對工件的水平和垂直兩個方向進行測量以獲取加工數(shù)據(jù)，對加工過程進行監(jiān)控和檢測；文獻[13]介紹了一種運用視覺技術(shù)，對圖像進行灰度處理、去噪處理后，與預(yù)設(shè)好的模板進行比對，最終實現(xiàn)SDM設(shè)備噴嘴零件的檢測；文獻[14]將視覺技術(shù)和神經(jīng)網(wǎng)絡(luò)相結(jié)合，使用激光測距儀獲得圖像，對灰度圖像信號進行2維傅里葉變換，獲得塑造和磨削加工得到的零件表面粗糙度信息，經(jīng)神經(jīng)網(wǎng)絡(luò)訓(xùn)練后，對所有零件的表面粗糙度信息進行評估，從而實現(xiàn)零件的100%在線檢查。機器視覺由于其觀測的非接觸性，使得在很多需要利用狀態(tài)監(jiān)測進行過程控制的情況下有著廣泛的運用。文獻[15]介紹了在裝配過程中運用視覺技術(shù)。通過分析裝配過程，自動識別哪些信息是需要提取分析的，再利用激光測距儀進行裝配過程監(jiān)測。文獻[16]介紹了機器視覺系統(tǒng)在冶金工業(yè)中運用。在冶金工業(yè)金屬焊接過程中，通過對表面溫度的測量，建立溫度場圖像，視覺系統(tǒng)通過處理圖像對整個過程進行在線控制。

我國的機器視覺技術(shù)起步較晚，發(fā)展也較為緩慢。目前視覺技術(shù)在國內(nèi)多應(yīng)用在農(nóng)產(chǎn)品質(zhì)量的檢測與評級、食品藥品的檢測上，主要功能是代替人工進行挑揀，提高生產(chǎn)效率，節(jié)約生產(chǎn)成本。在工業(yè)上的應(yīng)用主要是產(chǎn)品質(zhì)量檢測與分揀[17-19]。

文獻[20]介紹了在包裝行業(yè)中視覺技術(shù)的使用情況。以藥品包裝生產(chǎn)線為例，在未引入視覺技術(shù)之前，使用的多是光電傳感器和人工抽檢相結(jié)合的方式對產(chǎn)品進行檢測，檢測項目主要是藥品碎片、殘片、標(biāo)簽破損、標(biāo)簽污染等項目，檢查速度慢，且不能實現(xiàn)全部產(chǎn)品的檢測。引入機器視覺技術(shù)之后，全部的檢測均可以在生產(chǎn)線上完成。視覺系統(tǒng)線陣CCD配合藥品包裝的一維運動，可以實現(xiàn)對藥品信息、編號信息的識別。在包裝過程中，可以及時識別出藥品殘片、碎片以及包裝的漏裝等等，及時剔除不合格的包裝產(chǎn)品，提高生產(chǎn)效率，生產(chǎn)質(zhì)量，降低人員工作負擔(dān)。

文獻[21]介紹了工程機械中機器視覺技術(shù)的應(yīng)用。文中介紹了運輸車在攪拌站裝在混凝土?xí)r，由于運輸車的停靠具有一定的隨機性，因此需要增加引導(dǎo)運輸車與攪拌站下料口對接的工序。引入視覺技術(shù)之后，機器視覺系統(tǒng)識別運輸車的位置，引導(dǎo)運輸車駕駛，節(jié)省了對接時間，提高了工作效率。同時，視覺系統(tǒng)可以識別料倉中料位位置，實現(xiàn)料位檢測。

文獻[22]和文獻[23]介紹了視覺技術(shù)在螺紋檢測中的運用。傳統(tǒng)的螺紋檢測方法是利用成像系統(tǒng)，將螺紋放大，然后由人工進行測量檢驗。雖然傳統(tǒng)檢驗方法中也利用了成像系統(tǒng)，但是缺少后續(xù)的圖像處理和判斷模塊，因此不能稱之為視覺系統(tǒng)。文獻中分別提出非均勻照明的十字窗圖像邊緣檢測算法和圖像降噪算法對圖像進行預(yù)處理，之后對處理后的圖像邊緣進行最小二乘擬合，完成邊緣提取，在此基礎(chǔ)上計算中徑、螺距、牙型角等螺紋參數(shù)。

3、機器視覺在焊接生產(chǎn)中的應(yīng)用

焊接產(chǎn)品由于工作環(huán)境的不確定以及加工過程的不可控的影響，產(chǎn)品質(zhì)量難以得到嚴(yán)格的保證，因此，焊接件的質(zhì)量檢測十分重要。國內(nèi)外對于焊接質(zhì)量的檢測和焊接在線檢測開展了一系列的研究，目前有很多焊接件質(zhì)量檢測的方法。文獻[24]中對激光焊接情況下的焊接質(zhì)量檢測方式進行了介紹。常見的檢測方式有可聽聲信號AS（Audible Sound）檢測方法，聲發(fā)射AE(Acoustic Emission)檢測方法，紫外輻射UV(Ultraviolet)和可見光（Visible）檢測方法，紅外輻射IR(Infrared Radiation)檢測法，電信號PCS(Plasma Charge Sensor)檢測法等等。但是上述方法均有不可避免的缺點。如：可聽聲信號檢測方法是一種非接觸式檢測方法，但是其受環(huán)境噪聲影響較大；聲發(fā)射信號檢測方法需要將超聲波信號發(fā)生器靠近被檢測件，且其檢測結(jié)果正確率依賴缺陷分類方法。

在焊接過程中使用視覺技術(shù)，就是要用機器視覺系統(tǒng)代替人眼觀察焊接過程。在實際焊接過程中，焊工需要根據(jù)實際焊口的情況對焊接過程進行一定的調(diào)整，如調(diào)節(jié)焊槍高度等等。文獻[25]介紹了一種基于視覺系統(tǒng)，弧焊機器人自適應(yīng)焊縫位置的定位技術(shù)。該技術(shù)利用結(jié)構(gòu)光三點定位技術(shù)，在批量生產(chǎn)過程中，機器人可以根據(jù)不同位置的工件自動調(diào)整機器人姿態(tài)。

文獻[26]介紹了利用視覺技術(shù)，實現(xiàn)焊炬對焊縫軌跡的跟蹤。視覺系統(tǒng)的輸出控制輪式移動焊接機器人在球罐表面移動的軌跡，系統(tǒng)能保證焊炬與焊縫的跟蹤精度在±0.5mm，滿足一般焊接工藝要求。

機器視覺在焊件質(zhì)量檢測領(lǐng)域同樣有著廣泛的運用前景。目前在焊接生產(chǎn)線的后一工序之前，需要有人工對每一個焊件進行檢測，剔除焊接不合格的產(chǎn)品。完全依賴人工檢測，主觀性很大，難以保證長時間工作情況下檢驗的正確率。文獻[27]提出一種基于視覺技術(shù)的焊接件檢測系統(tǒng)。系統(tǒng)采集焊件的圖像信息，對圖像進行恢復(fù)、降噪等預(yù)處理之后，將圖像信息進行分離，將焊縫、背景、工件等區(qū)域區(qū)分開，在對圖像進行判斷，決定是否有焊接缺陷，最后在大量數(shù)據(jù)的情況下建立專家系統(tǒng)，對后續(xù)的缺陷進行自動分類。

4、結(jié)論

綜觀機器視覺技術(shù)發(fā)展及其在各個領(lǐng)域的應(yīng)用，機器視覺技術(shù)雖然興起較晚，但是發(fā)展迅速，在機器定位、表面質(zhì)量檢測、智能識別等方面都開始有著一定的運用。目前視覺技術(shù)在國外使用較多，在工業(yè)上的運用探索也比較多，目前在PCB印刷板、食品藥品包裝檢測、印刷品質(zhì)量檢測等領(lǐng)域運用較多，也較為成熟。機器視覺在國內(nèi)的使用多在農(nóng)林業(yè)、包裝業(yè)以及一些較為低端的制造業(yè)，特別使用較多的是農(nóng)業(yè)產(chǎn)品質(zhì)量檢測、食品藥品包裝檢測以及分揀，在制造業(yè)中也是在造紙業(yè)、印刷業(yè)等領(lǐng)域中，使用最多的也是對產(chǎn)品質(zhì)量的檢測。

在高端制造業(yè)中，目前國內(nèi)國外幾乎都處于研究探索階段，在生產(chǎn)中，機器視覺技術(shù)的運用也多是完成一些簡單的工作，如計數(shù)、狀態(tài)異常報警等等。在焊接自動生產(chǎn)線中，視覺技術(shù)多用來識別焊縫，完成焊槍自動定位以及焊接質(zhì)量檢測等等，但目前仍處于研究階段，投入生產(chǎn)一線的較少。

[1] 郭亞峰.基于機器視覺的產(chǎn)品表面缺陷在線檢測系統(tǒng)的設(shè)計[D].蘇州∶蘇州大學(xué),2014.

[2] 趙五一,趙強松,王東云.機器視覺的現(xiàn)狀及發(fā)展趨勢[J].中原工學(xué)院學(xué)報,2008,19(1)：9-10.

[3] 劉煥軍,王耀南. 機器視覺中的圖像采集技術(shù)[J].電腦與信息技術(shù),2003(1)∶18-21.

[4] 唐向陽,張勇,李江有等.機器視覺技術(shù)的關(guān)鍵技術(shù)現(xiàn)狀及應(yīng)用展望[J],昆明理工大學(xué)學(xué)報(理工版),2004,24(2)∶36-37.

[5] 王旭東,葉玉堂. CMOS與CCD圖像傳感器的比較研究和發(fā)展趨勢[J], 2010, 18(11)∶178-181.

[6] 齊霽. 應(yīng)用于工業(yè)自動化的機器視覺系統(tǒng)中的EDA及數(shù)字圖像處理技術(shù)的研究[D].吉林：吉林大學(xué),2012.

[7] 張磊,羅翔,史金飛.機器視覺實時問題的對策與研究方法綜述[J].制造業(yè)自動化，2006,28(06)∶28-32.

[8] 白穎杰. 基于機器視覺的圖像處理與特征識別方法的研究[D].重慶∶重慶大學(xué),2010.

[9] 范祥,盧道華,王佳. 機器視覺在工業(yè)領(lǐng)域中的研究應(yīng)用[J].現(xiàn)代制造工程,2007,6∶129-131.

[10] Subramanian Rajesh, De James St Germain H., Drake Samuel. Integrating a vision system a coordinate measuring machine to automate the datum alignment process[J]. American Society of Mechanical Engineers, 2005, 11(6)∶ 655-661.

[11] C.Harris.Geometry from visual motion, In A.Blake and A.Yuile, editors, Active Vision, MIT press, 1992∶264-284.

[12] EIadawi A E, GadeImawIa E S, EIewa I M ，AbdeIShafy A A . An application of computer vision for programming computer numericaI controI machines［J］. Proceedings of the Institution of Mechanical Engineers—Part B—Engineering Manufacture, 2003, 217(9)：1315 - 1324.

[13] Wonho Lee, Chunkee Jeon, Chijung Hwang. Implementation of the machine vision system of inspecting nozzle[C]//Artificial Intelligence Association. Third International Conference on Convergence and Hybrid Information Technology. New York∶IEEE Computer Society, 2008∶ 111-116.

[14] Tsai Du-Ming，Chen Jeng-Jong,Chen Jeng-Fung . Vision system for surface roughness assessment using neural networks［J］. International Journal of Advanced Manufacturing Technology, 1998,14(6)∶412 - 422.

[15] Miura J，Ikeuchi K. Task-oriented generation of visual sensing strategies in assembly tasks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence,1998,20(2)∶126 - 138.

[16] Fabrice Meriaudeau,Anne,Ciaire Legrand. Machine vision systems in the metallurgy industry［C］. Proceedings of SPIE. San Jose，2000(3966)∶228 - 237.

[17] 刁智華,王會丹,魏偉.機器視覺在農(nóng)業(yè)生產(chǎn)中的應(yīng)用研究[J].農(nóng)機化研究,2014,3：206-208.

[18] 趙鵬. 基于視覺的藥品包裝檢測技術(shù)研究[D]. 長沙：湖南大學(xué),2009.

[19] 李明. 運動食品機器視覺的識別與定位技術(shù)的研究[D]. 哈爾濱：哈爾濱商業(yè)大學(xué),2014.、

[20] 朱作付,徐超,葛紅美. 機器視覺技術(shù)在包裝領(lǐng)域的應(yīng)用[J].包裝工程,2010,31(3)：125-127.

[21] 胡永彪,杜成華,李西榮,等. 機器視覺技術(shù)在工程機械上的應(yīng)用[J].工程機械,2009,40：53-55.

[22] 左建中,劉峰,張定昭. 機器視覺技術(shù)在螺紋檢測中的應(yīng)用[J]. 機械設(shè)計與制造,2006,4：113-116.

[23] 景敏,陳曼龍,楊帆. 基于機器視覺的螺紋參數(shù)綜合測量系統(tǒng)的設(shè)計[J]. 測控技術(shù),2013,32(11)∶35-37.

[25] 孔宇,戴明,吳林.機器人結(jié)構(gòu)光視覺三點焊縫定位技術(shù)[J]. 焊接學(xué)報.1997, 18(3)∶188-191.

[26] 王軍波, 孫振國, 等.基于CCD傳感器的球罐焊接機器人焊縫跟蹤[J] .焊接學(xué)報, 2001, 22(2)∶31-34.

[27] 郭俊磊. 基于機器視覺的焊件外觀缺陷檢測系統(tǒng)的設(shè)計[D]. 南京∶南京航空航天大學(xué)，2014.

Literature Review of the Visual Technology Used in Automotive Intelligent Equipment

Liu Ke1, Wu Li2
( 1.Guangzhou RISONG HOKUTO Automotive Equipment Co., LTD, Guangdong Guangzhou 510760; 2.School of Mechanical Engineering, Jiangsu Nanjing 211189 )

Machine vision is a engineering technology developing quickly in nearly 20 years, involves the imaging technology, image processing, sensor technology, hardware and interface technology, etc. With gradually perfect and development of visual technology, it got more and more widely used in engineering. In this paper, the composition of visual technology, the use of machine vision in the intelligent equipment and machine vision in the use of the welding line are introduced ,and on the basis of summarizing the literature, machine vision technology used in welding line of car production is prospected.

Machine vision; Intelligent equipment; The welding line

U461

A

1671-7988(2017)03-21-04

10.16638/j.cnki.1671-7988.2017.03.009

劉科，男，（1984.4-），2007年7月畢業(yè)于廣東機電職業(yè)技術(shù)學(xué)院， 汽車制造預(yù)裝配專業(yè)，現(xiàn)任廣州瑞松北斗汽車裝備有限公司制造部部長。從事高端裝備制造領(lǐng)域研發(fā)與制造9年，2007年-2009年期間主要負責(zé)質(zhì)量部工作；2010年-2014年主要負責(zé)項目，曾擔(dān)任過廣汽三菱總拼自動生產(chǎn)線項目經(jīng)理，以及廣汽豐田、廣汽本田等多個項目的負責(zé)人；2014-2016其間全面負責(zé)整個制造以及質(zhì)量的工作。期間有多項發(fā)明專利獲得授權(quán)。通信作者：伍力，男，（1992.2-)，碩士研究生，現(xiàn)就讀于東南大學(xué)機械工程學(xué)院。