淺析視覺識別系統(tǒng)在總裝裝配中的應用

馮聯(lián)會 武彬強 叢立國 李余

（中國第一汽車集團有限公司，長春130012）

1 前言

汽車制造領域在制造業(yè)中屬勞動密集型產(chǎn)業(yè)，隨著人工成本的不斷增加、機器人成本不斷下降，工業(yè)機器人開始普及應用對汽車制造自動化起到了重要的推動作用，目前沖壓、焊裝、涂裝3大工藝都有了長足的發(fā)展，自動化率都達到70%以上。

唯有總裝自動化水平相對較低，行業(yè)水平在10%左右。究其原因主要有總裝結構復雜、裝配零件種類多、差異性大、裝配工藝多樣等，如擰緊、卡接、涂膠、打刻、粘粘等，共計有80多種作業(yè)類型。由于生產(chǎn)線多為高產(chǎn)能流水生產(chǎn)線，在此條件下很難大面積普及自動化裝配，需針對不同作業(yè)類型開發(fā)相對應自動化裝備。

不同于汽車其它制造領域，總裝工藝最大的難題是整車累計誤差大，這里所說的累計誤差是基于裝配和設計基準而言，這種前提下很難像沖壓、焊裝、涂裝那樣直接采用機器人進行裝配，即便采用也無法滿足裝配要求?？傃b最早采用的自動裝配作業(yè)是玻璃涂膠，也是基于玻璃完全靜止狀態(tài)下的自動作業(yè)，其七軸方案也是基于軌跡固定下的相對靜止裝配。要真正實現(xiàn)全自動裝配，就要解決裝配累計誤差問題，而視覺識別技術的出現(xiàn)能完美解決這一問題，通過視覺系統(tǒng)的識別和信息傳遞，可實時計算與裝配基準或特征點的偏差并進行修正，實現(xiàn)精準裝配。目前“視覺識別系統(tǒng)+機器人”模式已成為實現(xiàn)總裝自動化的核心，隨著算法的不斷突破這種模式也越來越得到廣泛應用。

2 工業(yè)視覺系統(tǒng)發(fā)展和構成

2.1 工業(yè)視覺系統(tǒng)的發(fā)展

視覺系統(tǒng)自20世紀70年代起步，到90年代中期獲得長足的發(fā)展，它綜合了光學、機械、電子、計算機軟硬件等方面技術，涉及計算機、圖像處理、模式識別、人工智能、信號處理、光機電一體化等多個領域。圖像處理和模式識別等技術的快速發(fā)展也大大地推動了機器視覺的發(fā)展。

工業(yè)視覺系統(tǒng)其實質就是利用機器代替人眼來做各種測量和判斷。在汽車行業(yè)隨著企業(yè)自動化程度的不斷提高和對質量更加嚴格的控制要求，也隨著國內(nèi)工業(yè)生產(chǎn)正從依賴廉價勞動力轉向更高程度的自動化生產(chǎn)，迫切需要機器視覺來代替人工檢測。另外，國內(nèi)早期的工業(yè)設備自動化程度普遍較低，大量的更新?lián)Q代都加快了對包括機器視覺在內(nèi)的自動化設備的迫切需求。

視覺系統(tǒng)主要優(yōu)點如下。

a.非接觸測量；

b.具有較寬的光譜響應范圍；

c.長時間穩(wěn)定工作；

d.應用領域廣泛。

2.2 工業(yè)視覺系統(tǒng)的主要構成

工業(yè)視覺系統(tǒng)一般包括照明系統(tǒng)、工業(yè)相機、攝像系統(tǒng)和圖像處理系統(tǒng)等。對于每個應用工況，都需考慮系統(tǒng)運行速度、圖像處理速度、使用彩色或黑白工業(yè)攝像機、檢測目標尺寸、分辨率和對比度等。需要識別的維度較多，從功能上來看，典型的工業(yè)視覺系統(tǒng)可以分為圖像采集部分、圖像處理部分和運動控制部分，如圖1所示。

圖1 視覺系統(tǒng)主要構成

工業(yè)視覺硬件主要包括圖像獲取和視覺處理2部分，而圖像獲取由照明系統(tǒng)、視覺傳感器、模擬-數(shù)字轉換器和幀存儲器等組成。機器視覺通過視覺傳感器獲取環(huán)境的二維圖像，并通過視覺處理器進行分析和解釋，進而轉換為符號，讓機器能夠辨識物體并確定其位置。

視覺系統(tǒng)簡單來說可以用3個既獨立又相互聯(lián)系的模塊來概括，即目標物圖像采集、圖像處理和指令發(fā)出。而視覺系統(tǒng)的設計又可分為軟件設計和硬件設計2大部分。

2.3 2D工業(yè)視覺系統(tǒng)簡介

上述機器視覺通常是指2D視覺系統(tǒng)，即通過攝像頭拍到1個平面的照片，然后通過圖像分析或比對來識別物體，物體平面特征可用于缺失/存在檢測、離散對象分析、以及基于邊緣檢測的各種二維幾何分析等。

由于2D視覺無法獲得物體的空間坐標信息，所以不支持與形狀相關的測量，如物體平面度、表面角度、體積或者區(qū)分相同顏色的物體之類的特征等，而且2D視覺測量物體特別依賴于光照和顏色/灰度變化，精度易受照明條件等變量的影響。但隨著測量精度要求越來越高，被測物體條件越來越復雜，2D視覺雖為主流，但同時2D系統(tǒng)的缺陷也愈發(fā)突出，為解決這些問題，3D視覺系統(tǒng)就應運而生，在提高檢測精度的同時能較好解決2D中不易解決的復雜問題。

2.4 3D工業(yè)視覺系統(tǒng)發(fā)展及特點

3D工業(yè)視覺的出現(xiàn)，可在許多2D應用有缺陷場景中大顯身手，如從黑白到彩色、低分辨率到高分辨率、靜態(tài)圖像到動態(tài)影像，同時行業(yè)也認同3D視覺將是人工智能開啟的提供者，相比2D，其具有以下優(yōu)點。

a.能在線檢測快速移動的目標物，獲取形狀和對比度；

b.消除手動檢查帶來的錯誤；

c.實現(xiàn)部件和裝配100%在線質量控制；

d.最大限度地縮短檢測周期；

e.最大限度地提高質量和產(chǎn)量；

f.易于檢查低對比度物體；

g.對較小的照明變化或環(huán)境光不敏感；

h.對于大物檢測的多傳感器設置更簡便。

3 3D工業(yè)視覺分類及特點

想真正了解3D視覺首先需要了解3D視覺的測量原理，目前市場上主流的有4種3D視覺技術，雙目視覺、TOF（飛行時間法成像技術）、結構光和激光三角測量。

3.1 雙目視覺系統(tǒng)

雙目技術是目前較為廣泛的3D視覺系統(tǒng)，它的原理就像人的2只眼睛，用2個視點觀察同一景物以獲取在不同視角下的感知圖像，然后通過三角測量原理計算圖像的視差來獲取景物的三維信息，如圖2所示。

圖2 雙目視覺基本工作原理

由于雙目技術原理簡單，不需要使用特殊的發(fā)射器和接收器，只需要在自然光照下就能獲得三維信息，所以雙目技術具有系統(tǒng)結構簡單、實現(xiàn)靈活和成本低的優(yōu)點，適合于制造現(xiàn)場的在線產(chǎn)品檢測和質量控制。不過雙目技術的劣勢是算法復雜，計算量大而且光照較暗或者過度曝光的情況下效果差。

3.2 TOF視覺系統(tǒng)

飛行時間法成像技術（Time Of Flight，TOF）的原理是通過向目標物連續(xù)發(fā)送光脈沖，傳感器接收從物體返回的光，通過探測光脈沖的飛行時間來得到目標物距離。TOF的核心部件是光源和感光接收模塊，由于TOF是根據(jù)公式直接輸出深度信息，不需要用類似雙目視覺的算法來計算，具有響應快、軟件簡單、識別距離遠的特點，而且由于不需要進行灰度圖像的獲取與分析，因此不受外界光源物體表面性質影響，不過TOF技術的缺點是分辨率低、不能精密成像、而且成本高。

3.3 結構光視覺系統(tǒng)

3D結構光技術是通過1個光源投射出1束結構光，這種結構光不是普通的光而是具備一定結構（如黑白相間）的光線，打到想要測量的物體表面，因為物體有不同的形狀，會對這樣的一些條紋或斑點發(fā)生不同的變形，有這樣的變形之后通過算法可以計算出距離、形狀、尺寸等信息，從而獲得物體的三維圖像，如圖3所示。

圖3 結構光視覺基本原理

由于3D結構光技術既不需要用很精準的時間延時來測量，又可解決雙目中匹配算法的復雜度和魯棒性問題，具有計算簡單、測量精度較高的優(yōu)勢，而且對于弱光環(huán)境、無明顯紋理和形狀變化的表面同樣都可進行精密測量，所以越來越多的3D視覺高端應用采用結構光技術。

3.4 激光三角測量法

此種方法與結構光類似，它基于光學三角原理，根據(jù)光源、物體和檢測器三者之間的幾何成像關系來確定空間物體各點的三維坐標，具體原理見圖4。

圖4 激光三角測量法基本工作原理

通常用激光作為光源，用CCD（電荷耦合器件）相機作為檢測器，具有結構光3D視覺的優(yōu)點，精準、快速、成本低，不過由于根據(jù)三角原理計算被測物體越遠，在CCD上的位置差別就越小，所以三角測量法在近距離下的精度很高，但是隨著距離越來越遠，其測量的精度會越來越差。

4種主流的3D視覺測量原理都有各自的優(yōu)缺點，但在汽車總裝選用哪種最適合，又是如何解決可靠性和準確性的，都需要進行測試后再判定，下面結合總裝裝配應用場景進行分析說明。

4 視覺系統(tǒng)的實際應用

工業(yè)視覺難點在于精度和速度，要求基本都在毫米級或更高級，且總裝領域工業(yè)機器抓手的變動是在三維空間內(nèi)。根據(jù)功能不同，工業(yè)視覺可分為視覺檢驗和視覺引導2種。

工業(yè)視覺系統(tǒng)的特點是提高生產(chǎn)的柔性和自動化程度。在一些不適合于人工作業(yè)的危險工作環(huán)境或人工視覺難以滿足要求的場合，常用工業(yè)視覺來替代人工視覺。

4.1 視覺系統(tǒng)在總裝裝配應用實例

4.1.1 視覺在風擋涂膠裝配中的應用

在總裝的前后風擋玻璃、側風窗玻璃、部分全景天幕玻璃需要涂膠，而且在前后擋底涂工位也需要涂底膠。目前玻璃全自動涂膠已經(jīng)成為行業(yè)主流，在采用全自動涂膠作業(yè)時，就需要使用視覺系統(tǒng)進行精定位。圖5是裝配前后風擋玻璃時車身的精定位方式。

圖5 車身的精定位方式

在整車自動涂膠過程中視覺系統(tǒng)一般采用5個視覺裝置進行定位，其中四角采用4個2D相機進行粗定位，檢測機器人采用3D視覺進行精定位[1]。另外還有視覺3D檢測系統(tǒng)對在線膠型進行實時檢測和視覺跟蹤控制。

a.車身的粗定位，用于檢測整個車身相對于地面的位置，并將實際位置與理論位置的偏差值補償給視覺機器人，用于后續(xù)風擋框定位。

b.車身風擋框的精定位，使用激光掃描識別風窗框處4～6個特征點，并將結果傳遞給裝配機器人，從而使風擋玻璃準確地安裝到車身窗框上，裝配精度可達±0.2 mm。

這里需要特殊說明的是為保證自動裝配精度，前后風擋玻璃需建立各自的測量基準零位，即1個車型需建立2個測量零位，當然共線車型增多，測量零位也隨之增加。

4.1.2 視覺在風擋底膠裝配中的應用

當前風擋底涂也逐步采用自動底涂，在底涂中一般采用3D視覺系統(tǒng)進行底涂引導。具體方案見圖6和圖7。

圖6 帶視覺的自動底涂

圖7 采用視覺的角窗底涂

另外對于底涂質量狀態(tài)，也可以采用底涂自動檢測視覺系統(tǒng)進行檢測，見圖8。

圖8 底涂結果自動檢測

對于角窗裝配涂膠過程采用自動涂膠方案，其常規(guī)視覺系統(tǒng)原理與前后風擋基本相同，這些不再贅述，后面會介紹1種全新算法角窗視覺系統(tǒng)。

4.1.3 輪胎自動裝配中的應用

在輪胎自動裝配過程中分為2種情況，1種是隨動裝配，1種是靜止裝配，2種形式基本都是工業(yè)機器人+3D視覺系統(tǒng)完成，其3D系統(tǒng)安裝在機器人的抓手上，通過拍照識別車身輪轂螺栓或輪轂螺紋孔位，通過后臺算法自動調(diào)整輪胎的孔位與車身安裝孔位對正，方案如圖9所示。

圖9 輪胎裝配的視覺檢測系統(tǒng)

在輪胎裝配視覺中最重要是識別特征點，識別特征點方法如圖10所示。

圖10 帶雙目3D的特征點識別

以五孔輪胎為例，其特征點只選取2個孔，通過相鄰2孔視覺識別就可精確計算安裝孔的位置，完全能保證自動裝配精度。

輪胎裝配采用視覺特點如下。

7.2.5 成功解除嵌塞 定義為直腸穹窿空虛或者只有少量糞便。在腹部檢查發(fā)現(xiàn)存在糞便嵌塞的病人中，則定義為左下腹腫塊的清除及直腸穹窿空虛［14］。

a.雙目視覺；

b.特征點選取輪轂上螺柱或安裝螺紋孔；

c.隨行和靜止裝配視覺識別算法相同。

在輪胎自動線，還有1個視覺識別即上料識別，用于輪胎自動上料前的防錯識別，在輪胎輸送線對接口增加2D視覺，通過對輪轂拍照識別車型，與MES系統(tǒng)車序信息進行對比，進行防錯確認。如果所送輪胎與MES系統(tǒng)車型信息不符，系統(tǒng)將報警提醒，保證輪胎上料準確。

4.2 裝配檢測

裝配檢測是指對裝配后的質量狀態(tài)進行檢查，即外觀檢測，其視覺也較為簡單，自動檢測模式下一般在協(xié)作或工業(yè)機器人上帶2D視覺系統(tǒng)，采用與標準狀態(tài)比對的方法進行自動判別，同時將識別狀態(tài)進行拍照留存，達成可追溯[2]。

4.3 其他先進3D視覺技術

隨著智能化的不斷發(fā)展，在現(xiàn)有2D或3D+機器人向AI+3D視覺+工業(yè)機器人方向發(fā)展，其發(fā)展方向包含有智能路徑規(guī)劃技術，幫助避免碰撞、奇異點等[3]。

圖11 用于物料分揀和上料的機器人

圖11機器人采用的原理為：計算機會通過傳感器（或人工輸入）來收集關于某個場景的信息，將此信息與已存儲的信息進行比較，以確定它的含義。計算機會根據(jù)收集來的信息計算各種可能的動作，然后預測哪種動作的效果最好。采用AI算法的零件識別如圖12所示。

圖12 AI算法下零件識別

4.4 AI算法下的自動涂膠

前面針對角窗涂膠過程要求三角窗固定在分裝臺上，如果在多車型混流上線時，其夾具結構更趨復雜，通過AI+3D視覺技術可對角窗任意定位，通過算法計算出涂膠軌跡，精確引導機器人進行涂膠作業(yè)，目前此項技術已趨于成熟，已開始成功應用。

另外通過AI的算法可實現(xiàn)零件正確上料，如圖13所示，在空中采用視覺系統(tǒng)，不用集成在機器人上也可指導零件正確裝配。如在輪胎全自動擰緊生產(chǎn)線中，增加防盜螺栓工藝就可應用此技術完成自動裝配。

圖13 AI算法下零件識別

5 結束語

當前機器視覺僅應用于總裝重點工位，實現(xiàn)制造過程實時控制且起到良好的效果?？梢灶A見，在未來的總裝裝配中，機器視覺會得到更加廣泛的應用，不僅用于設備裝配、還能廣泛用于零件上料防錯、裝配防錯等，通過AI軟件算法，還能應用于總裝隨行裝配中，實現(xiàn)總裝隨行裝配。

同時視覺系統(tǒng)也是容易被大眾接受和運用的系統(tǒng)，在企業(yè)對外宣傳和企業(yè)識別上能產(chǎn)生最有效、最直接的作用。隨著視覺技術的發(fā)展，未來視覺系統(tǒng)將會越來越被人們所認可并將進一步取代人類的操作，進一步提升工作效率和裝配質量，引領汽車總裝領域的大變革。