智能視覺作業(yè)系統(tǒng)在4GC三代發(fā)動機裝配線上的應(yīng)用

李巖 帥睿 陸鵬 楊帆 毛紅兵 宣達龍

（中國第一汽車集團有限公司，長春130000）

1 前言

外部形勢嚴峻，面對經(jīng)濟內(nèi)循環(huán)的新形勢，企業(yè)數(shù)字化轉(zhuǎn)型成為了中國制造業(yè)的一堂必修課；與此同時，在眾多汽車企業(yè)內(nèi)部，原有的商業(yè)模式、業(yè)務(wù)模式、生產(chǎn)方式正在被顛覆和重塑[1]，企業(yè)端要加快對數(shù)字化轉(zhuǎn)型的布局和思考。致力于成為世界一流移動出行服務(wù)公司的中國一汽，也將業(yè)務(wù)重構(gòu)下的數(shù)字化建設(shè)作為實現(xiàn)戰(zhàn)略轉(zhuǎn)型的核心要素。

為了更好地支撐數(shù)字化轉(zhuǎn)型戰(zhàn)略，并最終實現(xiàn)交付零拖欠、質(zhì)量零缺陷、成本零浪費、用戶零抱怨、行動零延誤的目標；創(chuàng)新開發(fā)出iVOS（智能視覺作業(yè)）智能系統(tǒng)，簡稱“慧眼系統(tǒng)”，并成功應(yīng)用在4GC三代發(fā)動機增能裝配線上，成果顯著。

對于離散制造業(yè)，一個完整的數(shù)字化工廠應(yīng)該包含智能物流，智能生產(chǎn)，以及智能作業(yè)品控三大部分，數(shù)字化、智能化技術(shù)已經(jīng)大量應(yīng)用到了物流與生產(chǎn)的場景中，已經(jīng)有了很多成功案例，但是針對作業(yè)品控這一場景，之前由于針對人員標準作業(yè)的數(shù)字化、智能化技術(shù)還不成熟，所以成功的應(yīng)用案例幾乎沒有；近年來，AI視覺與智能穿戴技術(shù)的迅猛發(fā)展，標準作業(yè)數(shù)字化、智能化應(yīng)用越來越多，使離散制造業(yè)的作業(yè)品控場景迎來了久違的春天。

2 iVOS智能視覺作業(yè)系統(tǒng)建設(shè)方向

2.1 iVOS系統(tǒng)架構(gòu)

iVOS系統(tǒng)架構(gòu)為iVOS 1618，以智能系統(tǒng)創(chuàng)新應(yīng)用為一個主要目標，搭載數(shù)字孿生、智能視覺、云、5G+等六大核心技術(shù)，實現(xiàn)數(shù)字孿生[2]、人員情緒管理、作業(yè)智能協(xié)同、作業(yè)智能分析等18個生產(chǎn)場景在發(fā)動機裝配線的完美運用，如圖1所示。

圖1 iVOS系統(tǒng)架構(gòu)

2.2 基于作業(yè)單元質(zhì)量控制數(shù)字化實踐

按照裝配線手動工位三個重要的時間軸：上崗前、作業(yè)過程中、作業(yè)完成共識別出多項質(zhì)量風(fēng)險點，分別為培訓(xùn)手段缺失，人崗匹配性低，不執(zhí)行聯(lián)保，不執(zhí)行外觀檢查，不執(zhí)行表面清擦，不執(zhí)行蘸油，不按照順序擰緊，易造成錯漏裝、表面缺陷、密封不良、漏擰等質(zhì)量風(fēng)險，從而影響產(chǎn)品質(zhì)量穩(wěn)定性。

針對過程控制和質(zhì)量管理缺少數(shù)字化管理手段，人員流動性大、人員不穩(wěn)定因素導(dǎo)致標準作業(yè)管控難度大等痛點問題，開發(fā)了iVOS 1618集成系統(tǒng)，其中有10項數(shù)字化應(yīng)用場景是協(xié)同作業(yè)單元質(zhì)量管控，具體內(nèi)容如下。

a.作業(yè)智能分析；

b.人員能力綁定；

c.作業(yè)三維導(dǎo)引；

d.作業(yè)數(shù)字化文件；

e.作業(yè)智能協(xié)同；

f.視覺情緒管理；

g.智能視覺檢測；

h.視覺作業(yè)監(jiān)察；

i.數(shù)字孿生；

j.云端質(zhì)量追溯。

其中，按照三個時間主線，分別對人員培訓(xùn)、考核，作業(yè)導(dǎo)引，作業(yè)過程實時管控，以及作業(yè)觀察持續(xù)改善進行了數(shù)字化場景的引入，分別是作業(yè)智能分析，人員能力綁定，作業(yè)三維導(dǎo)引，作業(yè)智能協(xié)同，以及視覺作業(yè)監(jiān)察。

2.3 作業(yè)智能分析原理介紹

通過智能穿戴(手套)對手動生產(chǎn)管理的主要環(huán)節(jié)提供數(shù)字化工具，幫助工廠節(jié)約管理成本，提升產(chǎn)能和質(zhì)量；

a.基于手套背部13個微機電傳感器實時采集手部動作細微變化，節(jié)拍時間更加精準。并基于后臺強大的算法模型，輕松進行數(shù)據(jù)分析，如：最佳節(jié)拍、平均節(jié)拍、節(jié)拍波動等一目了然，基于大量數(shù)據(jù)，更便于改善點的對比與解析；結(jié)合視頻聯(lián)動實現(xiàn)作業(yè)標準、作業(yè)培訓(xùn)、作業(yè)考核、工站分析等功能。

b.大幅度提升培訓(xùn)效率。傳統(tǒng)的培訓(xùn)考核模式大部分依靠于考官的判斷，且數(shù)據(jù)記錄和管理消耗大量人工工作時間；使用智能手套后，大部分考核和數(shù)據(jù)自動生成，且培訓(xùn)結(jié)果數(shù)字化，培訓(xùn)效率大幅度提升，新人上崗培訓(xùn)周期縮短3周。

c.降低標準化操作引起的質(zhì)量事件。在智能手套試點工廠，質(zhì)量零缺陷是一直以來工廠的目標，但由于手動工位的標準化不好管理，使得質(zhì)量事件難以控制；在使用博世智能手套工站標準化管理工具后，試點工廠發(fā)現(xiàn)了由于非標準操作引起的質(zhì)量風(fēng)險，從而減少了問題事件的發(fā)生頻率，提高了產(chǎn)品質(zhì)量[5]。

d.生產(chǎn)節(jié)拍不斷優(yōu)化，產(chǎn)能提升空間大幅增長。在智能手套試點工廠，由于市場的高需求和快速變化，使生產(chǎn)中遇到許多操作的瓶頸工位，在短時間內(nèi)降低這些工位的節(jié)拍時間，提升操作效率成為了工廠精益部門的重大挑戰(zhàn)；在使用智能手套工站分析工具后：使試點工站的目標節(jié)拍提升10%。

2.4 作業(yè)三維導(dǎo)引原理介紹

基于產(chǎn)品CAD三維模型，遵循工序工藝步驟及要求，開發(fā)出了一套三維動態(tài)作業(yè)引導(dǎo)系統(tǒng)，并開發(fā)擰緊信號接口實現(xiàn)動畫與信號之間的聯(lián)動，使作業(yè)步驟更加立體化，更加一目了然，并將系統(tǒng)進行工位一體機的分式發(fā)布，如圖2所示。

圖2 工藝三維導(dǎo)引

2.5 作業(yè)智能協(xié)同原理介紹

為了更好地實現(xiàn)裝配線全過程閉環(huán)可控，針對手動工位的生產(chǎn)操作全過程進行管控，實現(xiàn)作業(yè)順序防錯、零部件的漏裝、以及變化點的準確管理，基于工位攝像頭所采集的視覺信息，進行人工智能算例開發(fā)，主要應(yīng)用的算法包括神經(jīng)網(wǎng)絡(luò)算法和機器學(xué)習(xí)算法。

a.神經(jīng)網(wǎng)絡(luò)算法?；谏窠?jīng)網(wǎng)絡(luò)的語義分割方法：模擬人類感知過程，采用如卷積神經(jīng)網(wǎng)絡(luò)等方法來處理復(fù)雜的非線性問題。近年來，深度學(xué)習(xí)技術(shù)在圖像語義分割領(lǐng)域得到了深入研究，該類方法適應(yīng)性較強，能夠?qū)Ρ环指顓^(qū)域分配不同的標簽，但存在學(xué)習(xí)過程復(fù)雜、計算量大、精度提升難度大等缺點，算法原理見圖3。

圖3 AI視覺深度學(xué)習(xí)網(wǎng)絡(luò)

b.機器學(xué)習(xí)算法[3]。此次所采用的機器學(xué)習(xí)算法是“示教學(xué)習(xí)”，從標準中獲取信息，把知識轉(zhuǎn)換成內(nèi)部可使用的表示形式，并將新的知識與原有的知識進行比對和結(jié)合，最終給出結(jié)論，此算法的計算量較小，環(huán)境變更后的算法訓(xùn)練較少，但對于較為復(fù)雜的場景適應(yīng)性較差。

發(fā)動機裝配線不同的手動工位的場景與環(huán)境竟不相同，為了能夠全面覆蓋所有工位的所有作業(yè)質(zhì)量要點，并提升管控精度，作業(yè)智能協(xié)同系統(tǒng)基于AI開發(fā)平臺與作業(yè)智能管控設(shè)備相結(jié)合的方案來實現(xiàn)。

2.5.1 AI視覺開放平臺

通過工位高清攝像頭對物體的特征提取與跟蹤，基于后臺AI算法進行實時比對與分析，實現(xiàn)作業(yè)智能管控。

AI模型成果自主可控，支持端、邊、云模型高效部署接口開放，AI視覺分析硬件拓撲見圖4。

圖4 AI視覺拓撲圖

讓AI開發(fā)簡單化，易應(yīng)用，AI視覺開放平臺基本功能如下。

a.數(shù)據(jù)管理，智能標注與可視化數(shù)據(jù)集管理；

b.模型訓(xùn)練，AutoML模型自動訓(xùn)練與智能模型調(diào)優(yōu)；

c.模型部署，云端在線推理與多類邊緣設(shè)備支持；

d.應(yīng)用集成，模型迭代優(yōu)化與多類開放接口。

基于AI開放平臺可以讓不懂算法的業(yè)務(wù)工程師也可以進行AI場景的落地，平臺開發(fā)整體流程見圖5。

圖5 AI平臺開發(fā)流程

針對離散制造工廠AI開放平臺算法模型主要是針對動作與圖像兩大類，針對動作跟蹤的算法精度可以適用于空間距離≥10 cm，且無遮擋情況，針對這一技術(shù)特性，主要選取了各手動工位的關(guān)鍵輔助動作，以及聯(lián)保確認動作作為重點，既保證了標準作業(yè)符合度的提升，也保證了檢測精度達標。

以試點工位落地，固化技術(shù)標準，基于AI算法的增量學(xué)習(xí)與遷移學(xué)習(xí)模型特性，使后續(xù)工位與產(chǎn)線橫展周期大幅降低。

2.5.2 3D視覺智能設(shè)備

采用顏色視覺模型與肢體識別模型，通過前端高清攝像頭采集顏色與肢體數(shù)據(jù)，基于3D攝像頭建立空間坐標系，準確給出空間位置坐標，追蹤顏色來標定作業(yè)過程中的每一個位置，通過規(guī)定順序編輯后實現(xiàn)實際位置與標準點位的實時比較[4]，如果出現(xiàn)錯誤后將會鎖定擰緊槍，并會進行安燈報警，不會讓問題流到下一道序。

3D視覺智能設(shè)備整體系統(tǒng)邏輯見圖6。

圖6 系統(tǒng)邏輯

空間坐標系建立，準確定位空間坐標見圖7。

圖7 視覺坐標系原理圖

此設(shè)備主要針對多步驟動作跟蹤，針對動作跟蹤的算法精度可以適用于空間距離≥3cm，并且適用無遮擋情況，針對這一技術(shù)特性，我們主要選取了多步驟作業(yè)的關(guān)鍵質(zhì)量工位。

2.5.3 激光追蹤視覺智能設(shè)備

通過激光接收照相機、綁定在擰緊槍上的激光發(fā)射器、激光探頭進行空間坐標系的建立，并進行工件坐標系與工具坐標系的轉(zhuǎn)換，使其能夠準確定位工件位置，并將工具坐標原點轉(zhuǎn)換到擰緊頭中心孔位置，使其定位精度達到≥1 mm，可以適用于空間小距離的多螺栓擰緊作業(yè)。

激光追蹤視覺智能設(shè)備硬件拓撲見圖8。

圖8 激光導(dǎo)引硬件拓撲圖

激光追蹤視覺智能設(shè)備系統(tǒng)邏輯見圖9。

圖9 系統(tǒng)流程

運動追蹤系統(tǒng)可探測空間位置以及姿態(tài)(6個自由度)，6個自由度分別為沿著X/Y/Z軸方向的平移運動（X/Y/Z）以及繞X/Y/Z軸的旋轉(zhuǎn)運動（yaw，pitch，roll），系統(tǒng)運動跟蹤空間距離可達0.1 mm以及角度偏差0.2度。

2.5.4 多種技術(shù)組合覆蓋所有關(guān)鍵質(zhì)量要點

基于AI開放平臺作為基礎(chǔ)平臺，集成3D視覺與激光追蹤視覺智能設(shè)備，針對64個手動工位，256個質(zhì)量要點進行全覆蓋，以最優(yōu)的成本實現(xiàn)最佳的效果。

2.6 智能視覺檢測

動力總成工廠針對發(fā)動機外殼生產(chǎn)過程大致分為鑄造、加工兩個部分，發(fā)動機作為汽車重要組成部分，其外觀檢測極其重要。在目前生產(chǎn)中，采用人工目視檢測缺陷，此方式檢測效率低，很難保持長時間穩(wěn)定的檢出效果，個人檢出情況會由于各種原因?qū)е聶z測效果發(fā)生變化，不同人員檢測標準不同，但AI檢出標準唯一穩(wěn)定。AI檢測缺陷具有穩(wěn)定性，泛化性，多樣性。

隨著人工智能行業(yè)的發(fā)展，AI檢測具備越來越多的車企已經(jīng)開始了檢測方式的轉(zhuǎn)型，用人工智能來替代傳統(tǒng)的檢測方式，通過視覺系統(tǒng)替代傳統(tǒng)的目視檢測。

傳統(tǒng)視覺檢測劣勢如下。

a.人員標準不統(tǒng)一；

b.漏檢、誤檢及過殺檢測。

AI視覺檢測優(yōu)勢如下。

a.檢測標準統(tǒng)一，穩(wěn)定檢出，無人員狀態(tài)因素影響；

b.對于疑似產(chǎn)品，人員二次確認，避免成本浪費，降低人員勞動強度。

AI檢測范圍/缺陷/標準，加工面(氣孔、傷痕、磕碰、缺肉、異物)，加工面上1/4缸壁(氣孔)，加工面(氣孔、傷痕、磕碰、缺肉、異物)。

2.6.1 基于深度學(xué)習(xí)算法目標檢測流程

首先對整張圖片輸入進卷進神經(jīng)網(wǎng)絡(luò)，提取特征圖；之后將特征圖輸入候選框建議網(wǎng)絡(luò)，該網(wǎng)絡(luò)先提出一系列固定的候選框位置，之后用真實標簽與每個候選框進行匹配，根據(jù)真實標簽與候選框面積的交并比，判斷該候選框是否以置信度水平含有待檢測的物體以及候選框相對于標簽信息的坐標偏移；之后使用ROI pooling處理候選框，使其到相同大小，進入全連接層中進行分類。最后可以得到網(wǎng)絡(luò)的輸出，物體的坐標以及對應(yīng)分類的索引。

2.6.2 深度學(xué)習(xí)的訓(xùn)練過程

在模型訓(xùn)練過程中，首先會根據(jù)輸入的圖片提取出相應(yīng)的特征（一般為邊角等輪廓特征以及更深層次的紋理特征），隨后根據(jù)提取的特征預(yù)測出一個結(jié)果（缺陷及位置）。如果預(yù)測的結(jié)果跟人工標注的結(jié)果不同，此時模型會根據(jù)結(jié)果的差異更新自身內(nèi)部的參數(shù)，從而生成一套新的模型，由此不斷重復(fù)這個過程，直到模型預(yù)測的結(jié)果全部正確，模型就訓(xùn)練完畢了。

3 iVOS系統(tǒng)實施效果

3工位節(jié)拍提升，實現(xiàn)瓶頸節(jié)拍優(yōu)化共10個工位，每個工位節(jié)拍平均優(yōu)化15 s以上，如表1所示。

表1 節(jié)拍優(yōu)化效果 s

操作人員培訓(xùn)與上崗能力考核，基于作業(yè)視頻與智能穿戴技術(shù)已完成裝配線所有新人的操作能力培訓(xùn)，并完成上崗能力考核工作，人員上崗評價全部通過此數(shù)字化工具完成，崗位標準作業(yè)匹配度達到95%以上。

裝配線一次交檢合格率從2020年9月到2020年11月，在短短的3個月時間從90%提升到98%以上。

缸體、缸蓋表面密封面缺陷檢測，降低試漏機不合格率2%，涂膠檢測、鎖塊、油封狀態(tài)視覺檢測，降低不合格率2.5%，針對關(guān)鍵工序應(yīng)用AI視覺與電信號防錯，降低返修率3%以上，整體一次交檢合格率提升8%以上。

4 2020～2022三年數(shù)字化整體規(guī)劃

根據(jù)西門子中國企業(yè)數(shù)字化建設(shè)等級網(wǎng)上評估，動力總成工廠現(xiàn)階段的數(shù)字化水平仍相差較遠，還有很長的路要走，如果想要成功的進行數(shù)字化轉(zhuǎn)型就需要制定出一個合理的三年數(shù)字化整體規(guī)劃，既要量體裁衣，又要充滿挑戰(zhàn)。

動力總成工廠的三年數(shù)字化整體規(guī)劃可以總結(jié)為1個藍圖、3條主線，一個藍圖為基于5G+工業(yè)互聯(lián)網(wǎng)平臺，深度運用數(shù)字化技術(shù)，打造數(shù)據(jù)化、透明化、價值化的數(shù)字化工廠[5]，實現(xiàn)業(yè)務(wù)數(shù)字化轉(zhuǎn)型，締造極致美妙的動力總成孿生產(chǎn)品；3條主線分別為業(yè)務(wù)主線、系統(tǒng)主線、數(shù)據(jù)主線；最終的管理邏輯為通過將過程中的每一個環(huán)節(jié)數(shù)據(jù)化，大幅度提升管理顆粒度，并結(jié)合工廠實際，通過建模及深度學(xué)習(xí)的應(yīng)用，用數(shù)字化的分析決策，替代人模糊化的分析及決策，從而大幅度提高質(zhì)量管理水平、提升效率，極大消除浪費；動力總成工廠數(shù)字化技術(shù)路線如圖10所示。

圖10 數(shù)字化技術(shù)路線

5 結(jié)束語

綜上智能化在發(fā)動機裝配線上的實踐，很好地驗證了AI視覺可以廣泛應(yīng)用于發(fā)動機裝配錯漏裝與標準作業(yè)執(zhí)行管控，本研究從作業(yè)智能化與零件檢測智能化兩方面進行了闡述，作業(yè)智能化包含了上崗前的人員培訓(xùn)與考核，作業(yè)過程中的實時監(jiān)控與預(yù)警，實現(xiàn)了作業(yè)過程零風(fēng)險；零件檢測智能化主要基于AI深度學(xué)習(xí)算法準確檢測表面微小缺陷，實現(xiàn)質(zhì)量檢測無人化。