基于多源數(shù)據(jù)融合的白車身表面缺陷檢測和分級方法

摘 要：本文分析了傳統(tǒng)人工檢查白車身表面缺陷的局限性，揭示了研發(fā)表面缺陷視覺檢測系統(tǒng)的必要性，簡介了檢測系統(tǒng)的構(gòu)成及技術(shù)要求，構(gòu)建了表面缺陷數(shù)據(jù)采集的方式，創(chuàng)建了基于多源數(shù)據(jù)融合實(shí)現(xiàn)白車身表面缺陷檢測和分級的深度學(xué)習(xí)方法，運(yùn)用搭建的白車身表面缺陷視覺檢測實(shí)驗(yàn)平臺進(jìn)行算法模型訓(xùn)練和方法驗(yàn)證，整體人工檢測與機(jī)器檢測一致率達(dá)到97.1%，達(dá)到準(zhǔn)確檢測和分級的效果。

關(guān)鍵詞：白車身 多源數(shù)據(jù)融合 缺陷檢測 分級

白車身表面質(zhì)量是影響整車外觀的重要因素。人工檢查是對白車身表面缺陷進(jìn)行質(zhì)量檢測的傳統(tǒng)方式，如目視檢測、觸摸檢查、油石打磨[1-2]等等。人工檢測方式受情緒、疲勞和技能等因素的影響，容易出現(xiàn)表面缺陷流出到涂裝車間才發(fā)現(xiàn)的現(xiàn)象，而視覺自動化檢測系統(tǒng)能夠按照預(yù)設(shè)的運(yùn)行軌跡檢測，檢測質(zhì)量穩(wěn)定、可靠性高。

基于人工的白車身表面缺陷檢測面臨著諸多問題。第一，人工檢測的效率低，想要達(dá)到實(shí)時(shí)的檢測效果，需要花費(fèi)很大的人力。第二，人工檢測結(jié)果受人員技能水平影響大，不同的工人因?yàn)榻?jīng)驗(yàn)差異，檢測結(jié)果和檢測標(biāo)準(zhǔn)不統(tǒng)一。第三，人工檢測難以定量檢測缺陷大小，往往憑借經(jīng)驗(yàn)判斷是否有缺陷，缺陷的信息無法量化。第四，人工檢測方式記錄的缺陷位置描述不準(zhǔn)確，缺陷追溯記錄查詢困難，這種方式對以后缺陷追溯和查詢分析帶來很大困難。第五，對于工人來說，微小缺陷、坑包等容易漏檢，而在后工藝修復(fù)比較復(fù)雜。為了解決實(shí)際生產(chǎn)需要，我們研發(fā)自動化視覺檢測設(shè)備解決白車身表面檢測難題。

1 白車身表面缺陷視覺檢測系統(tǒng)

白車身表面視覺檢測系統(tǒng)目的是要解決焊裝車間白車身表面缺陷的人工質(zhì)檢難題，逐步取代人工進(jìn)行缺陷質(zhì)量檢查和缺陷分級，提高生產(chǎn)效率，降低生產(chǎn)成本。

1.1 白車身表面視覺檢測系統(tǒng)的構(gòu)成

白車身表面視覺檢測系統(tǒng)主要包含4部分：（1）3D視覺檢測頭的開發(fā)，包括光源模組、光柵模組、工業(yè)相機(jī)等模組的集成和標(biāo)定，通過表面條紋投影的方式實(shí)現(xiàn)白車身表面的3D成像；（2）機(jī)器人攜帶3D視覺檢測頭對整體白車身進(jìn)行拍攝掃描，覆蓋整個(gè)白車身的數(shù)據(jù)采集，保障實(shí)時(shí)性和生產(chǎn)節(jié)拍的要求；（3）智能分析服務(wù)器部分，根據(jù)采集到的白車身數(shù)據(jù)進(jìn)行缺陷檢測和分級[4]，通過與白車身奧迪特評審員檢測結(jié)果的對比，不斷優(yōu)化檢測算法，實(shí)現(xiàn)科學(xué)準(zhǔn)確的白車身表面缺陷檢測和分級；（4）用戶交互部分，包含缺陷檢測結(jié)果展示，檢測數(shù)據(jù)展示追溯等。

其中，第3部分智能分析服務(wù)器部分的研發(fā)是檢測系統(tǒng)的關(guān)鍵部分，依據(jù)采集到的白車身表面數(shù)據(jù)，進(jìn)行白車身表明缺陷檢測和分級算法網(wǎng)絡(luò)的設(shè)計(jì)、訓(xùn)練和部署，實(shí)現(xiàn)高效率、高質(zhì)量和低成本的檢測效果。

1.2 白車身表面缺陷檢測和分級要求

白車身表面視覺檢測系統(tǒng)需要對焊裝車間白車身表面常見的典型缺陷進(jìn)行準(zhǔn)確檢測，包括凹/凸、鈑金不規(guī)則、劃傷、飛濺、刨痕等。沖壓件表面缺陷，如縮頸、縮痕、雙線、開裂等可能會出現(xiàn)在沖壓車間，極少會流出焊裝車間，暫不在考慮范圍內(nèi)。

視覺檢測系統(tǒng)需要對焊裝車間白車身表面常見的典型缺陷進(jìn)行準(zhǔn)確科學(xué)分級，通過對白車身奧迪特評審結(jié)果經(jīng)驗(yàn)的學(xué)習(xí)，依據(jù)紅旗白車身奧迪特評審標(biāo)準(zhǔn)，根據(jù)表面缺陷分布位置及缺陷情況，將表面缺陷劃分為A、B、C1、C四個(gè)級別。實(shí)際在焊裝車間白車身階段，A級別的缺陷出現(xiàn)較少，主要是B/C1/C級別的缺陷[1]，數(shù)據(jù)集制備和采集以實(shí)際車身出現(xiàn)的情況為準(zhǔn)。

2 數(shù)據(jù)采集和缺陷檢測及分級方法

2.1 白車身表面數(shù)據(jù)采集

白車身表面數(shù)據(jù)采集裝置是一個(gè)條紋結(jié)構(gòu)光3D掃描儀，如圖２所示，包含一個(gè)條紋投影模組和一個(gè)工業(yè)相機(jī)。

條紋投影向待掃描物體表面投射條紋結(jié)構(gòu)光，CCD（電荷耦合器件）相機(jī)捕獲物體表面反射的條紋結(jié)構(gòu)光圖像，并基于捕獲的結(jié)構(gòu)光圖像恢復(fù)物體表面的3D數(shù)據(jù)信息。根據(jù)條紋圖圖像，通過3D重構(gòu)算法計(jì)算可以獲取表面的3D圖像數(shù)據(jù)。

圖３為3D視覺檢測頭獲取的圖像信息。左上圖為手機(jī)拍攝的藍(lán)光投影圖像，藍(lán)光條紋由3D視覺檢測頭的投影模組發(fā)出，投射到白車身表面表面上；右上圖為3D視覺檢測頭工業(yè)相機(jī)拍攝的原始條紋圖像，根據(jù)條紋圖像的變化體現(xiàn)高度和深度的差別；左下圖為增強(qiáng)條紋圖像，該圖像由右上圖進(jìn)行增強(qiáng)處理后獲得，使得條紋更加清晰、準(zhǔn)確；右下為3D圖像，根據(jù)增強(qiáng)后的條紋圖像基于3D重構(gòu)算法生成，包含每個(gè)像素點(diǎn)的深度信息。所示圖像為偽彩色渲染后的結(jié)果，不同顏色表示不同深度變化，這樣便于直觀的看到相同深度變化下3D信息。

圖4為白車身部件表面凸起缺陷采用3D視覺檢測頭拍攝，可以看到缺陷局部條紋扭曲變形，根據(jù)3D重構(gòu)算法進(jìn)行3D計(jì)算后獲取的點(diǎn)云圖像正視圖（左下）和側(cè)視圖（右下）可以看到凸起缺陷。

基于原始條紋圖像、增強(qiáng)條紋圖像和3D圖像，我們研究多源數(shù)據(jù)融合的表面缺陷檢測和分級算法，用于白車身表面缺陷的精確檢測和科學(xué)的表面缺陷奧迪特分級[2]。

2.2 基于多源數(shù)據(jù)融合的表面缺陷檢測和分級方法

該檢測系統(tǒng)是基于深度視覺檢測技術(shù)完成對白車身表面缺陷等級劃分，但是通過對采集的數(shù)據(jù)觀察分析（圖5），發(fā)現(xiàn)單模態(tài)深度視覺缺陷檢測方法存在以下不足：單一特征如條紋圖像、增強(qiáng)條紋圖像、3D圖像無法全面體現(xiàn)缺陷特征，如缺陷的類別和等級檢測嚴(yán)重依賴于深度信息，在其他特征分布圖中不易察覺；若采用單一特征進(jìn)行缺陷檢測識別，這極容易會造成誤檢出現(xiàn)。

為了提升檢測系統(tǒng)整體的檢測精度，滿足客戶需求，該檢測系統(tǒng)采用基于多模態(tài)融合的深度學(xué)習(xí)方法（圖6）檢測白車身表面缺陷。

該算法包含3個(gè)特征提取網(wǎng)絡(luò)，首先分別對原始條紋圖、增強(qiáng)條紋圖和3D圖進(jìn)行特征提取，其中增強(qiáng)條紋圖和3D圖是基于原始條紋圖進(jìn)行特征提取和3D重構(gòu)后獲取的。然后對這3個(gè)特征提取網(wǎng)絡(luò)輸出的特征進(jìn)行通道融合，然后將融合的特征送入到特征金字塔進(jìn)行缺陷位置和類型檢測，這樣算法能夠從多個(gè)維度獲取白車身材料表面缺陷信息，保證信息來源的多樣性[3]，這樣可以解決單一特征無法全面描述所有缺陷特征的問題。通過基于多源數(shù)據(jù)融合的深度學(xué)習(xí)方法，實(shí)現(xiàn)表面缺陷的準(zhǔn)確檢測。

最后針對多源數(shù)據(jù)信息，構(gòu)造分類網(wǎng)絡(luò)算法，對于同一類型不同級別的缺陷進(jìn)行缺陷分級[4]，參考標(biāo)準(zhǔn)來源于白車身表面缺陷的奧迪特評審員的分級評審結(jié)果。該部分基于多源融合的缺陷分級方法，實(shí)現(xiàn)表面缺陷的精確分級。通過缺陷檢測網(wǎng)絡(luò)和缺陷分級網(wǎng)絡(luò)的級聯(lián)，實(shí)現(xiàn)基于多源數(shù)據(jù)的缺陷檢測和準(zhǔn)確分級。

3 實(shí)驗(yàn)測試結(jié)果分析

3.1 缺陷制作策劃和數(shù)據(jù)集制備

在實(shí)驗(yàn)室的測試樣車上，基于實(shí)際生產(chǎn)的需要制作白車身表面的缺陷。缺陷策劃時(shí)，邀請生產(chǎn)車間的質(zhì)檢專家、質(zhì)量保證部門的奧迪特評審專家和工程技術(shù)專家共同進(jìn)行缺陷策劃，對于缺陷的種類、等級、分布位置、數(shù)量等進(jìn)行了詳細(xì)的設(shè)計(jì)，最終在測試樣車上制作適合的缺陷，包括凹凸缺陷、波浪變形缺陷、飛濺缺陷、劃傷缺陷和刨痕缺陷等。

基于實(shí)際的缺陷策劃（表１），我們制備了包含不同類別、不同等級的缺陷數(shù)據(jù)集，總共包含1552個(gè)缺陷點(diǎn)位，其中坑包缺陷1160個(gè)點(diǎn)位，波浪變形缺陷308個(gè)點(diǎn)位，劃傷缺陷38個(gè)點(diǎn)位，刨痕缺陷13個(gè)點(diǎn)位，飛濺缺陷33個(gè)點(diǎn)位。

3.2 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)平臺選取了研華工業(yè)計(jì)算機(jī)，標(biāo)準(zhǔn)x64架構(gòu)，XEON Gold-5318Y處理器，32GB內(nèi)存以及標(biāo)準(zhǔn)PCIE插槽，NVIDIA A4500顯卡，80英寸顯示器，操作系統(tǒng)是正版WIN 10。

在缺陷策劃和數(shù)據(jù)集制備的基礎(chǔ)上，使用其中70%的數(shù)據(jù)進(jìn)行算法模型的訓(xùn)練，然后在所有數(shù)據(jù)集上進(jìn)行測試和驗(yàn)證，基于多源數(shù)據(jù)融合的白車身表面表面缺陷檢測和分級算法整體的準(zhǔn)確率達(dá)到了97.1%。

從結(jié)果上看（表２），整體檢測準(zhǔn)確率基本滿足白車身面品檢測在線實(shí)施的需求。限于實(shí)驗(yàn)室的條件，數(shù)據(jù)集制備有限，后續(xù)會在生產(chǎn)線實(shí)施中進(jìn)行更多的缺陷數(shù)據(jù)收集，同時(shí)重新訓(xùn)練和更新整體算法模型，已達(dá)到更加穩(wěn)定的檢測效果。

4 結(jié)論

白車身表面質(zhì)量是影響整車外觀的重要因素?；趯?shí)際白車身生產(chǎn)的需要，我們研發(fā)了一套白車身表面視覺檢測系統(tǒng)，其中關(guān)鍵的缺陷檢測和分級算法部分，使用原始條紋數(shù)據(jù)、增強(qiáng)條紋數(shù)據(jù)和3D圖像數(shù)據(jù)作為輸入數(shù)據(jù)源，采用了基于多源數(shù)據(jù)融合的缺陷檢測和分級網(wǎng)絡(luò)模型，在實(shí)驗(yàn)室數(shù)據(jù)集上實(shí)現(xiàn)了97.1%的整體檢測準(zhǔn)確率，達(dá)到了較好的檢測效果。

參考文獻(xiàn)：

[1]上汽大眾汽車有限公司.汽車覆蓋件表面質(zhì)量評價(jià)方法：CN201910115362.8[P].2019-04-12.

[2]吳瓊興.汽車覆蓋件面畸變量化評價(jià)方法及應(yīng)用[J].模具工業(yè)，2023，49（3）：53-58.

[3]張克武，劉紅武，李彥波.基于JSTAMP/NV的汽車外覆蓋件表面缺陷仿真[J].計(jì)算機(jī)輔助工程，2013，22（5）：129-131.

[4]李麗明.車身A級曲面表面畸變的識別和可視化定量評估[J].塑性工程學(xué)報(bào)，2019，26（3）：262-267.