5G+AI機(jī)器視覺(jué)技術(shù)在PCB行業(yè)應(yīng)用

李 森 萬(wàn) 剛 魏梓原 安 崗 張文博

1 中國(guó)聯(lián)通研究院 北京 100176

2 中國(guó)聯(lián)通江西省分公司 南昌 330000

引言

印制電路板(Printed Circuit Board，PCB)是絕大多數(shù)電子設(shè)備產(chǎn)品必需的元件，又被稱為“電子產(chǎn)品之母”，起到為電子元件提供電氣連接的作用，是我國(guó)數(shù)字經(jīng)濟(jì)發(fā)展中的關(guān)鍵性技術(shù)產(chǎn)業(yè)之一[1]。生產(chǎn)過(guò)程中，自動(dòng)光學(xué)檢測(cè)(AOI)設(shè)備則是提升PCB產(chǎn)能及產(chǎn)品良率的關(guān)鍵設(shè)備。AOI設(shè)備可部署于生產(chǎn)線的中站，在不影響產(chǎn)能的前提下檢查半成品，因此成為PCB制造過(guò)程中比重較高的必要投資，約占總投資額的15%[2]。通常，AOI設(shè)備的檢測(cè)流程是先利用AOI光學(xué)掃描待檢的PCB，獲取清晰影像，然后經(jīng)過(guò)電腦圖像處理技術(shù)檢查出PCB上是否有短路、多銅及少銅、斷路、缺口、毛刺、銅渣、缺件、偏斜等瑕疵[3]。因?yàn)殍Υ玫姆N類(lèi)非常廣泛，所以較一般電子零部件的瑕疵檢測(cè)困難許多。

目前AOI檢測(cè)面臨過(guò)度篩檢(OVERKILL)的現(xiàn)象。在極高的PCB良品率的要求下，AOI設(shè)備的參數(shù)設(shè)定非常嚴(yán)格，也因此AOI檢測(cè)設(shè)備容易因過(guò)于敏感而出現(xiàn)過(guò)篩現(xiàn)象[4-5]。經(jīng)統(tǒng)計(jì)PCB過(guò)篩率高達(dá)70%，即NG產(chǎn)品中其實(shí)有70%的成品是合格的。目前多采取人工進(jìn)行第二次篩選，將實(shí)際合格的PCB再度送回產(chǎn)線。然而，人工篩選存在效率低、容易漏檢、無(wú)法檢測(cè)高精度PCB、接觸檢測(cè)易損傷PCB等諸多缺點(diǎn)，已不能滿足PCB高效率、高精度、高性能的生產(chǎn)需求。

1 5G+AI給機(jī)器視覺(jué)帶來(lái)的價(jià)值

5G+AI的工業(yè)視覺(jué)解決方案，通過(guò)端+5G網(wǎng)絡(luò)+邊緣云+云服務(wù)的協(xié)作，可實(shí)現(xiàn)信息互通共享、設(shè)備標(biāo)準(zhǔn)化智能化水平提升、系統(tǒng)部署簡(jiǎn)單更靈活、維護(hù)效率提升、端到端部署成本降低等，將成為未來(lái)智能化工廠標(biāo)配解決方案[6-7]。

技術(shù)方面，5G網(wǎng)絡(luò)簡(jiǎn)單易部署，支持規(guī)模應(yīng)用，可將復(fù)雜的樣本標(biāo)注、圖像處理等統(tǒng)一在云端平臺(tái)實(shí)現(xiàn)，并通過(guò)AI算法實(shí)現(xiàn)智能標(biāo)注、智能閉環(huán)，降低系統(tǒng)應(yīng)用的復(fù)雜性和對(duì)用戶的專(zhuān)業(yè)技能要求，使工業(yè)視覺(jué)檢測(cè)被應(yīng)用到更多生產(chǎn)環(huán)節(jié)。同時(shí)5G的大連接特性可以使產(chǎn)線上每個(gè)工業(yè)視覺(jué)應(yīng)用不再是獨(dú)立的數(shù)據(jù)孤島，各應(yīng)用產(chǎn)生的數(shù)據(jù)可以被共享，實(shí)現(xiàn)數(shù)據(jù)互聯(lián)互通、動(dòng)態(tài)閉環(huán)。最后，通過(guò)5G技術(shù)可以在云端統(tǒng)一架構(gòu)平臺(tái)上實(shí)現(xiàn)推理訓(xùn)練，支持快速的新模型迭代更新，使深度學(xué)習(xí)在工業(yè)視覺(jué)應(yīng)用中被廣泛推廣，普遍提升檢測(cè)成功率。不同的網(wǎng)絡(luò)接入方式各項(xiàng)能力對(duì)比如表1所示。

表1 不同網(wǎng)絡(luò)接入方式對(duì)比

在系統(tǒng)部署和維護(hù)方面，5G技術(shù)具有明顯的優(yōu)勢(shì)。首先，5G的無(wú)線傳輸可以滿足部分工業(yè)應(yīng)用場(chǎng)景的移動(dòng)性訴求，也可以進(jìn)行后裝視覺(jué)應(yīng)用、不固定部署等，多場(chǎng)景部署靈活。此外，通過(guò)5G技術(shù)，工程技術(shù)人員可以在云端進(jìn)行操作維護(hù)，大幅提升系統(tǒng)維護(hù)效率。其次，5G技術(shù)可以降低機(jī)器視覺(jué)系統(tǒng)部署和維護(hù)的成本。通過(guò)將高算力需求的操作統(tǒng)一部署在云端平臺(tái)，同時(shí)支持多類(lèi)不同應(yīng)用場(chǎng)景，端側(cè)僅部署標(biāo)準(zhǔn)的圖像采集系統(tǒng)，能夠降低全系統(tǒng)部署成本；通過(guò)5G技術(shù)可實(shí)現(xiàn)遠(yuǎn)程運(yùn)維，以此來(lái)降低系統(tǒng)操作維護(hù)成本。

2 5G+AI機(jī)器視覺(jué)系統(tǒng)網(wǎng)絡(luò)架構(gòu)

考慮應(yīng)用需求、項(xiàng)目成本和網(wǎng)絡(luò)能力等方面的差異，按照算力部署位置不同，基于5G+AI的工業(yè)視覺(jué)系統(tǒng)部署架構(gòu)可分為前端設(shè)備推理與閉環(huán)控制、現(xiàn)場(chǎng)推理與閉環(huán)控制、邊緣云推理與閉環(huán)控制三大類(lèi)。

第一種方式為前端設(shè)備推理與閉環(huán)控制，架構(gòu)如圖1所示。在這種方式下，算力部署在前端設(shè)備，視覺(jué)能力在本地實(shí)現(xiàn)；但這種方式端側(cè)算力成本高、算力有限，單點(diǎn)系統(tǒng)維護(hù)成本過(guò)高，數(shù)據(jù)不能有效共享，難以快速?gòu)?fù)制，在3D機(jī)器視覺(jué)檢測(cè)產(chǎn)生巨大數(shù)據(jù)量的場(chǎng)景，動(dòng)態(tài)連續(xù)監(jiān)測(cè)等對(duì)時(shí)延要求嚴(yán)苛的場(chǎng)景，如煤礦中的帶送煤炭體積測(cè)量可使用此方式。

圖1 前端設(shè)備推理與閉環(huán)控制

第二種方式為現(xiàn)場(chǎng)推理與閉環(huán)控制，架構(gòu)如圖2所示。此方式是將算力單獨(dú)部署于應(yīng)用現(xiàn)場(chǎng)，成本低，部署快，可避免斷網(wǎng)導(dǎo)致云端算力不可用；可作為現(xiàn)有MEC能力補(bǔ)充，將業(yè)務(wù)向工業(yè)現(xiàn)場(chǎng)延伸，先期搶占市場(chǎng)，現(xiàn)場(chǎng)算力設(shè)備后續(xù)可轉(zhuǎn)化為MEC平臺(tái)獨(dú)立計(jì)算資源。適用于對(duì)實(shí)時(shí)性要求嚴(yán)苛，云端處理時(shí)延不滿足要求的場(chǎng)景；前端數(shù)據(jù)量巨大，需在本地壓縮或推理的場(chǎng)景；同時(shí)適用于多數(shù)工業(yè)產(chǎn)品質(zhì)量檢測(cè)類(lèi)應(yīng)用，如布匹質(zhì)量檢測(cè)，手機(jī)蓋板質(zhì)量檢測(cè)等。

圖2 現(xiàn)場(chǎng)推理與閉環(huán)控制

第三種方式為邊緣推理與閉環(huán)控制，架構(gòu)如圖3所示。此方式是將算力部署在MEC平臺(tái)，邊緣云硬件及軟件能力易擴(kuò)容，資源可復(fù)用，更利于視覺(jué)應(yīng)用廣泛推廣；現(xiàn)場(chǎng)部署的硬件簡(jiǎn)單、靈活、標(biāo)準(zhǔn)化；但受網(wǎng)絡(luò)連接穩(wěn)定性、成本、網(wǎng)絡(luò)和MEC建設(shè)影響較大。適用于對(duì)視覺(jué)應(yīng)用對(duì)處理時(shí)延要求不嚴(yán)苛，同時(shí)傳輸總數(shù)據(jù)量不大的場(chǎng)景，如產(chǎn)線設(shè)備狀態(tài)監(jiān)控的視覺(jué)抄表應(yīng)用。

圖3 邊緣推理與閉環(huán)控制

3 AOI人工智能二次檢測(cè)部署方案

本方案旨在探索實(shí)現(xiàn)PCB瑕疵一體化檢測(cè)，通過(guò)以基于深度學(xué)習(xí)的目標(biāo)檢測(cè)為核心的機(jī)器視覺(jué)技術(shù)，融合5G網(wǎng)絡(luò)，替代人工二次篩選過(guò)程。質(zhì)檢方案如圖4所示，改造后人工智能二次檢測(cè)部分采用人工智能機(jī)器視覺(jué)技術(shù)，對(duì)PCB檢測(cè)過(guò)程中AOI設(shè)備的初次檢測(cè)結(jié)果進(jìn)行二次分析。待檢測(cè)數(shù)據(jù)取自AOI設(shè)備數(shù)據(jù)服務(wù)器，經(jīng)檢測(cè)模塊檢測(cè)后，將基于人工智能的二次檢測(cè)結(jié)果傳遞至后續(xù)VRS設(shè)備，用于進(jìn)行后續(xù)工作。

圖4 質(zhì)檢方案改造前后對(duì)比

3.1 系統(tǒng)軟件設(shè)計(jì)

PCB裸板機(jī)器視覺(jué)檢測(cè)系統(tǒng)由圖像采集模塊和邊緣檢測(cè)平臺(tái)兩部分組成，具體如圖5所示。其中，圖像采集模塊負(fù)責(zé)訪問(wèn)AOI設(shè)備，匯總AOI設(shè)備針對(duì)PCB的初次檢測(cè)結(jié)果，實(shí)現(xiàn)圖像數(shù)據(jù)采集任務(wù)，并實(shí)時(shí)回傳至邊緣檢測(cè)平臺(tái)進(jìn)行檢測(cè)。邊緣檢測(cè)平臺(tái)負(fù)責(zé)接收數(shù)據(jù)并對(duì)圖像進(jìn)行預(yù)處理，通過(guò)預(yù)訓(xùn)練AI檢測(cè)模型對(duì)PCB圖像進(jìn)行瑕疵檢測(cè)，以及傳輸誤檢圖像用于模型再優(yōu)化。

圖5 PCB裸板機(jī)器視覺(jué)檢測(cè)系統(tǒng)組成

圖像采集模塊可劃分為圖像采集、圖像傳輸兩部分。不同于一般的機(jī)器視覺(jué)檢測(cè)系統(tǒng)，由于AOI設(shè)備在初次檢測(cè)過(guò)程中，已經(jīng)通過(guò)自身的圖像采集模塊控制光源、相機(jī)等完成了PCB圖像采集并輸出了檢測(cè)結(jié)果。因此，本部分的圖像采集可僅負(fù)責(zé)訪問(wèn)AOI設(shè)備的檢測(cè)結(jié)果輸出路徑，匯總初次檢測(cè)結(jié)果。圖像傳輸部分則按約定將匯總的初次檢測(cè)結(jié)果，傳輸至邊緣檢測(cè)平臺(tái)。

邊緣檢測(cè)平臺(tái)由圖像接收、圖像預(yù)處理、瑕疵檢測(cè)和誤檢反饋四部分組成。平臺(tái)接收?qǐng)D像采集模塊發(fā)送的AOI設(shè)備初檢結(jié)果圖像，經(jīng)校正、去噪、增強(qiáng)等一系列圖像預(yù)處理措施，進(jìn)一步突出目標(biāo)特征后，將AOI設(shè)備初檢結(jié)果圖像送至瑕疵檢測(cè)模塊完成二次檢測(cè)。誤檢反饋用于積累誤判圖像，后續(xù)改進(jìn)檢測(cè)模型。當(dāng)系統(tǒng)檢測(cè)精度表現(xiàn)不佳或不足以滿足應(yīng)用時(shí)，可通過(guò)開(kāi)啟誤檢反饋模式，人工輔助判斷瑕疵檢測(cè)模塊的二次檢測(cè)結(jié)果是否正確，將誤判圖像留存積累，用于后續(xù)模型訓(xùn)練改進(jìn)。

3.2 系統(tǒng)部署方式

使用過(guò)程中，通過(guò)在廠區(qū)內(nèi)部署帶有輔助計(jì)算卡的計(jì)算設(shè)備(或租賃中心云/MEC云)，借助5G網(wǎng)絡(luò)低時(shí)延、高帶寬的網(wǎng)絡(luò)特性，AOI設(shè)備初檢結(jié)果圖像能夠高效匯聚至搭載PCB裸板機(jī)器視覺(jué)檢測(cè)系統(tǒng)的計(jì)算中心，進(jìn)而完成智能檢測(cè)與結(jié)果反饋。整個(gè)系統(tǒng)主要有以下三種部署方式，如圖6所示。

圖6 部署方案

1)MEC邊緣云+中心云部署方式。數(shù)據(jù)采集模塊部署于AOI設(shè)備服務(wù)器，邊緣檢測(cè)平臺(tái)部署于MEC邊緣云，瑕疵檢測(cè)模塊借助MEC算力完成瑕疵二次檢測(cè)。通過(guò)MEC部署，數(shù)據(jù)在5G網(wǎng)絡(luò)的傳輸過(guò)程中能夠借助UPS卸載敏感信息，實(shí)現(xiàn)數(shù)據(jù)不出廠，極大提高企業(yè)的數(shù)據(jù)保密性與安全性。項(xiàng)目實(shí)際落地過(guò)程中，即采用此方式完成系統(tǒng)部署。

2)中心云部署。檢測(cè)平臺(tái)部署于中心云，數(shù)據(jù)通過(guò)5G網(wǎng)絡(luò)上傳至中心云進(jìn)行處理運(yùn)算。企業(yè)無(wú)需單獨(dú)購(gòu)置昂貴的計(jì)算設(shè)備用于支撐檢測(cè)運(yùn)算，能夠最大限度地減少生產(chǎn)線改造復(fù)雜性，降低企業(yè)數(shù)字化、智能化過(guò)程中的改造成本。

3)現(xiàn)場(chǎng)部署。購(gòu)置現(xiàn)場(chǎng)計(jì)算設(shè)備，檢測(cè)平臺(tái)部署于生產(chǎn)線一側(cè)的現(xiàn)場(chǎng)計(jì)算設(shè)備中。現(xiàn)場(chǎng)部署設(shè)備不出車(chē)間，OT與IT網(wǎng)絡(luò)可隔離，真正實(shí)現(xiàn)數(shù)據(jù)的生產(chǎn)側(cè)處理，最大程度地提升企業(yè)生產(chǎn)效率。

3.3 關(guān)鍵技術(shù)研究

近年來(lái)，得益于數(shù)據(jù)的大量積累和設(shè)備計(jì)算能力的有效提升，人工智能技術(shù)以深度神經(jīng)網(wǎng)絡(luò)為核心，在學(xué)術(shù)界、工業(yè)界的圖像、語(yǔ)音等各領(lǐng)域均獲得了長(zhǎng)足發(fā)展[8]?；谌斯ぶ悄艿臋C(jī)器視覺(jué)技術(shù)采用卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)PCB圖像[9]，提取圖像特征，相較于傳統(tǒng)視覺(jué)技術(shù)，該瑕疵檢測(cè)系統(tǒng)可以分析復(fù)雜影像，大幅提升自動(dòng)化視覺(jué)檢測(cè)的影像判讀能力和準(zhǔn)確度，并可將瑕疵進(jìn)行自動(dòng)分類(lèi)，其分類(lèi)精度基本達(dá)到、甚至超越了人工分類(lèi)精度[10]。瑕疵檢測(cè)模型構(gòu)建流程如圖7所示。

圖7 人工智能檢測(cè)模型構(gòu)建流程

1)數(shù)據(jù)清洗：將存在無(wú)效、不完整等問(wèn)題的圖片清理掉，留下有效圖片。

2)數(shù)據(jù)標(biāo)注：將有效圖片進(jìn)行標(biāo)注，形成特定的，可供后續(xù)算法輸入的數(shù)據(jù)結(jié)構(gòu)，從而保證模型的正確輸入。

3)模型訓(xùn)練：利用設(shè)計(jì)好的框架以及算法，對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練。根據(jù)數(shù)據(jù)量的大小、分類(lèi)的種類(lèi)，以及硬件的設(shè)備、訓(xùn)練時(shí)間各不相同。

4)模型應(yīng)用：訓(xùn)練好的模型下發(fā)至本地/邊緣服務(wù)器，對(duì)接圖像采集系統(tǒng)，對(duì)圖像采集系統(tǒng)輸出的圖像做二次識(shí)別，輸出識(shí)別結(jié)果。

5)模型優(yōu)化：本地/邊緣服務(wù)器存儲(chǔ)的圖像及識(shí)別結(jié)果定期上傳，不斷迭代優(yōu)化模型，提高模型準(zhǔn)確率，改進(jìn)檢測(cè)效果。

4 結(jié)語(yǔ)

現(xiàn)有PCB板檢測(cè)項(xiàng)目多集中在工具或裝置的創(chuàng)新，其本質(zhì)是使用工具輔助記錄，然后以人工方式進(jìn)行識(shí)別。由于輔助設(shè)備、記錄數(shù)據(jù)及人工經(jīng)驗(yàn)等的限制，檢測(cè)質(zhì)量及效率均有待提高。然而，本項(xiàng)目通過(guò)基于云平臺(tái)的人工智能圖像識(shí)別及自動(dòng)化檢測(cè)系統(tǒng)，能夠智能判別故障缺陷，最大程度地實(shí)現(xiàn)無(wú)人工參與的一體化缺陷檢測(cè)。其價(jià)值主要體現(xiàn)在以下兩個(gè)方面。

1)系統(tǒng)架構(gòu)創(chuàng)新。創(chuàng)新性的引入了目標(biāo)識(shí)別框架來(lái)進(jìn)行故障的判斷，通過(guò)不斷地輸入樣本數(shù)據(jù)，系統(tǒng)根據(jù)所輸入的數(shù)據(jù)進(jìn)行自主調(diào)參，人工干預(yù)性減少，大大提高了模型的穩(wěn)健性。

2)5G與AI融合技術(shù)助力企業(yè)實(shí)際生產(chǎn)的應(yīng)用示范。以PCB生產(chǎn)過(guò)程中的質(zhì)檢環(huán)節(jié)為應(yīng)用場(chǎng)景，以人工智能技術(shù)為應(yīng)用核心，提升PCB質(zhì)檢效率，助力企業(yè)數(shù)字化、智能化生產(chǎn)，提升經(jīng)濟(jì)效益。借助5G網(wǎng)絡(luò)低時(shí)延、高帶寬的網(wǎng)絡(luò)特性，為AI質(zhì)檢提供網(wǎng)絡(luò)支持，具有5G應(yīng)用融合創(chuàng)新的示范效應(yīng)。