基于圖像處理的電路板缺陷檢測系統(tǒng)設(shè)計(jì)①

張立國 雷璇瑞 金梅 吳文哲 宋炳豪

(燕山大學(xué)電氣工程學(xué)院 秦皇島 066000)

電路板作為電子設(shè)備中的重要組成部分,承載著元器件之間的電氣連接,在電子設(shè)備中應(yīng)用十分廣泛[1]。隨著集成電路產(chǎn)業(yè)的發(fā)展,電路板的集成程度更高、面積更小、層數(shù)更多,但經(jīng)常出現(xiàn)印刷質(zhì)量問題,比如缺焊、錯(cuò)焊、漏錫、空洞和短路等等。隨著電路板需求的日益增長,其印刷質(zhì)量成為重中之重。傳統(tǒng)電路板缺陷檢測依靠人工檢測,隨著需求量的增加人工檢測效率低且成本越來越高,因此,本文設(shè)計(jì)基于圖像處理的電路板缺陷檢測系統(tǒng)以解決該問題,并將其在硬件上實(shí)現(xiàn)。

在檢測算法研究中,文獻(xiàn)[2]提出了一種利用小波變換來濾除噪聲的算法,利用待檢測電路板圖像與模板電路板圖像進(jìn)行對比來完成電路板缺陷的檢測,可以降低電路板圖像中的噪聲影響,但其方法在精度和速度方面遠(yuǎn)達(dá)不到生產(chǎn)檢測的需求。文獻(xiàn)[3]把現(xiàn)場可編程門陣列(field-programmable gate array,FPGA)技術(shù)引入到了印刷電路板(print circuit board,PCB)缺陷檢測系統(tǒng)中,通過調(diào)用FPGA 的函數(shù)庫完成檢測系統(tǒng)的設(shè)計(jì),可以快速地對PCB 缺陷進(jìn)行檢測。雖然其方法在速度上有一定的提升,但卻忽略了檢測精度。文獻(xiàn)[4]設(shè)計(jì)了一款基于擴(kuò)展特征金字塔網(wǎng)絡(luò)模型的PCB 缺陷檢測方法,在公共數(shù)據(jù)集上檢測精度較高。文獻(xiàn)[5]提出了一種基于機(jī)器視覺的PCB 缺陷在線檢測方法,使用改進(jìn)二分K-means 均值算法(K-means clustering algorithm,Kmeans)聚類結(jié)合交并比損失函數(shù)確定錨框,解決錨框不適用電路板小目標(biāo)缺陷檢測的問題,利用多種卷積核進(jìn)行運(yùn)算滿足電路板缺陷多類別的檢測要求。該方法檢測精度高,檢測時(shí)間相對較短,但該檢測方法依然不能滿足生產(chǎn)線的檢測需求。文獻(xiàn)[6]采用多尺度融合的金字塔模型有效地提高模型的特征識別能力,引入可變形卷積,通過卷積學(xué)習(xí)偏移量提高模型的特征提取能力來提高PCB 缺陷檢測的精度和速度。上述研究都提出了較好的方法,但是在檢測速度、精度以及成本上都有待提高。

在上述研究的基礎(chǔ)上,本文設(shè)計(jì)并實(shí)現(xiàn)基于圖像處理的電路板缺陷檢測系統(tǒng)。該設(shè)計(jì)在傳統(tǒng)圖像增強(qiáng)、邊緣檢測和模板匹配算法的基礎(chǔ)上將其進(jìn)行改進(jìn),并在FPGA 上實(shí)現(xiàn)并行處理;為加快待檢測板與標(biāo)準(zhǔn)板對比速度提出一種新的去除電路板上多余標(biāo)識字樣的算法即去除絲印算法,將原始圖像的標(biāo)識字樣去除減少圖像對比的數(shù)量,有效加快缺陷檢測的速度。在多塊包含缺陷的電路板上進(jìn)行驗(yàn)證,實(shí)驗(yàn)結(jié)果表明,該設(shè)計(jì)能更高效、快速地定位出電路板的缺陷,檢測速度更快、精度更高。

1 圖像預(yù)處理算法

1.1 改進(jìn)的灰度拉伸變換算法

受采集環(huán)境的影響,采集到的圖像對比度較低。灰度拉伸是通過某種映射關(guān)系,將原圖像中的灰度值映射為另一個(gè)灰度值,從而達(dá)到拉伸或壓縮整個(gè)圖像灰度分布的目的[7]。傳統(tǒng)的灰度拉伸算法在實(shí)際應(yīng)用中,其最小灰度級A和最大灰度級B的選取完全基于經(jīng)驗(yàn),且選取固定,對于圖像信息時(shí)刻變化的圖像來說,傳統(tǒng)的灰度拉伸處理不具有適應(yīng)性。

針對上述問題對傳統(tǒng)灰度拉伸算法進(jìn)行改進(jìn),放棄對最小灰度級A和最大灰度級B的選取方式,而是選取圖像每一行像素的最小值和最大值;然后將每一行的最大值和最小值分別相加求取平均值,將最大值的平均值作為最大灰度級Max,將最小值的平均值作為最小灰度級Min,感興趣區(qū)間變?yōu)閇Min,Max]。由于原始像素值可能大于最大灰度級Max,將增益系數(shù)設(shè)置為255 可能會(huì)造成圖像亮點(diǎn)較多,因此結(jié)合圖像特點(diǎn),將增益系數(shù)設(shè)置為最大灰度級Max,其改進(jìn)拉伸變換公式如式(1)所示。

其中f(x,y) 為輸入圖像,Min為最小灰度級、Max為最大灰度級,g(x,y) 為變換后最終得到的圖像。改進(jìn)后的圖像增強(qiáng)模塊分為求最值模塊和拉伸模塊,拉伸模塊具體流程圖如圖1 所示。

圖1 拉伸模塊流程圖

由文獻(xiàn)[8]可知,本文改進(jìn)的灰度拉伸算法同樣適用于彩色圖像,將式(1)分別應(yīng)用到紅(red,R)、綠(green,G)、藍(lán)(blue,B)分量上,將3 個(gè)分量分別看作單獨(dú)通道,進(jìn)行灰度拉伸,最后將拉伸后的三通道合成新的彩色圖像輸出。

1.2 去除絲印算法

由于原始圖像信息中包含電路板上為了方便識別電阻以及芯片型號而標(biāo)識的字樣,但是這些字樣在模板匹配的過程中并沒有起到任何作用反而會(huì)因?yàn)槠渥謽佣黾訉Ρ葧r(shí)間。為了加快模板匹配的檢測速度,提高匹配的檢測精度,本文提出一種去除絲印算法,即將干擾電路板匹配檢測的標(biāo)識字樣去掉,替換成電路板的底色。去除絲印算法的步驟如下:

(1)設(shè)原圖像灰度級數(shù)j:j=0,1,2,…,L-1;L是灰度級的個(gè)數(shù),取值范圍在0～255 之間;

(2)統(tǒng)計(jì)原圖像灰度級像素個(gè)數(shù)Ni;

(4)計(jì)算累計(jì)直方圖Pj=∑p(k),k=0,1,2,…,j;

(5) 找出累計(jì)直方圖最多的像素點(diǎn)P=Max{Pj},即每幀圖像出現(xiàn)最多的像素點(diǎn)也就是圖像的底色;

(6)由于標(biāo)識字樣都為白色,則將在白色范圍內(nèi)的像素全部替換為最多像素點(diǎn)的像素。

1.3 改進(jìn)的邊緣檢測算法

傳統(tǒng)的Sobel 邊緣檢測算法計(jì)算方法簡單,對噪聲具有平滑作用,但是邊緣精度不高[9]。其檢測算子只對水平方向和豎直方向敏感,閾值的選取也完全依靠人為選定且選取固定,或保留較多或丟失較多圖像信息[10],不能達(dá)到預(yù)期處理效果。針對上述閾值選取固定和算子模板不能更好體現(xiàn)圖像細(xì)節(jié)的問題,本文在傳統(tǒng)Sobel 邊緣檢測算法的基礎(chǔ)上進(jìn)行改進(jìn),其具體改進(jìn)步驟如下。

(1)設(shè)定滾動(dòng)窗口的大小,選定3 ×3 大小窗口與模板算子進(jìn)行平面卷積。

(2)確定卷積算子。將卷積算子由原來的2 個(gè)擴(kuò)展成8 個(gè),卷積算子模板如圖2 所示。

圖2 Sobel 8 方向模板算子

(3)根據(jù)Sobel 算子計(jì)算8 個(gè)方向的梯度值。

(4)計(jì)算Sobel 邊緣檢測的閾值,采用自適應(yīng)閾值,使用向量[G0°,G45°,G90°,G135°,G180°,G225°,G270°,G315°]T的范數(shù)表示,使用無窮范數(shù)化簡后得到最佳閾值T為GMax,GMax如式(2)所示。

(5)得到的梯度G與閾值T進(jìn)行比較,得到最終的圖像邊緣信息,如式(3)所示。

1.4 改進(jìn)的模板匹配算法

圖像匹配是指把不同傳感器、不同時(shí)間、不同視角、不同成像等條件下得到的圖像進(jìn)行比較,得到兩幅圖像之間的最佳匹配位置[11],圖像模板匹配流程如圖3 所示。標(biāo)準(zhǔn)圖即檢測系統(tǒng)中的標(biāo)準(zhǔn)電路板圖像,待測圖即檢測系統(tǒng)中待檢測電路板圖像,根據(jù)絕對誤差和算法(sum of absolute differences,SAD)來確定兩幅圖像的相似性。

圖3 圖像模板匹配流程圖

SAD 模板匹配算法的優(yōu)點(diǎn)在于原理簡單,更易于FPGA 硬件實(shí)現(xiàn)。但是對于背景復(fù)雜、光照變化大的情況,該算法會(huì)導(dǎo)致匹配率下降[12]。由于本文研究的電路板缺陷檢測系統(tǒng)在攝像頭采集圖像時(shí)光照變化較大,采用傳統(tǒng)的SAD 模板匹配算法可能會(huì)導(dǎo)致匹配率下降。針對上述問題,本文提出采用去均值法改進(jìn)傳統(tǒng)SAD 模板匹配算法。

改進(jìn)的SAD 模板匹配算法原理如下:將待檢測圖S和標(biāo)準(zhǔn)圖T分別去掉均值,即在絕對值差累加時(shí)減去平均值后再累加,改進(jìn)后的SAD 算法如式(4)所示,此方式可以有效減小由于灰度變化明顯時(shí)帶來的影響,實(shí)現(xiàn)實(shí)時(shí)跟蹤檢測對比。

其中,待測圖S的大小為M×N;標(biāo)準(zhǔn)圖T的大小為P×Q;x=0,1,…,M-P+1;y=0,1,…,N-Q+1;為待測圖的平均值;為標(biāo)準(zhǔn)圖的平均值。

2 缺陷檢測系統(tǒng)總體設(shè)計(jì)

電路板缺陷檢測系統(tǒng)包括硬件部分和軟件部分,其中硬件部分包括照明模塊、電路板運(yùn)動(dòng)控制模塊、圖像采集模塊和圖像顯示模塊;軟件部分包括圖像預(yù)處理模塊、圖像緩存模塊以及缺陷檢測模塊,并控制硬件系統(tǒng)實(shí)現(xiàn)協(xié)調(diào)運(yùn)行。系統(tǒng)結(jié)構(gòu)框圖如圖4所示。

圖4 電路板缺陷檢測系統(tǒng)結(jié)構(gòu)框圖

2.1 系統(tǒng)硬件設(shè)計(jì)

2.1.1 圖像采集模塊

攝像頭的選取對于采集到的圖像質(zhì)量至關(guān)重要。本文選用互補(bǔ)金屬氧化物半導(dǎo)體(complementary metal oxide semiconductor,CMOS)圖像傳感器中的OV5640 圖像傳感器,其感光陣列達(dá)到2 592 ×1 944(即500 萬像素),內(nèi)部集成了圖像處理的功能,同時(shí)支持發(fā)光二極管(light emitting diode,LED)補(bǔ)光、移動(dòng)產(chǎn)業(yè)處理器接口(mobile industry processor interface,MIPI)輸出和數(shù)字視頻接口(digital video port,DVP)輸出選擇等功能,DVP 接口采用并口傳輸[13]。

OV5640 圖像傳感器的具體參數(shù)如表1 所示,通過串行攝像機(jī)控制總線協(xié)議[14]對攝像頭內(nèi)部寄存器進(jìn)行配置,進(jìn)而實(shí)現(xiàn)對圖像的輸出。

表1 OV5640 圖像傳感器的相關(guān)參數(shù)

2.1.2 圖像顯示模塊

經(jīng)過檢測后的電路板若存在缺陷,則要對存在缺陷的部分進(jìn)行紅框標(biāo)記。為了方便質(zhì)檢人員能快速區(qū)分電路板是否存在缺陷且明確缺陷的位置,需要將紅框標(biāo)記的帶有缺陷的電路板圖像顯示在顯示器上。本文采用高清多媒體(high definition multimedia interface,HDMI)接口輸出圖像[15],利用Verilog 語言調(diào)用FPGA 芯片中的IP 核來完成相關(guān)設(shè)計(jì),從HDMI 接口輸出電路板檢測后的圖像信息。

2.2 系統(tǒng)軟件設(shè)計(jì)

系統(tǒng)的軟件設(shè)計(jì)包括圖像預(yù)處理模塊、圖像緩存模塊和缺陷檢測模塊,圖像預(yù)處理模塊又包括彩色圖像增強(qiáng)、去除絲印、灰度變換、中值濾波、邊緣檢測和腐蝕。系統(tǒng)的FPGA 實(shí)現(xiàn)邏輯框圖如圖5 所示。

圖5 系統(tǒng)軟件部分FPGA 實(shí)現(xiàn)邏輯框圖

2.2.1 圖像緩存模塊

本文選用2 個(gè)芯片型號為IS61WV51232BLL 的靜態(tài)隨機(jī)存取存儲器(static random-access memory,SRAM)。采用2 個(gè)SRAM 實(shí)現(xiàn)數(shù)據(jù)讀取的乒乓結(jié)構(gòu),根據(jù)幀數(shù)標(biāo)記(flag)切換2 個(gè)Bank 分別存儲待檢測電路板的相鄰兩幀圖像信息,循環(huán)存儲。該方式節(jié)省數(shù)據(jù)讀取的時(shí)間,加快檢測速度,將標(biāo)準(zhǔn)電路板圖像信息存儲在FPGA 內(nèi)部的隨機(jī)存取存儲器(random access memory,RAM)中。存儲器的乒乓操作示意圖如圖6 所示。

圖6 存儲器乒乓操作示意圖

2.2.2 缺陷檢測模塊

本文設(shè)計(jì)的缺陷檢測系統(tǒng)以SAD 模板匹配算法為核心,待檢測電路板圖像經(jīng)過預(yù)處理后進(jìn)入模板匹配模塊,與標(biāo)準(zhǔn)電路板圖像進(jìn)行對比。待檢測電路板圖像信息從外部SRAM 中讀取,與存儲在FPGA 內(nèi)部RAM 的標(biāo)準(zhǔn)電路板圖像信息進(jìn)行匹配。若能與標(biāo)準(zhǔn)電路板圖像信息完全匹配則表示待檢測電路板無缺陷,若不能則輸出標(biāo)準(zhǔn)圖坐標(biāo),用紅框標(biāo)記對應(yīng)待測圖像的方塊,表明待檢測電路板此處有缺陷。

3 FPGA 硬件實(shí)現(xiàn)與結(jié)果分析

3.1 FPGA 硬件實(shí)現(xiàn)

3.1.1 彩色圖像拉伸算法的實(shí)現(xiàn)

本文將灰度拉伸算法應(yīng)用在彩色圖片上:將RGB 圖像分解成R、G、B 3 個(gè)分量,然后對3 個(gè)分量分別進(jìn)行灰度拉伸變換,最后將3 個(gè)分量的數(shù)據(jù)同時(shí)輸出合成RGB 彩色圖像。圖7 為FPGA 上實(shí)現(xiàn)彩色圖像增強(qiáng)的實(shí)驗(yàn)結(jié)果。顯然,經(jīng)過改進(jìn)算法的圖像對比度更高,色彩更加清晰鮮明。

圖7 圖像增強(qiáng)算法在FPGA 上的實(shí)現(xiàn)結(jié)果

3.1.2 去除絲印算法的實(shí)現(xiàn)

本文所設(shè)計(jì)的去除絲印算法的主要目的是將干擾電路板匹配檢測的標(biāo)識字樣去掉,加快圖像匹配的速度。由于去除絲印算法處理的圖像為彩色圖像,因此將圖像分為R、G、B 3個(gè)通道分別進(jìn)行處理,去除絲印算法的實(shí)現(xiàn)過程如下。

(1)計(jì)算原始圖像的直方圖,采集1 920 ×1 080大小的原始圖像,灰度級共有256 個(gè),并將結(jié)果存儲在256 ×21 位的存儲器中,然后統(tǒng)計(jì)出最多的像素值。

(2)由于字體表示通常為白色,因此將圖像中大于一定值的像素替換為最多的像素值。統(tǒng)計(jì)完成后灰度級L為244,圖8 所示為FPGA 上實(shí)現(xiàn)去除絲印算法的實(shí)驗(yàn)結(jié)果。

圖8 去除絲印算法在FPGA 上的實(shí)現(xiàn)結(jié)果

3.1.3 邊緣檢測算法的實(shí)現(xiàn)

本文基于改進(jìn)的8 算子Sobel 邊緣檢測算法其基本思想是基于流水線和并行處理,這種方式既可以快速完成圖像處理又能節(jié)省硬件資源占用率。基于改進(jìn)的Sobel 邊緣檢測算法首先將8 個(gè)算子分別與窗口數(shù)據(jù)進(jìn)行卷積,得到8 個(gè)卷積結(jié)果后進(jìn)行對比,找到最大值與閾值進(jìn)行對比,得到最終的圖像邊緣。由圖9 實(shí)驗(yàn)結(jié)果可知,應(yīng)用傳統(tǒng)的邊緣檢測算法進(jìn)行檢測時(shí)圖像邊緣存在細(xì)節(jié)缺失且邊緣不連續(xù)的問題,而采用本文算法進(jìn)行邊緣檢測的圖像邊緣細(xì)節(jié)更多,且未出現(xiàn)邊緣不連續(xù)現(xiàn)象。

圖9 Sobel 邊緣檢測算法檢測結(jié)果

3.1.4 模板匹配模塊算法的實(shí)現(xiàn)

基于改進(jìn)的模板匹配算法在圖像經(jīng)過邊緣檢測處理后,輸入模板匹配模塊,對待檢測電路板圖像進(jìn)行匹配。首先將去均值的標(biāo)準(zhǔn)板圖像存儲在FPGA的內(nèi)部RAM 中,待檢測圖像存儲在外部SRAM 中;將待檢測圖像求取均值與延遲一拍的圖像求取差值,得到待檢測圖像的去均值圖像,然后與去均值標(biāo)準(zhǔn)板圖像進(jìn)行求差累加,判斷結(jié)果的最小值;最后輸出坐標(biāo),標(biāo)記待檢測電路板缺陷處,模板大小選用25 ×25(像素)。具體實(shí)現(xiàn)流程如圖10 所示。

圖10 模板匹配算法FPGA 實(shí)現(xiàn)框圖

SAD 模板匹配算法缺陷標(biāo)記實(shí)驗(yàn)結(jié)果如圖11所示。由圖可知,缺焊、錯(cuò)焊、漏錫類型的缺陷均被準(zhǔn)確標(biāo)記,實(shí)驗(yàn)效果良好。

圖11 SAD 模板匹配算法FPGA 實(shí)現(xiàn)結(jié)果

3.2 實(shí)驗(yàn)結(jié)果與分析

本文所設(shè)計(jì)的電路板缺陷檢測系統(tǒng)選用FPGA芯片為XC7A35TFGG484-2I,通過Vivado 2019.2 綜合器綜合后,得到系統(tǒng)資源使用綜合報(bào)告如圖12 所示。由圖可知板上資源占用較少,擴(kuò)展空間較大。

圖12 缺陷檢測系統(tǒng)資源占用比例綜合報(bào)告圖

根據(jù)本文設(shè)計(jì)對系統(tǒng)硬件和軟件分析研究,對系統(tǒng)檢測的正確率和耗時(shí)進(jìn)行線上測試,在良好的實(shí)驗(yàn)環(huán)境下對1 000塊電路板樣品進(jìn)行缺陷檢測。電路板缺陷主要以缺焊、錯(cuò)焊、漏錫、短路和空洞為主,而缺焊、漏錫和錯(cuò)焊占電路板缺陷的96%[16]。因此本文實(shí)驗(yàn)主要針對以上3 種缺陷進(jìn)行檢測,表2所示為樣本檢測結(jié)果。其中,漏檢率為電路板本身不合格但系統(tǒng)未檢測出缺陷從而被判定為合格電路板情況的概率;平均檢測精度為系統(tǒng)檢測正確電路板在所有樣本中的占比;檢測速度為單張150 mm×120 mm 電路板檢測完成所需要的時(shí)間。由表2 可知系統(tǒng)的漏檢率為0.30%,誤檢率為1.17%,因此平均檢測精度為98.53%,檢測單張電路板的時(shí)間為8.204 s。2020 年,文獻(xiàn)[17]設(shè)計(jì)了一款電路板表面缺陷檢測系統(tǒng),其漏檢率為1.79%,誤檢率為3.23%,單張電路板檢測時(shí)間為8.500 s。2022年,文獻(xiàn)[18]設(shè)計(jì)了一款印刷電路板缺陷檢測系統(tǒng),其漏檢率為0.95%,誤檢率為3.33%,平均精度為95.72%,單張電路板檢測時(shí)間為8.455 s。相較而言,本文系統(tǒng)設(shè)計(jì)在精度和速度上都有所提高。

4 結(jié)論

本文研究設(shè)計(jì)了一款以圖像處理為基礎(chǔ)、利用FPGA 實(shí)現(xiàn)對電路板缺陷準(zhǔn)確、高速檢測的系統(tǒng)。其設(shè)計(jì)在傳統(tǒng)圖像增強(qiáng)、模板匹配、Sobel 邊緣檢測算法的基礎(chǔ)上進(jìn)行改進(jìn),并提出了一種新的去除絲印算法。采用FPGA 作為硬件平臺,在Vivado 開發(fā)環(huán)境下實(shí)現(xiàn)Verilog HDL 硬件邏輯語言,下載到FPGA 中實(shí)現(xiàn)。實(shí)驗(yàn)結(jié)果表明,本文提出的方法比采用傳統(tǒng)圖像處理方法進(jìn)行檢測在準(zhǔn)確度和檢測速度上均有提升。此外,本文設(shè)計(jì)系統(tǒng)選用芯片價(jià)格較低,整體設(shè)計(jì)靈活,造價(jià)在3 萬元以內(nèi),相比目前市面上的缺陷檢測系統(tǒng)更具市場優(yōu)勢。