基于紅外熱成像的傳感器電路板缺陷檢測(cè)方法*

史洪瑋，許崇彩

(1.宿遷學(xué)院信息工程學(xué)院，江蘇 宿遷 223800；2.宿遷學(xué)院產(chǎn)業(yè)技術(shù)研究院，江蘇 宿遷 223800)

傳感器電路板由于具有三級(jí)運(yùn)算放大器功能[1]，因此被廣泛應(yīng)用于新材料、印刷加工、制造業(yè)、機(jī)械制造等領(lǐng)域。 但是，長(zhǎng)期的工作下，傳感器電路板可能會(huì)出現(xiàn)少錫、錯(cuò)位、極性錯(cuò)誤、破損、污染等各種缺陷，嚴(yán)重影響傳感器電路板的工作性能，因此傳感器電路板的缺陷檢測(cè)是提高其運(yùn)行性能的關(guān)鍵。 由于傳感器電路板經(jīng)常處于強(qiáng)電磁場(chǎng)和高電壓的環(huán)境下，傳統(tǒng)的檢測(cè)方法受電磁干擾影響嚴(yán)重，導(dǎo)致缺陷檢測(cè)的結(jié)果與實(shí)際結(jié)果之間差距較大，所以對(duì)傳感器電路板的缺陷檢測(cè)技術(shù)提出了更高的要求。 由實(shí)驗(yàn)證明和理論依據(jù)可知，研究電路板缺陷檢測(cè)方法具有重要意義[2]。

李飛等[3]對(duì)超像素的電路板圖像進(jìn)行編碼處理，利用建模軟件中的矩陣模型計(jì)算出傳感器電路板的膠片區(qū)域，將獲取的圖像像素膠片輪廓作為固定模板，再采用同步縮放匹配法確定膠片區(qū)域，然后使用全方位投影方法計(jì)算出膠片區(qū)域的中心。 根據(jù)不同層次的基板進(jìn)行自適應(yīng)邊緣檢測(cè)，最后擬合電路板的坐標(biāo)，識(shí)別缺陷位置，完成傳感器電路板的缺陷檢測(cè)。 但是，該方法沒(méi)有對(duì)電路板圖像進(jìn)行校正處理，導(dǎo)致缺陷檢測(cè)準(zhǔn)確率較低。 胡躍明等[4]設(shè)計(jì)出基于直方圖自適應(yīng)閾值的分割方法，將高斯模型中的三維色彩分割檢測(cè)法應(yīng)用到傳感器電路板中。通過(guò)分塊策略與顏色的直觀特性將分割后的圖像輸入到環(huán)圖向量機(jī)中，劃分缺陷等級(jí)，完成傳感器電路板的缺陷檢測(cè)。 該方法沒(méi)有對(duì)圖像實(shí)行增強(qiáng)處理，導(dǎo)致檢測(cè)結(jié)果的召回率較低。 Geetha 與Bharathi[5]利用圖像處理技術(shù)對(duì)電路板的缺陷進(jìn)行檢測(cè)，該方法在電路板圖像處理工具中使用了簡(jiǎn)單的非、減和異或運(yùn)算的邏輯方程，通過(guò)二值閾值對(duì)合成圖像進(jìn)行分類，從而實(shí)現(xiàn)電路板的缺陷檢測(cè)。 該方法針對(duì)硬質(zhì)金屬印刷電路板的缺陷檢測(cè)效果較好，如果采用該方法進(jìn)行傳感器電路板缺陷的檢測(cè)，則會(huì)降低檢測(cè)的精度。 Kanda 等[6]提出基于電氣互連的電路板缺陷檢測(cè)方法，該檢測(cè)方法不使用邊界掃描觸發(fā)器，而是在集成電路中嵌入測(cè)試電路，使其流過(guò)被測(cè)互連電路板。 該電路由集成電路每個(gè)輸入引腳的MOS 開(kāi)關(guān)及其開(kāi)關(guān)控制電路組成，SPICE 模擬用于檢查是否可以使用該方法檢測(cè)互連處的開(kāi)放缺陷。但是，該方法的檢測(cè)延遲需要進(jìn)一步優(yōu)化。

為了提高傳感器電路板缺陷的檢測(cè)精度，提出基于紅外熱成像的傳感器電路板缺陷檢測(cè)方法。 當(dāng)傳感器電路板出現(xiàn)缺陷問(wèn)題時(shí)，會(huì)產(chǎn)生短路引起局部溫度升高，采用紅外攝像儀采集傳感器電路板的缺陷圖像時(shí)，就相當(dāng)于對(duì)缺陷位置進(jìn)行了初步的判斷，并且這種初步判斷的準(zhǔn)確率較高，因?yàn)橐话闱闆r下運(yùn)行正常的傳感器電路板即使溫度升高，也不會(huì)達(dá)到能夠出現(xiàn)故障或者產(chǎn)生缺陷的溫度水平，因此可以提高缺陷檢測(cè)的精準(zhǔn)度。

1 電路板缺陷圖像采集

為了確保傳感器電路板的結(jié)構(gòu)不受到破壞，并且能夠得到精準(zhǔn)的圖像采集結(jié)果，通過(guò)紅外熱成像技術(shù)采集傳感器電路板的缺陷圖像。 紅外熱成像技術(shù)的應(yīng)用是以紅外熱像儀為基礎(chǔ)的，利用紅外熱像儀高效、便捷以及非接觸的優(yōu)勢(shì)，實(shí)現(xiàn)傳感器電路板圖像的無(wú)損采集。 基于紅外熱成像的電路板缺陷圖像采集示意圖如圖1 所示。

圖1 基于紅外熱成像的電路板缺陷圖像采集示意圖

紅外熱成像技術(shù)采用GPIB 通用接口方式獲取傳感器電路板圖像，由計(jì)算機(jī)控制紅外熱像儀[7]。 在提高圖像采集效率的同時(shí)，能夠保證圖像存儲(chǔ)不受損。

①傳感器電路板圖像采集。 由于傳感器電路板中各部位的溫度不一致，其紅外輻射也有一定差異，所以利用紅外熱成像技術(shù)獲取傳感器電路板缺陷圖像時(shí)，采用瞬態(tài)二極管組成保護(hù)電路，對(duì)傳感器電路板中的精密元器件進(jìn)行保護(hù)。 并且將采集的圖像通過(guò)磁盤(pán)驅(qū)動(dòng)器，輸入到主控計(jì)算機(jī)中。

②信息雙向傳送。 信息的傳送過(guò)程是雙向的，即主控計(jì)算機(jī)可以接收驅(qū)動(dòng)磁盤(pán)中的圖像信息，也可以傳遞這些信息。 采集傳感器電路板圖像后，驅(qū)動(dòng)磁盤(pán)將圖像的測(cè)量時(shí)間、參數(shù)、溫度等信息雙向傳輸?shù)街骺赜?jì)算機(jī)中。

③傳感器電路板圖像傳送。 主控計(jì)算機(jī)接收到傳感器電路板圖像后，將圖像存儲(chǔ)到計(jì)算機(jī)中樞中，再將圖像信息反向傳輸?shù)酱疟P(pán)中保存。

④傳感器電路板圖像顯示。 使用內(nèi)置彩色顯示器顯示傳感器電路板圖像，一次可以顯示若干張圖像，并且圖像細(xì)節(jié)清晰。

依據(jù)紅外熱成像理論，通過(guò)紅外熱像儀完成了傳感器電路板缺陷圖像的采集，為電路板的缺陷檢測(cè)提供了有效的樣本數(shù)據(jù)。

2 圖像預(yù)處理

在第1 節(jié)中，通過(guò)紅外攝像儀實(shí)現(xiàn)了傳感器電路板缺陷圖像的無(wú)損采集，以上述采集的傳感器電路板缺陷紅外圖像為基礎(chǔ)，為了進(jìn)一步提高缺陷檢測(cè)精度，對(duì)采集的圖像進(jìn)行非線性擬合校正與增強(qiáng)預(yù)處理。

2.1 非線性擬合校正

①利用傳統(tǒng)的函數(shù)模型擬合出紅外探測(cè)器光敏單元的相應(yīng)二次曲線，曲線在時(shí)間上具有一定的穩(wěn)定性，所以圖像平面的單元響應(yīng)可以用如下公式表示:

式中:T表示單元響應(yīng)；φ代表響應(yīng)輸出合集；xi、yi、zi分別表示探測(cè)單元；i為探測(cè)單元個(gè)數(shù)。

②根據(jù)探測(cè)單元之間的非均勻性可知，不同單元的響應(yīng)曲線存在一定差異。 根據(jù)溫度的變化區(qū)間，在傳感器電路板中插入均勻輻射的黑體[8]，分別采集幾組圖像，計(jì)算出平均灰度值，公式如下所示:

式中:φq表示均勻間隔下的響應(yīng)合集；N表示輻射標(biāo)定圖像的數(shù)量。

③將圖像的平均灰度值代入到固定的模型方程中，得到超定方程組合式，表達(dá)式如下:

當(dāng)傳感器電路板圖像平面接收到預(yù)估輻射時(shí)，利用探測(cè)單元的校正參數(shù)對(duì)輸出值進(jìn)行校正處理，輸出值T′(φ)即為傳感器電路板圖像的校正結(jié)果。計(jì)算公式如下所示:

通過(guò)上述計(jì)算處理，完成了傳感器缺陷圖像的非線性擬合校正處理，有效提高了傳感器無(wú)線圖像的質(zhì)量。

2.2 圖像增強(qiáng)處理

完成傳感器電路板缺陷圖像的非線性擬合校正后，為了便于直觀地觀察出缺陷位置，進(jìn)行傳感器缺陷圖像增強(qiáng)處理。

①校正后的任意傳感器電路板圖像像素都可以構(gòu)成一個(gè)二維矩陣，像素中的數(shù)據(jù)則可以構(gòu)成一個(gè)三維矩陣。 首先采用多坐標(biāo)轉(zhuǎn)換方法，將圖像序列由三維矩陣轉(zhuǎn)化為二維坐標(biāo)系矩陣[9]。

②將圖像像素中的數(shù)據(jù)依次排列，然后對(duì)得到的列向量進(jìn)行矩陣轉(zhuǎn)置處理得到所需的一維矩陣，計(jì)算公式如下所示:

式中:Y代表二維矩陣；x、y分別表示像素點(diǎn)；YL為一維矩陣。

③將一維序列按照列方向依次排序，構(gòu)成新的二維矩陣。 然后對(duì)二維矩陣進(jìn)行標(biāo)準(zhǔn)化規(guī)范處理，去除圖像中的冗余背景信息[10]。 公式如下所示:

式中:Y′表示新的二維矩陣；m表示一維矩陣的數(shù)量；Y′xy表示標(biāo)準(zhǔn)化處理后的矩陣；Fi為直流系數(shù)；Ei為圖像的方差。

④通過(guò)奇異值分解定理分解二維矩陣[11]，將矩陣的第一列向量轉(zhuǎn)化為一幀靜止圖像，該圖像即為增強(qiáng)后的傳感器電路板圖像。 公式如下所示:

式中:X為一幀靜止圖像；V表示正交基矩陣；W表示最優(yōu)向量矩陣。

通過(guò)式(7)輸出傳感器缺陷圖像的增強(qiáng)結(jié)果，能夠有效區(qū)分缺陷位置與非缺陷位置，對(duì)于提高傳感器電路板缺陷的檢測(cè)精度具有較高的幫助。

3 基于SVM 的缺陷檢測(cè)

通過(guò)第2 節(jié)的非線性校正與增強(qiáng)預(yù)處理后，傳感器電路板缺陷紅外圖像質(zhì)量得到了有效提升，可以滿足高精度缺陷檢測(cè)的要求，因此在此章節(jié)中依據(jù)支持向量機(jī)的分類理論，實(shí)現(xiàn)傳感器電路板缺陷的檢測(cè)。

①利用支持向量機(jī)理論確定出圖像的最優(yōu)超平面，然后通過(guò)二次規(guī)劃算法使傳感器電路板中缺陷狀態(tài)和正常狀態(tài)之間的差別最大、間隔最大。 二次規(guī)劃[12]公式如下所示:

式中:θ表示權(quán)向量；D為懲罰因子；λi表示松弛因子；zi表示分類標(biāo)簽；φ為線性變換；ai表示樣本；c為分類閾值；n表示樣本數(shù)量。

②將樣本圖像從低維空間映射到高維度空間，使低維空間的非線性可分缺陷樣本和正常樣本在高維度空間中具有可分性。 引入Lagrangian 函數(shù)[13]得到優(yōu)化問(wèn)題的對(duì)稱形式，即最優(yōu)化函數(shù)f(ai)，公式如下所示:

式中:α表示Lagrangian 函數(shù)；l(ai)為核函數(shù)。

③根據(jù)支持向量機(jī)的基本原理，將圖像溫度信息矩陣向量輸入到對(duì)應(yīng)的SVM 診斷模型中，根據(jù)各診斷模型的輸出值構(gòu)建混淆矩陣模型，確定缺陷模式下樣本的真實(shí)屬性與檢測(cè)類型之間的關(guān)系，并根據(jù)混淆矩陣計(jì)算出缺陷的可靠度。 混淆矩陣的計(jì)算公式如下所示:

式中:C表示混淆矩陣；N為缺陷模式數(shù)量；K為可靠度。

④針對(duì)不同的缺陷模式，采用二對(duì)一算法構(gòu)建若干個(gè)SVM 子分類器，分別對(duì)缺陷類別進(jìn)行投票。如果缺陷判斷正確，則投票結(jié)果記為正；如果缺陷判斷錯(cuò)誤，將投票結(jié)果記為負(fù)。 引入隸屬度函數(shù)增加子分類器投票的公正性，公式如下所示:

式中:r為隸屬度函數(shù)；r′為不確定隸屬度函數(shù)。

⑤根據(jù)子分類器的原則可知:隸屬度與確定隸屬度成反比:隸屬度越小，不確定隸屬度越大。 由此得到缺陷的基本概率分配值結(jié)果，其中M為隸屬度之和，表示缺陷的分類規(guī)模。

式中:Ki表示第i個(gè)探測(cè)單元的可靠度。

⑥將傳感器電路中的缺陷集合作為分辨框架中的隨機(jī)單元，利用框架函數(shù)對(duì)任意兩個(gè)缺陷的基本概率分配值進(jìn)行融合處理，得到代表檢測(cè)沖突程度的規(guī)范數(shù)，公式如下所示:

式中:A表示規(guī)范數(shù)；G、H分別表示基元；ζ代表合成后的基本概率分配值。

⑦充分考慮權(quán)重系數(shù)與基本概率分配值，對(duì)融合后的基本概率分配值進(jìn)行重新加權(quán)處理，用F表示，公式如下所示:

⑧利用證據(jù)理論將加權(quán)后的基本概率分配值實(shí)行融合處理，輸出的融合結(jié)果即為缺陷檢測(cè)結(jié)果，完成傳感器電路板缺陷檢測(cè)。 公式如下所示:

通過(guò)紅外熱成像技術(shù)精準(zhǔn)采集傳感器電路板的缺陷圖像，為了提高圖像的觀察效果，進(jìn)行了非線性擬合校正與增強(qiáng)預(yù)處理。 將預(yù)處理后的傳感器電路缺陷圖像輸入到支持向量機(jī)中，完成缺陷的檢測(cè)。

基于紅外熱成像的傳感器電路板缺陷檢測(cè)方法的具體流程如圖2 所示。

圖2 傳感器電路板缺陷檢測(cè)流程

4 實(shí)驗(yàn)與分析

為了驗(yàn)證基于紅外熱成像的傳感器電路板缺陷檢測(cè)方法的整體有效性，需要進(jìn)行測(cè)試實(shí)驗(yàn)。

在實(shí)驗(yàn)前，首先需要采用紅外攝像儀采集傳感器電路板的圖像。 此次研究使用的紅外攝像儀為FLIR T640，紅外攝像儀的具體參數(shù)如表1 所示。

表1 紅外攝像儀參數(shù)

傳感器電路板紅外圖像采集設(shè)備如圖3 所示。

圖3 傳感器電路板紅外圖像采集設(shè)備

通過(guò)圖3 所示的儀器設(shè)備采集傳感器電路板缺陷圖像，得到的缺陷類型、圖像數(shù)量如表2 所示。

表2 測(cè)試樣本

4.1 圖像增強(qiáng)效果

在實(shí)驗(yàn)過(guò)程中，由于受到外界環(huán)境的影響，導(dǎo)致傳感器電路板紅外圖像出現(xiàn)斑點(diǎn)模糊的現(xiàn)象，因此需要對(duì)紅外圖像進(jìn)行增強(qiáng)處理。 驗(yàn)證本文方法對(duì)傳感器電路板紅外圖像與灰度圖像的增強(qiáng)效果。 傳感器電路板的原始普通紅外圖像與灰度圖像如圖4所示。

圖4 原始圖像

本文方法增強(qiáng)后的圖像如圖5 所示。

圖5 增強(qiáng)效果

對(duì)比觀察圖4 與圖5 所示的傳感器電路板圖像增強(qiáng)效果可以看出，與原始圖像相比，增強(qiáng)后的圖像斑點(diǎn)噪聲明顯減少，電路板的結(jié)構(gòu)更加清晰，為精準(zhǔn)的缺陷檢測(cè)提供了有效的技術(shù)支持。

4.2 熱序列檢測(cè)效果

由于多種因素的影響，傳感器電路板元件溫度并不會(huì)完全相同，因此電路板元件的溫度曲線是在一定范圍內(nèi)波動(dòng)的，故障電路板元件與標(biāo)準(zhǔn)電路板元件的溫度差在一定范圍內(nèi)差異波動(dòng)為正?，F(xiàn)象，此時(shí)認(rèn)為電路板未出現(xiàn)缺陷。 但是一旦溫度波動(dòng)規(guī)律不同或者波動(dòng)范圍過(guò)大，則認(rèn)為電路板存在缺陷。分別選擇測(cè)試的傳感器電路板A 與B，每隔1 s 記錄一次溫度，繪制圖6 與圖7 所示的溫度變化曲線與溫度速率變化曲線。

圖6 溫度變化曲線

圖7 溫度速率變化曲線

從圖6 與圖7 所示的結(jié)果中可以看出，電路板元件A 的溫度與溫度變化速率與標(biāo)準(zhǔn)元件相差不大，則認(rèn)為元件A 未出現(xiàn)缺陷。 電路板元件B 的溫度與溫度變化速率與標(biāo)準(zhǔn)元件相差較大，元件B 存在缺陷導(dǎo)致溫度升高，因此判別出元件B 存在缺陷。 上述實(shí)驗(yàn)結(jié)果表明，本文方法可以通過(guò)電路板元件的溫度變化情況對(duì)元件的缺陷情況進(jìn)行精準(zhǔn)判定。

4.3 缺陷檢測(cè)精度

為了進(jìn)一步驗(yàn)證所提方法缺陷檢測(cè)性能，以缺陷檢測(cè)精度為測(cè)試指標(biāo)，對(duì)所提出方法的檢測(cè)性能進(jìn)行驗(yàn)證。 設(shè)定SVM 分類器的數(shù)量為2，選擇兩個(gè)分類器相互輔助，通過(guò)交叉驗(yàn)證的方式確定兩個(gè)SVM 分類器的最優(yōu)分類參數(shù)，懲罰項(xiàng)為1 000，徑向基核函數(shù)為0.01。

以表2 所示的測(cè)試樣本為基礎(chǔ)，采用所提出方法對(duì)傳感器電路板進(jìn)行缺陷檢測(cè)，通過(guò)不同類型缺陷的檢測(cè)結(jié)果判斷所提出方法的檢測(cè)精度。

從表3 所示的缺陷檢測(cè)精度對(duì)比結(jié)果中可以看出，對(duì)于傳感器電路板不同類型的缺陷，所提方法均能實(shí)現(xiàn)精準(zhǔn)檢測(cè)，識(shí)別數(shù)量與缺陷數(shù)量基本一致，僅在毛刺缺陷類型中存在一個(gè)誤判情況。 因此，充分說(shuō)明本文能夠滿足傳感器電路板多類型缺陷的識(shí)別要求。

表3 缺陷檢測(cè)精度結(jié)果

5 結(jié)束語(yǔ)

此次研究提出基于紅外熱成像的傳感器電路板缺陷檢測(cè)方法，該方法首先通過(guò)紅外熱像儀采集傳感器電路板的圖像，并對(duì)圖像實(shí)行校正與增強(qiáng)處理，其次將預(yù)處理后的圖像輸入到SVM 檢測(cè)模型中，輸出圖像的加權(quán)基本概率分配值，最后利用證據(jù)理論對(duì)加權(quán)基本概率分配值實(shí)行融合，輸出缺陷結(jié)果，完成傳感器電路板的缺陷檢測(cè)，此次研究的檢測(cè)方法提高了圖像的增強(qiáng)效果與缺陷檢測(cè)精度。 但是，在此次研究過(guò)程中未針對(duì)引腳等細(xì)節(jié)缺陷的檢測(cè)結(jié)果進(jìn)行驗(yàn)證，這些細(xì)小的問(wèn)題同樣會(huì)影響傳感器電路板的工作性能。 因此，在后續(xù)的研究工作中，將致力于細(xì)節(jié)缺陷檢測(cè)的研究。