基于Gamma校正HSV模型的變色鍍銅管腳檢測

李 研，車艷秋，2，梅健強

（1.天津職業(yè)技術(shù)師范大學自動化與電氣工程學院，天津 300222；2.天津市噪聲危害工程防護技術(shù)指導中心，天津 300222；3.天津職業(yè)技術(shù)師范大學電子工程學院，天津 300222）

完整的芯片由引線、固封材料和封裝基板等（統(tǒng)稱封裝體）與晶圓組合而成。其中，封裝基板作為芯片封裝過程中的核心材料，不僅能夠支撐、固定、保護芯片，還可以大幅提升芯片散熱性能，保證芯片物理穩(wěn)定性。此外，作為芯片與印刷電路板連接的中間層，封裝基板還實現(xiàn)了物理和電氣連接，信號和功率分配等重要功能。在芯片生產(chǎn)過程中，人為觸碰、異物污染、摩擦、氧化、腐蝕、潮氣等因素均可使芯片封裝基板鍍銅管腳變色，致使芯片整體性能受損。因此，在芯片封裝前對基板進行質(zhì)量檢測，可以有效提高成品率。早期的芯片封裝基板檢測主要是操作員利用掃描電鏡（scanning electron microscope，SEM）進行人工檢測，其結(jié)果嚴重依賴檢測者的主觀經(jīng)驗，且具有一定的滯后性[1]。特別地，由于變色鍍銅管腳表面色差較小，在實際生產(chǎn)流程中，無法客觀地對其缺陷快速做出精準評判。

隨著數(shù)字圖像處理技術(shù)的不斷發(fā)展，邊緣分割[2]、色差法分割[3]，聚類分割[4]等多種分割算法被用于自動缺陷檢測。文獻[5]針對鍍錫引腳氧化缺陷，將圖像由紅-綠-藍（red-green-blue，RGB）顏色空間轉(zhuǎn)至色調(diào)-強度-飽和度（hue-intensity-saturation，HIS）顏色空間，并基于引腳顏色進行缺陷芯片的檢測，但該算法僅針對鍍錫引腳，不適用于鍍銅管腳。文獻[6]先根據(jù)RGB顏色過濾特征方法找到感興趣的竹葉區(qū)域，再通過色調(diào)-飽和度-明度（hue-saturation-value，HSV）顏色濾波分割方法去除陰影，從而檢測出不同層次的竹葉變色區(qū)域。該研究中正常竹葉與病害竹葉區(qū)分度較大，易于分割。文獻[7]通過提取紅棗葉片病害區(qū)域，將圖像的HSV色彩空間分離得到H、S、V通道顏色分量圖，再對每個顏色分量的灰度圖像進行形態(tài)學開運算處理、中值濾波平滑及閾值分割等操作，獲得紅棗葉片病斑區(qū)域的分割方法。

本文研究芯片封裝基板變色鍍銅管腳的檢測問題。芯片封裝基板鍍銅管腳的材質(zhì)復雜，正常管腳與變色管腳區(qū)分度小，且不易形成連續(xù)區(qū)域；而較小的變色區(qū)域?qū)π酒庋b基板的測試與功能影響較小，可忽略不計，導致變色管腳檢測的精度偏低。本文提出一種基于非線性變換Gamma校正的HSV顏色空間閾值分割方法，并通過平滑去噪、形態(tài)學處理，實現(xiàn)了精度較高的變色鍍銅芯片管腳檢測。

1 數(shù)據(jù)與模型

1.1 數(shù)據(jù)獲取與數(shù)據(jù)處理流程

本文圖像數(shù)據(jù)集選自某芯片封裝公司自動光學檢測（automated optical inspection，AOI）設(shè)備拍攝的存在變色缺陷的芯片封裝基板。典型變色鍍銅管腳缺陷芯片封裝基板圖像如圖1所示，圖中亮黃色為正常鍍銅管腳，暗黃色為變色鍍銅管腳（加框區(qū)域），黑色為管腳以外的基板和印刷電路區(qū)域。

圖1 典型變色鍍銅管腳缺陷芯片封裝基板圖像

采集芯片封裝基板圖像后，應用RGB閾值分割法去除管腳以外的背景區(qū)域，隨后將圖像從RGB顏色空間變換至HSV顏色空間，再經(jīng)過Gamma校正、平滑去噪、形態(tài)學處理以及閾值截斷，最后通過設(shè)置最小輪廓面積閾值獲取最大外接矩陣進行畫框標記，得到變色缺陷區(qū)域。

1.2 RGB顏色模型分析

常用描述圖像顏色空間的色彩模型包括RGB、HIS、HSV和LAB等，通常應用于數(shù)字電視、數(shù)字圖像分析處理以及計算機圖形學等不同場景[8]。作為應用最廣泛的顏色空間，RGB顏色空間以紅（red，R）、綠（green，G）、藍（blue，B）三原色亮度的組合定量表示任意顏色。按照亮度等級，8 bit RGB顏色空間的每個通道分量的取值范圍為0～255。通過分析被提取區(qū)域在RGB顏色空間的特性，可以建立RGB顏色判據(jù)。圖2為去除背景的鍍銅管腳圖像在B-G、B-R空間的散點圖。

圖2 B-G、B-R空間散點圖

由圖2可見，盡管變色管腳呈明顯的聚集現(xiàn)象，但與正常管腳和其他類缺陷重疊較多，較難區(qū)分，閾值設(shè)置較為困難。

1.3 HSV顏色模型分析

A.R.Smith根據(jù)顏色直觀特性創(chuàng)建的色調(diào)-飽和度-明度顏色空間[9]，有效地分離了色調(diào)（Hue）、飽和度（Saturation）和亮度（Value），相比于RGB顏色空間，更適合描述人類色彩感覺，在圖像處理領(lǐng)域中也更有優(yōu)勢[10]。從RGB空間到HSV色彩空間的變換表達式為[11]

其中：色調(diào)（H）的范圍為0～360°，飽和度（S）的范圍為0～100%，亮度（V）的范圍為0～255。HSV三要素的變化對應著管腳表面、底板以及邊緣范圍內(nèi)的顏色變化，不同的區(qū)域和背景之間的S值或V值有可能相等，但H值總是存在差異。

圖3為鍍銅芯片管腳在H-V、H-S空間的散點圖。由圖3可知，變色管腳在H-S呈明顯的聚集現(xiàn)象，但在V維度分布較為分散，閾值較難劃分。

圖3 空間散點圖

進一步提取芯片封裝基板在HSV模型中的3個分量，3個分量的三通道分離圖如圖4所示。

圖4 原圖及H、S、V三通道分離圖

對比圖4可以發(fā)現(xiàn)，H通道分量圖只能簡單區(qū)分鍍銅管腳和基板背景，無法區(qū)分變色管腳和正常管腳，且管腳間粘連嚴重。S通道分量圖中變色管腳與正常管腳區(qū)分度較高，同時去除了部分噪聲。V通道分量圖清除大部分噪聲，但變色管腳與正常管腳區(qū)分度不高。

2 實驗與分析

2.1 重采樣與平滑去噪

為更好地進行特征提取，對原圖像進行重采樣，去除管腳以外的背景區(qū)域，同時對原圖像進行平滑處理來抑制管腳顆粒化噪聲。圖像平滑處理的本質(zhì)是一種信號濾波方法，從信號學的角度理解即抑制圖像中的高頻噪聲，保留低頻信息。在一定的光源條件下，芯片管腳上銅離子與其他部分差異較大，但與正常管腳、管腳邊緣差異較小。在正常管腳部分以及邊緣部分也存在閾值之內(nèi)的噪聲，但是極小面積的變色區(qū)域?qū)苣_性能幾乎無影響，可忽略不計。所以，本文采用非線性平滑方法中值濾波來減少邊緣模糊以及較小的噪聲。中值濾波的基本原理是把圖像中某一點的像素值用該點鄰域像素中間值替換，以此實現(xiàn)減少孤立噪聲點、降低邊界模糊的目的。本文選取的濾波窗口為3×3。原圖以及重采樣、平滑去噪后對比圖如圖5所示，經(jīng)過重采樣、平滑后的圖像噪聲減小，圖像更為細膩。

圖5 原圖及重采樣、平滑去噪后對比圖

2.2 Gamma校正

封裝基板圖像整體亮度較低，且管腳部分因工藝問題及光照條件限制不夠光滑、顆粒感較為明顯。針對圖像光照不足、特征不明顯等問題的圖像增強算法主要分為頻域法和時域法2類。頻域法由于較難構(gòu)造并分離出符合需求的高低頻分量，會造成圖像細節(jié)以及部分特征的丟失[12]；而時域法則是直接處理圖像的像素點值，降低了頻域算法中時頻域相互轉(zhuǎn)換操作的復雜性，因此被廣泛應用。常用的時域處理方法有非線性Gamma校正[13]、直方圖均衡化[14]、非銳化掩模、基于深度學習生成對抗網(wǎng)絡的無監(jiān)督圖像增強[15]，以及Retinex系列算法的SSR（singal scale Retinex）[16]，MSR（multi-scaleRetinex）[17]、MSRCP（multi-scaleRetinex with chromaticity Preservation）[18]等。直方圖均衡化方法是根據(jù)圖像的像素值分布頻率進行非線性拉伸，達到均衡化的效果，但是會造成細節(jié)丟失和過分增強。非銳化掩模方法是利用圖像中的高頻分量來增強圖像的細節(jié)和邊緣，但同時存在放大噪聲以及過度增強的風險。Retinex系列算法的復雜度較高，較易出現(xiàn)“光暈”現(xiàn)象，不適用于快速高精度大批量圖像識別。非線性Gamma校正是對輸入圖像的像素值進行指數(shù)變換，進而校正亮度偏差，但這種方法往往會由于校正參數(shù)設(shè)置不合理而導致過度增強或過度減弱亮度的問題，因此選擇合適的參數(shù)是Gamma校正非常重要的一環(huán)。Gamma校正式為

式中：L（x，y）、L′（x，y）分別為校正前和校正后的亮度值；γ(x，y)為校正參數(shù)，其取值直接決定校正效果。

當γ(x，y)＜1時，圖像的整體亮度提高；當γ(x，y)＞1時，圖像的整體亮度降低。選擇合適的γ值，可通過Gamma校正非線性調(diào)整圖像的整體亮度，從而提高正常管腳與變色管腳亮度差異的顯著性。不同γ值下校正轉(zhuǎn)換特性如圖6所示。

圖6 Gamma校正轉(zhuǎn)換效果

以圖5所示圖像為例，對重采樣和中值濾波后的S單通道圖像和V單通道圖像分別進行Gamma校正，為了獲得最優(yōu)γ值，計算了單通道圖像變色區(qū)域和正常區(qū)域平均亮度差值隨校正參數(shù)γ的變化，如圖7所示。當亮度差值最大時，γ值最優(yōu)，可得到對S通道和V通道Gamma校正的最優(yōu)參數(shù)值分別為γ=2.26和γ=4.32。應用此最優(yōu)值對S和V通道進行Gamma校正后，重構(gòu)H-V、H-S空間散點圖，如圖8所示。

圖7 Gamma校正單通道圖像中變色區(qū)域和正常區(qū)域平均亮度變化

圖8 校正后空間散點圖

從圖8可以看出，通過重采樣、中值濾波和Gamma校正后的圖像在H-V空間與H-S空間呈明顯的聚集現(xiàn)象，相比于原圖的HSV空間，變色管腳與正常管腳的差異顯著性更強，閾值更易劃分。

2.3 形態(tài)學處理

形態(tài)學處理是采用結(jié)構(gòu)體元素對圖像區(qū)域進行像素運算處理，其是一種基于集合論基礎(chǔ)的圖像處理方法，主要包括膨脹、腐蝕、開運算和閉運算等形態(tài)學操作[19]。

膨脹操作相當于對圖像的反色圖像進行腐蝕后再取回反色，其作用是把圖像周圍的背景點合并。膨脹的運算符為⊕，A用B來膨脹，記作A⊕B，表達式為

腐蝕操作是膨脹操作的反運算，其作用相當于對圖像的反色圖像進行膨脹后再取反色。腐蝕操作的作用是消除物體邊界點，通過選取不同大小的結(jié)構(gòu)元素可以去掉小于結(jié)構(gòu)元素的物體，運算符為Θ，A用B來腐蝕，記作AΘB，表達式為

先腐蝕操作后膨脹操作為開運算，運算符為“○”，記為A B，表達式為

反之，先膨脹操作后腐蝕操作為閉運算，運算符為“·”，記為A·B，表達式為

對經(jīng)過非線性平滑處理的圖像再進行形態(tài)學處理，選擇卷積核類型為矩形，寬、高尺寸均為3。形態(tài)學處理效果如圖9所示。

圖9 形態(tài)學處理（腐蝕、膨脹、閉運算、開運算）

本文采用迭代2次閉運算來處理圖像，達到在保持管腳變色區(qū)域位置和形狀不變的同時，彌合小縫隙、填平小孔的目的。

2.4 最大外接矩陣閾值畫框標記

在區(qū)域特征分析和提取獲得的變色管腳目標區(qū)域，小面積的變色管腳對性能影響較小，可忽略不計，因此采用設(shè)置最大外接矩陣閾值畫框標記變色管腳。設(shè)置閾值寬×高≥100并畫框標記，結(jié)果與人工標記對比，最大外接矩陣閾值畫框標記結(jié)果如圖10所示。

圖10 最大外接矩陣閾值畫框標記結(jié)果

3 結(jié)果

為評價典型區(qū)域變色管腳的檢測精度，選取了數(shù)據(jù)集中94張圖片的1 160個變色區(qū)域，通過人工目視解譯結(jié)果，測試對比RGB、HSV和Gamma校正HSV 3個顏色空間模型，檢測效果對比如圖11所示。

圖11 檢測效果對比

本文方法框選人工目視解譯所在的變色管腳區(qū)域為準確，反之為漏分，框選人工目視解譯之外的變色管腳區(qū)域為錯分。使用RGB顏色空間算法，1 043個變色區(qū)域錯分，0個變色區(qū)域漏分；使用HSV顏色空間算法，13個變色區(qū)域錯分，40個變色區(qū)域漏分；使用Gamma校正HSV顏色空間算法，6個變色區(qū)域錯分，16個變色區(qū)域漏分。本文計算了檢測精度、錯分率和漏分率3個性能指標，結(jié)果如表1所示。

表1 不同顏色空間模型檢測精度

從表1可以看出，RGB閾值法檢測精度僅為10.10%，顯然該方法不適用于變色鍍銅芯片管腳檢測；與原始HSV閾值法相比，重采樣后經(jīng)過Gamma校正的HSV閾值法得到的變色管腳檢測總體精度更高，達到98.11%，且錯分率及漏分率更低。其原因是經(jīng)過重采樣后的管腳照片剔除了除管腳以外的背景以及部分較暗邊緣部分，又經(jīng)Gamma校正后的變色管腳顯著性提高，更易與正常管腳區(qū)分。受相機成像時光照不均、陰影，以及平滑去噪與形態(tài)學處理等因素影響，漏分主要發(fā)生在多個連續(xù)較小的變色區(qū)域及管腳邊緣，錯分主要發(fā)生在管腳邊緣與基板相接區(qū)域、管腳邊緣亮度稍暗的區(qū)域。

4 結(jié)論

本文采用HSV顏色空間變換法將芯片封裝基板圖像從RGB顏色空間轉(zhuǎn)換至HSV顏色空間，通過對特征區(qū)域進行重采樣去除背景干擾，利用中值濾波進行平滑去噪，消除邊緣模糊及較小噪聲，利用閉運算形態(tài)學操作以填平小孔，彌合小縫隙。同時，針對HSV顏色空間，本研究提出基于重采樣以及濾波后的圖像的S通道與V通道進行Gamma校正，進而區(qū)分變色管腳區(qū)域與正常管腳區(qū)域，檢測精度達到98.11%，高于傳統(tǒng)HSV閾值法（95.46%）。雖然不同封裝方式的基板管腳材質(zhì)與底板材質(zhì)各不相同，但由于AOI設(shè)備的特性，拍攝芯片封裝基板的環(huán)境以及光源基本一致，復用本文算法流程，更改所對應的閾值即可適應其他封裝方式下不同材質(zhì)的封裝基板，為封裝基板變色缺陷的快速自動識別奠定了基礎(chǔ)。