一種基于視頻圖像的芯片封裝質量分析方法

楊盼盼，陳慶奎

（上海理工大學 光電信息與計算機工程學院，上海 200093）

0 引言

隨著信息化技術的發(fā)展，電子設備逐漸成為日常必需品，因而對電子系統微型化、集成化的要求也越來越高。芯片作為電子產品基礎性的重要組成部分，在生產過程中要經歷數十道工序，生產完成后需裝入物料帶并塑封，保護芯片內部及引腳部分，封裝后的芯片也更便于運輸。為了改善元器件封裝效率，一般通過改善封裝的結構和方法來優(yōu)化封裝設備。

集成電路芯片封裝完成后，對其進行質量分析是芯片生產流程中一個重要的環(huán)節(jié)。傳統的人工檢測主觀性較強，耗費人力物力，長時間的檢測工作還會產生視覺疲勞，進而導致檢測正確率下降。

本文提出了一種基于視頻圖像的芯片封裝質量分析方法，將深度學習YOLOv3 算法結合圖像處理技術應用于芯片封裝質量的檢測。在原有的車間傳送帶正上方安裝CCD 工業(yè)相機，獲取封裝后的物料條視頻圖像，通過目標檢測YOLOv3 算法進行芯片目標定位，并分割單張芯片圖像。對獲取到的單芯片圖像進行缺陷分類判定，采用Harris 算子結合尺度不變特征變換（Scale-Invariant Feature Transform，SIFT）特征描述方法，進行模板圖像與各類缺陷圖像的匹配，并對匹配點采用特征聚類方法剔除誤配點，提高匹配準確率，實現對各類缺陷殘次品（Not Good，NG）的判定。實驗證明，本文方法不受主觀因素的影響，且可以量化評估最終的檢測結果。

1 相關工作

針對元器件封裝品質分析的系統主要是將計算機視覺與元器件表面檢測技術相結合。自動化機器視覺檢查可以減少人工工作量和勞動力成本，并提高檢測精度。文獻［1］提出一種基于數字圖像處理的印刷電路板（Printed Circuit Board，PCB）自動光學檢測方法，建立了將標準圖像和待測圖像進行對比的檢測系統，該方法對于光照及芯片擺放位置要求極高，易造成誤判。文獻［2］提出了一種基于數學形態(tài)學的PCB 自動缺陷檢測算法，以圖像腐蝕后的邊緣距離信息為參照，對比輪廓特征后進行缺陷識別。文獻［3］提出了基于梯度方向信息熵的PCB 缺陷檢測方法，使用領域梯度方向信息熵提取缺陷特征，構造特征向量，作為SVM 分類器的訓練樣本，能夠對PCB 裸板存在的常見缺陷進行快速、精確的定位。文獻［4］提出了基于標注框的寬高聚類生成候選框的Faster R-CNN 的零件表面缺陷檢測算法，并引入多級感興趣區(qū)域（Region of Interest，RoI）池化層結構以提高檢測準確性。由于在真實的工業(yè)環(huán)境中能提供的缺陷樣本太少，無法進行大量數據支撐的訓練，所以將深度學習方法直接應用在表面缺陷檢測中的研究，迄今為止也仍不多見。

圖像匹配是指使用有效的匹配算法為2 個或多個圖像數據找到相同或相似的提示點的過程。目前主流的圖像匹配算法有基于灰度和基于特征兩種。其中，基于灰度的圖像匹配算法正確率較高，但是計算量巨大，導致匹配效率低下；基于特征的匹配是從原始圖像的灰度信息提取特征，在特征空間進行匹配，特征攜帶的有用信息比灰度值更豐富，易于適應復雜的圖像變換，例如幾何畸變、不同分辨率、不同角度的圖像變換等。因此，基于特征的匹配算法速度更快，檢測效果也更加準確。Harris 等人提出了Harris 角點檢測算法，該算法具有一定的旋轉不變性，對光照與噪聲也有一定的魯棒性，但Harris 算法卻不具備尺度不變性。Lowe于2004 年提出SIFT 算法，是設計改進后的關鍵點匹配算法，雖然SIFT 耗時比較長，但無論從種類數量、還是整體質量來看，SIFT 的性能都是最好的，即使少數的幾個物體也可以產生大量的SIFT 特征向量。因此本文將Harris 算子與SIFT 算法結合，實現圖像關鍵特征的描述及匹配，較好地解決了Harris 算子的分類準確性低和SIFT 算法耗時長等問題。

2 芯片封裝質量分析方法

芯片封裝后需要對物料條進行質量分析，常見的質量問題主要有塑封不嚴密、芯片缺件、芯片歪斜、芯片反置以及芯片正面的logo 印刷錯漏等情況。

本文研究的芯片封裝質量分析系統包括3 個模塊：圖像采集模塊、芯片定位模塊和缺陷檢測模塊。芯片封裝質量分析過程示意如圖1 所示。

圖1 芯片封裝質量分析過程示意圖Fig.1 Diagram of chip packaging quality analysis process

2.1 圖像采集模塊

使用工業(yè)CCD 相機采集圖像，將圖像傳感器接收到的光學圖像轉化為計算機能夠處理的電信號。將物料條放置在生產線的傳送帶卡槽內固定，防止其由于運動慣性發(fā)生位置偏移；傳送帶定速將物料條傳送至工業(yè)相機光源下，相機以固定時間間隔自動拍照。

CCD 相機采集到的視頻圖像傳入系統，存儲結構包括芯片生產型號、物料條圖像的編號、三通道圖像、圖像采集時間、圖像高度所占像素以及圖像寬度所占像素。

2.2 芯片定位模塊

相機采集圖像后傳入系統，使用訓練好的YOLOv3 算法檢測目標芯片，根據檢測結果返回的坐標信息計算檢測框間距，判定缺件缺陷并沿檢測框剪裁成單芯片圖像。

深度學習算法YOLOv3（You Only Look Once）是一種一階段算法，將檢測過程看作回歸問題求解，舍棄了顯示候選框生成的步驟，對輸入圖像提取特征后可以迅速預測出目標所屬類別和所在位置，檢測速度快，能滿足工業(yè)生產過程中對于缺陷實時檢測的需求。YOLOv3 的骨干網絡Darknet-53 分別抽取到了下采樣32 倍、16 倍和8 倍的特征，可以實現對不同大小尺度的目標檢測，采用多尺度融合的方法進行局部特征交互，對主干網絡提取到的3 個不同尺度的特征圖、和進行融合預測。不同尺度的特征圖是把輸入圖像劃分成不同數量的單元格，數量越多、越容易檢測小目標物體。分析可知，52×52×255 特征圖既擁有深層網絡的語義抽象特征，又充分利用了淺層網絡的細粒度像素級別的邊緣、轉角和結構信息的底層特征。YOLOv3 聚類了9個先驗框，每個尺度的特征圖分配到3 個不同尺寸的先驗框，見表1。

表1 YOLOv3 特征圖信息Tab.1 Feature map information of YOLOv3

本文借鑒遷移學習思想，采用了在ImageNet 上預訓練好的模型參數darknet53.conv.74，在此基礎上繼續(xù)訓練。數據增強方法主要選取了旋轉、平移、縮放及水平翻轉，增加訓練集樣本數量，提高模型的泛化能力，避免出現過擬合現象。

模型檢測目標芯片后，返回所屬類別、置信度得分及邊界框坐標信息。檢測框坐標集合為b＝｛［，，，］，［，，，］，……，［x，y，w，h］｝，其中為檢測出的芯片編號，(x ，y）表示第個邊界框的左上角坐標，（w，h）表示第個邊界框的寬、高。將b按照x坐標連續(xù)遞增排序并重新標號，可進一步定位芯片。本實驗采用的芯片規(guī)格唯一，正常封裝的物料條中芯片間距固定，而有缺件缺陷的物料條會出現一段較長的間距。計算兩相鄰邊界框坐標的間距，即為相鄰芯片間距，缺件缺陷芯片間距如圖2 所示，推導出的定義式可寫為：

圖2 缺件缺陷芯片間距圖Fig.2 Missing parts defect chip spacing diagram

其中，(x ，y）表示第個邊界框左上角的橫、縱坐標，若d大于最大預設間距閾值，則可判定第塊芯片與第1 塊芯片中出現了缺件缺陷。

2.3 缺陷檢測模塊

缺陷檢測模塊使用圖像分割算法、即大津法（Otsu）分區(qū)域提取出引腳部分，將二值圖中圖像的4個邊緣點使用最小二乘法擬合直線，進行芯片歪斜判定；研究又通過改進的Harris-SIFT 算法模板匹配，根據匹配特征點對分布的區(qū)域及匹配點對占比進行缺陷分類判定，并對芯片反置、印刷模糊和塑封不嚴密缺陷進行識別，被判定為合格品或各類缺陷品。

2.3.1 圖像預處理

研究對象示例為SOIC（Small Outline IC），即小外形IC 封裝，統一規(guī)格為7 mm×6.5 mm。受傳感器材料屬性、拍攝光照角度等因素的影響，工業(yè)現場采集的芯片圖像通常包含噪聲，系統收到圖像數據后先要進行預處理，對得到的元器件圖像進行光源修正、圖像去噪等。

采用直方圖均衡化方式處理采集到的一些過暗和過亮的圖像，豐富圖像的細節(jié)，增強圖像的質量，以減小由于光源反射而產生的明亮區(qū)域的影響，如圖3 所示。

圖3 直方圖均衡化處理Fig.3 Histogram equalization processing

2.3.2 圖像分割方法

圖像分割是對圖像進一步分析、識別的前提，而閾值的選擇則是該方法中的核心任務，動態(tài)閾值分割算法適用于檢測目標前景與背景具有較好區(qū)分度的情況。本文采用Otsu 分割算法，操作簡單且分割效果良好，類間方差定義如式（2）所示：

其中，() 表示閾值為時目標前景像素點數占整幅圖像的比例，前景平均灰度值為() ；() 表示閾值為時背景像素點數占整幅圖像的比例，背景平均灰度值為() ；μ為整體圖像的灰度均值。最佳的閾值為類間方差() 達到最大值時對應的灰度值。

使用Otsu 算法對圖像進行動態(tài)閾值分割時，部分區(qū)域因光線等因素影響，呈現出與芯片引腳區(qū)域相近的顏色，這會影響圖像動態(tài)閾值的計算結果，導致無法直接通過二值化處理得到完整的引腳區(qū)域。由于芯片光照不均勻，導致某些引腳區(qū)域與正常引腳顏色存在差異，因此就對引腳和芯片主體區(qū)域進行劃分，對僅包含引腳的區(qū)域進行分析，以減小芯片主體對提取過程的影響。對引腳區(qū)域分塊，每個分塊內利用Otsu 算法計算動態(tài)閾值，提取受光照因素影響的引腳。分區(qū)域后的Otsu 算法的流程步驟詳述如下。

單芯片圖像編號，單芯片三通道圖像，單芯片在原物料條的坐標位置信息，單芯片圖像高度，單芯片圖像寬度，引腳數目，芯片主體區(qū)域與引腳區(qū)域所占寬度比例系數

分割后的芯片引腳二值圖像

1.將圖像三通道圖像轉化成灰度圖。

3.考慮到圖像截取像素差異，將左引腳區(qū)域和右引腳區(qū)域分別橫向均分1 等份，得到左、右引腳分塊區(qū)域集合。

4.按序號逐次遍歷各區(qū)域及各區(qū)域每個像素點，如果像素點位于圖像邊緣區(qū)域，則將該點像素值融合為該點在原圖周圍3×3 區(qū)域內像素灰度平均值。

5.按序號逐次遍歷各區(qū)域，分別統計各區(qū)域內的灰度直方圖并歸一化，求得各區(qū)域內的平均灰度值，測試多個閾值求出各區(qū)域最佳分割閾值，根據不同區(qū)域的最佳閾值進行圖像二值化分割，更新左、右引腳分塊區(qū)域集合。

6.將左、右引腳分塊區(qū)域集合中各區(qū)域按序號重新拼接寫入左、右引腳。

7.將左、右引腳區(qū)域拼接，生成分割后的芯片引腳二值圖像并返回。

分割出來的引腳部分可能會由于光照等問題出現截斷等現象，可將引腳圖像中噪聲進行形態(tài)學操作。閉運算可以去除前景噪聲，并填充原有閉合圖像中的空洞。對圖像進行閉運算，即先使用膨脹操作，將鄰近分散的引腳點連通，有效解決引腳截斷的問題；對膨脹過的圖像加以腐蝕處理，將芯片內部多余噪聲部分腐蝕。閉運算可以去除前景噪聲，并填充原有閉合圖像中的空洞。閉運算操作效果如圖4所示。

圖4 閉運算操作效果圖Fig.4 Closing operation effect diagram

分割出引腳部分后，可以通過引腳的傾斜角度判斷物料條是否出現芯片歪斜缺陷。以分割出的引腳圖像4 個邊緣點為角點，使用最小二乘法分別擬合4 條直線，組成一個四邊形作為引腳圖像邊緣的最小外接矩，使用中心法確定圖像的幾何中心位置。假設圖像左上角起始坐標為（0，0），右下角坐標為（，），可得中心點坐標（，）的運算公式具體如下：

其中，、分別為圖像像素的行數和列數，（，）為圖像在點（，）處的灰度值。

角度參數計算如圖5 所示。以中心坐標點為原點作延長線，與最小二乘法得出的擬合直線邊界交點記為（0，0），以作為原點建立相對直角坐標系，記角點的坐標為（，），其中芯片偏斜角度可由式（5）得出：

圖5 角度參數計算圖Fig.5 Angle parameters calculation diagram

2.3.3 Harris-SIFT 圖像匹配

SIFT 算法耗時主要集中于特征點檢測與特征點描述部分，特征點檢測時需要多次用到高斯模糊，運算量較大。故本文提出使用Harris 算子在大尺度空間檢測角點后映射到小尺度空間，建立SIFT 特征描述子；在匹配點對校正部分，采用角點集類別向量聚類算法進行圖像的精確匹配，以剔除錯誤的匹配點。Harris-SIFT 圖像匹配算法過程示意如圖6所示。這里，對Harris-SIFT 算法中各主要步驟擬展開闡釋分述如下。

圖6 Harris-SIFT 算法過程示意圖Fig.6 Harris-SIFT algorithm process diagram

（1）檢測圖像角點。Harris 算法通過計算點的一階曲率及梯度檢測角點，相比SIFT 算法無需構建DoG（Difference of Gaussian）金字塔，故檢測速度更快。Harris 角點檢測類通過建立小的窗口對對象進行掃描，其對應角點響應函數的運算公式可寫為：

其中，為的行列式；為的跡；，是自相關矩陣的2 個特征值；為常量，一般取值為0.04～0.06。

（2）確定角點特征向量。特征點檢測完成，生成角點集，使用SIFT 算法為每一個角點分配可以反映角點特征的梯度幅值(，) 和方向(，)，研究推得的數學公式見如下：

其中，表示特征點所在尺度空間，由高斯函數與原圖像卷積得到。

（3）生成SIFT 特征描述向量。為了確保特征點具有旋轉不變性，以關鍵點主方向為中心旋轉，求取16 個4×4 窗口內每個種子點的8 個梯度方向，如此每個特征點就生成一個128 維的SIFT 特征向量，為了消除光照變化的干擾，對其做歸一化處理。

（4）特征點匹配。使用K-近鄰算法（一般取值為2）求取歐氏距離最近鄰和次近鄰。當該點的最近鄰距離與次近鄰距離的比值小于（本文取為0.8）時，被認為是匹配點。

在匹配的點對中，具有最大相似性的點對不一定是正確配對的，一般針對匹配后的點對使用隨機采樣一致性（RANSAC）算法計算一組局內點的單應矩陣，根據該單應矩陣計算映射誤差，根據誤差閾值重新迭代計算局內點集合，找到最優(yōu)局內點集合后，局外點被判斷為誤配點。但RANSAC 算法迭代次數沒有上限，需要人為定義閾值，存在很大的隨機性，無法達到最優(yōu)，且當提取的特征點數量較多時，該算法的計算量會有顯著增大，匹配效率較低。故使用K-means 聚類算法修正匹配點的算法研發(fā)步驟詳見如下。

單芯片圖像編號，單芯片三通道圖像，單芯片在原物料條的坐標位置信息，單芯片圖像寬高，初始匹配點對集合，聚類初始中心點個數

修正后的匹配點對集合

1.For1 →：

得到特征一：匹配點對之間的歐氏距離d；

得到特征二：匹配點對之間連線與水平面夾角θ；

將d和θ加入類別向量集合。

2.對類別向量集合進行K-means 聚類，設置聚類的個數為2，生成2 個聚類中心點，計算所有類別向量F到聚類中心點的距離；更新中心點，迭代聚類；當中心點變化滿足收斂要求時停止迭代。

3.由于正確匹配點對集中，故點對數目最多的類別為正確匹配點對，將另一匹配有誤的類別中的點對從初始匹配點對集合中剔除，得到修正后的匹配點對集合。

3 實驗結果及分析

3.1 實驗環(huán)境與數據準備

本實驗硬件環(huán)境為：Intel（R）Core（TM）i5-2450 M CPU＠2.50 GHz 的處理器，8 GB 內存，4 GB顯存，操作系統Windows10 64 位。開發(fā)環(huán)境為：Python3.8+TensorFlow2.4.0、OpenCV4.4 圖像處理庫和YOLOv3 目標檢測框架，使用CUDA10.1 和CUDNN10.1 加速運算。

深度學習算法依賴于圖像標注，故前期的主要工作是對包含不同數量黑色芯片塊的PCB 板進行人工標注和訓練。分別從網絡和工廠車間獲取到1 000張PCB 板樣本圖像，隨機對樣本圖像進行90°、180°和270°旋轉，數據增強后獲得3 000 張訓練圖像，平均每張圖像中有7 個芯片樣本。被標記好的樣本圖像會生成對應的.xml 文件，該文件主要存放數據集標簽信息。訓練集、測試集和驗證集按3 ∶1 ∶1 劃分，使用YOLOv3 遷移學習進行芯片的目標檢測算法訓練，訓練后的圖像簡化了芯片復雜的背景信息，以便于對芯片封裝質量進行下一步的分析。

在實驗室環(huán)境下進行仿真實驗。將帶有缺陷的物料條固定放置于傳送帶上，傳送至工業(yè)相機光源下，相機以40 fps 幀率錄制視頻并進行質量分析。分別選擇正常芯片、芯片缺失、塑封不嚴密、芯片歪斜、芯片反置以及芯片正面印刷的logo 錯漏缺陷圖像各200 張進行實驗驗證。缺陷認定取芯片偏斜角度閾值為10°，即傾斜角度超過10°被認為存在芯片歪斜缺陷；印刷錯漏和芯片反置的匹配點對區(qū)間分別為15%～90%和0%～15%，即匹配點對占比超過90%，則認為不存在印刷錯漏或芯片反置缺陷，匹配點對占比介于10%～90%、被認為存在印刷錯漏缺陷，匹配點對占比低于10%，則認為存在芯片反置缺陷。

3.2 評價指標

采用的評價標準有查準率Pre、查全率Rec、以及虛警率FA。各計算公式可分別寫作如下形式：

其中，TP（）表示類樣本被正確識別的樣例； FP（）表示其它類樣本被識別為類樣本的樣例； FN（）表示類樣本被識別為其他樣本的樣例。

3.3 實驗結果及分析

3.3.1 YOLOv3 目標檢測結果分析

利用YOLOv3 網絡在預訓練的模型基礎上進行迭代訓練，網絡文件中的部分參數設置見表2，訓練期間損失曲線如圖7 所示?？梢钥闯?，模型在前5個周期迭代中損失值迅速下降，此時模型正在快速擬合；經過60 個周期的迭代訓練后，該模型的損失值降低至0.024、并趨于穩(wěn)定，不再繼續(xù)收斂，此時網絡模型已達到最優(yōu)狀態(tài)，可以使用訓練好的模型檢測數據集中的芯片。

表2 網絡訓練參數Tab.2 Network training parameters

圖7 訓練期間的損失曲線Fig.7 Loss curve during training

3.3.2 Harris-SIFT 算法檢測結果可視化

本文提出的Harris-SIFT 算法與傳統SIFT 算法特征點檢測時間對比結果如圖8 所示，本文算法比SIFT 算法檢測時間同比縮短2～3 倍，有效提高檢測速度。

圖8 算法檢測時間對比圖Fig.8 Algorithm detection time comparison chart

使用改進后的Harris-SIFT 算法對缺陷圖像進行檢測，結果如圖9～圖11 所示。

圖9 反置芯片圖像Fig.9 Invert chip images

圖10 印刷錯漏圖像Fig.10 Misprinted images

圖11 塑封不嚴密圖像Fig.11 Improper plastic packaging

3.3.3 缺陷檢測結果分析

使用本文提出方法對各類圖像進行缺陷識別和分類，缺陷檢測結果見表3。由表3 可以看出，本文提出的方法針對各類缺陷的查全率和查準率都較高，且虛警率均在11%以下，滿足工業(yè)生產需求，可以應用到生產芯片封裝檢測領域。印刷錯漏缺陷樣本與芯片反置缺陷樣本最易出現混淆，少量密封不嚴密樣本與歪斜樣本會相互誤判，但整體的檢測結果仍保持在標準范圍內，可對SIFT 算法做進一步調優(yōu)，針對特征點對匹配閾值范圍進行調節(jié)。

表3 缺陷檢測結果Tab.3 Defects detection results

4 結束語

針對現有的芯片封裝質量檢測過程中存在的問題，本文將深度學習算法與圖像處理技術相結合，提出了一種基于視頻圖像的芯片封裝質量分析方法。實驗結果表明，本方法準確地判斷出了芯片封裝的殘次品并指出了缺陷對應的類型，以便及時回收殘次品并重新封裝。該缺陷分類方法取得了93%的準確率，說明提出模型同時具備良好的魯棒性與泛化能力，但由于復雜工業(yè)條件下影響檢測準確率、召回率的因素繁雜，該算法還有繼續(xù)優(yōu)化的空間，進一步提高芯片封裝質量分析的準確率和檢測效率是未來研究的主要方向。