基于機器視覺的二維圖像質(zhì)量缺陷檢測研究進展

張德海，祝志逢，李艷芹，黃子帆，馬選雄，許宸語，劉祥

基于機器視覺的二維圖像質(zhì)量缺陷檢測研究進展

張德海1，祝志逢1，李艷芹1，黃子帆1，馬選雄1，許宸語1，劉祥2

（1.鄭州輕工業(yè)大學(xué) 機電工程學(xué)院，鄭州 450002；2.中標(biāo)防偽印務(wù)有限公司，北京 102218）

機器視覺圖像處理技術(shù)是近年在圖像處理領(lǐng)域發(fā)展起來的一門新興邊緣交叉學(xué)科，二維圖像的質(zhì)量檢測是印刷行業(yè)中必不可少的環(huán)節(jié)，分析基于機器視覺的二維圖像質(zhì)量缺陷檢測流程，探索影響基于機器視覺的二維圖像質(zhì)量缺陷檢測精度的相關(guān)因素，為后續(xù)研究印刷品的二維圖像自動化檢測和質(zhì)量控制提供參考。在此基礎(chǔ)上，圍繞圖像預(yù)處理中的灰度轉(zhuǎn)換、噪聲過濾、固定閾值分割、自適應(yīng)閾值分割、Otsu法及邊緣檢測，對圖像配準(zhǔn)中的基于灰度統(tǒng)計信息分布配準(zhǔn)方法、基于特征的圖像配準(zhǔn)方法進行總結(jié)，然后歸納分析圖像的缺陷提取和分類。以實際例子對上述研究內(nèi)容進行了提煉，通過圖像預(yù)處理中的噪聲過濾為后續(xù)缺陷提取提供清晰圖像，減少偽影干擾；通過圖像預(yù)處理中的灰度變換、閾值分割、感興趣區(qū)域提取減少系統(tǒng)處理時間，為實現(xiàn)高效的缺陷檢測奠定了堅實的基礎(chǔ)；通過圖像配準(zhǔn)消除了機械振動引起的圖像位置偏移，確保后續(xù)缺陷提取的準(zhǔn)確性；通過圖像缺陷提取和分類幫助印刷企業(yè)找出生產(chǎn)問題，提供有針對性的改進措施，可為生產(chǎn)高質(zhì)量產(chǎn)品提供支持。

機器視覺；印刷質(zhì)量；缺陷檢測；圖像處理

印刷缺陷是印刷產(chǎn)品生產(chǎn)中不可避免出現(xiàn)的問題，其缺陷類型主要包括刀絲、劃痕、漏白、漏印、飛墨、污漬、套印不準(zhǔn)等。如果不能及時發(fā)現(xiàn)印刷缺陷并剔除，將會影響產(chǎn)品的質(zhì)量和企業(yè)的口碑[1-2]。面對越來越復(fù)雜的印刷圖案，傳統(tǒng)的人工檢測方法存在效率低、誤檢率高和漏檢率高等缺點，且易受工人經(jīng)驗和主觀因素的影響。基于機器視覺的印刷品二維圖像質(zhì)量檢測技術(shù)具有檢測時間短、準(zhǔn)確率高、成本低等優(yōu)點[3-4]，該技術(shù)的工作原理如圖1所示。通過傳送裝置將待檢測的印刷品傳送至檢測箱，在光源的照射下，采用工業(yè)相機實時采集印刷品數(shù)據(jù)，并同步傳輸給計算機圖像處理軟件，對其進行分析處理。如果檢測到缺陷，則發(fā)送控制信號，促使剔除機構(gòu)分離出有缺陷的產(chǎn)品。

圖1 機器視覺組成

印刷品的二維圖像質(zhì)量檢測是印刷中必不可少的環(huán)節(jié)，通過機器視覺技術(shù)可以實現(xiàn)自動化檢測和質(zhì)量控制。關(guān)于印刷品的二維圖像質(zhì)量檢測方法，國內(nèi)外科技人員進行了大量研究。文中從機器視覺圖像處理的角度出發(fā)，對圖像預(yù)處理、圖像配準(zhǔn)、圖像缺陷的提取和分類等3個方面進行總結(jié)分析，為厘清方向、開展下一步研究提供借鑒。

1 機器視覺中的圖像預(yù)處理研究進展

基于機器視覺的圖像預(yù)處理技術(shù)主要包括灰度轉(zhuǎn)換、噪聲過濾、固定閾值分割、自適應(yīng)閾值分割、Otsu法及邊緣檢測等。

1.1 圖像灰度轉(zhuǎn)換

現(xiàn)有的二維圖像質(zhì)量檢測系統(tǒng)常用的圖像灰度化方法有單一分量法、最大值法、平均值法、加權(quán)平均值法，或者直接由黑白相機拍攝得到單通道圖像。

最大值法是將彩色圖像的R、G、B三通道中的亮度最大值作為灰度值[5]。優(yōu)點是計算速度快，對于圖像中亮度變化較大的像素，能夠更好地保留其信息。缺點是圖像中亮度變化較小的像素可能出現(xiàn)信息丟失的情況。該方法常用于色調(diào)較暗的圖像處理。

平均灰度法是將彩色圖像的R、G、B三分量值相加再除以3，得到一個灰度值[6]。優(yōu)點是計算速度快，能夠較好地保留圖像整體信息。缺點是灰度化后的圖像過暗，不易區(qū)分目標(biāo)對象與背景區(qū)域。該方法常用于色調(diào)較亮的圖像處理。

加權(quán)平均法是將彩色圖像的R、G、B三分量按照不同的權(quán)重進行加權(quán)平均，得到一個灰度值[7]。優(yōu)點是能夠根據(jù)圖像不同區(qū)域的特性，靈活選擇權(quán)重優(yōu)化圖像的亮度和色彩信息。缺點是權(quán)重的選擇需要一定的經(jīng)驗和技巧?？紤]到人眼對 RGB 3種顏色的敏感度存在差異，常采用0.299倍的紅色分量、0.587倍的綠色分量、0.144倍的藍色分量來生成符合人眼生理特性的灰度圖像。通過合適的灰度轉(zhuǎn)換方法，可以增強缺陷的可見性，從而更好地將缺陷從背景中分離出來，越復(fù)雜的灰度化方法對系統(tǒng)的負擔(dān)越大。針對實時性要求較高的二維圖像質(zhì)量缺陷檢測系統(tǒng)存在一定的局限性，未來的發(fā)展方向應(yīng)著重提高速度和效率。

1.2 噪聲過濾

基于外界環(huán)境，以及傳感器自身原因，在圖像的采集和傳輸過程中常受到噪聲的干擾。為了去除圖像噪聲，需要使用圖像平滑技術(shù)[8-9]。目前，圖像平滑方式有很多，如中值濾波算法、均值濾波算法、小波變換，以及基于這些算法的改進算法[10-12]。

中值濾波對圖像中某一像素點周圍一定大小窗口內(nèi)的像素進行排序，取中值作為該像素點的灰度[13]。該算法簡單、計算速度快，可以有效去除圖像中的椒鹽噪聲等一些隨機噪聲。保留圖像細節(jié)信息的能力取決于過濾器窗口的大小，窗口越小，圖像細節(jié)損失越小，但去除噪聲的效果越差；窗口越大，去除噪聲的效果越好，但圖像的模糊程度增大，導(dǎo)致圖像細節(jié)丟失嚴(yán)重。對于高斯噪聲、圖像背景噪聲等一些非隨機噪聲的去除效果較差，當(dāng)窗口中的噪聲超過有用像素的一半時，中值濾波就會失效。

均值濾波是把濾波窗口中所有像素的灰度值進行平均處理，并用平均值替代中心點的灰度值[14-15]。該算法簡單、計算速度快。因不改變像素總值，所以不會改變圖像的亮度。該算法的缺點是，因?qū)⑾袼刂車乃邢袼刂刀歼M行平均，導(dǎo)致圖像丟失了一些細節(jié)。均值濾波通常更適合于處理噪聲幅值在一定范圍內(nèi)均勻分布的圖像，因為在這種圖像中，噪聲的灰度平均值相對較小，噪聲像素灰度值與圖像中其他像素灰度值的平均值差異不會太大，因此更容易實現(xiàn)噪聲的平滑處理，而不引入過多的偏差。對比結(jié)果如圖2～3所示。

混合噪聲指圖像中同時存在高斯噪聲、椒鹽噪聲等不同類型的噪聲[16-17]?；旌显肼暱赡軐?dǎo)致圖像出現(xiàn)亮度失真、色彩失真、輪廓模糊等。去除混合噪聲的方法包括逐步去噪法、整體去噪法。逐步去噪法，即將混合噪聲分成不同類型，針對不同類型的噪聲，采用不同的去噪方法。如沈德海等[18]采用改進的中值濾波算法去除圖像中的椒鹽噪聲，然后再采用均值濾波算法進行平滑處理，以去除高斯噪聲。整體去噪法，即不區(qū)分混合噪聲的類型，直接進行過濾。如張旭濤[19]對圖像進行小波變換，得到了高頻分量和低頻分量，然后對圖像中的高頻分量進行過濾，對低頻分量進行非局部過濾，最后重構(gòu)出高頻分量和低頻分量。

圖像去除噪聲的方法有很多且各有優(yōu)缺點，在進行噪聲過濾時，需要根據(jù)不同的噪聲類型和圖像特點有針對性地選擇適當(dāng)?shù)臑V波方法和參數(shù)，以達到噪聲抑制與保留圖像細節(jié)的平衡。不同的濾波方法具有各自的優(yōu)勢和局限性，有時結(jié)合多種濾波方法可以改善噪聲的過濾效果。特別是在缺陷檢測等需要快速決策的領(lǐng)域，確保系統(tǒng)的實時性是一項重要挑戰(zhàn)。在這種情況下，需要選擇合適的噪聲過濾方法，并盡可能對其進行優(yōu)化，在滿足系統(tǒng)實時性要求的同時盡可能提高噪聲抑制效果。未來的研究方向之一是開發(fā)更高效的噪聲過濾算法，以平衡實時性與噪聲抑制效果之間的矛盾。

1.3 圖像分割

圖像分割是將一幅圖像分解為若干交疊的、有意義的、具有相同性質(zhì)的區(qū)域[20]。在印刷缺陷檢測中，常用的圖像分割方法有閾值分割和邊緣檢測。閾值分割是選擇合適的灰度，然后將高于該值的灰度歸為一類，將低于該值的灰度歸為另一類[21]。常見的閾值分割有固定閾值分割、自適應(yīng)閾值分割和Otsu法。邊緣檢測指在圖像中尋找灰度變化較大的位置，其目標(biāo)是將圖像中的邊緣提取出來，其邊緣信息可以用于圖像分割、物體識別等應(yīng)用[22-24]。常用的邊緣檢測方法包括Roberts梯度算子，Sobal算子、Prewitt算子、Canny算子等。

1.3.1 固定閾值分割

固定閾值分割只需對圖像進行一次閾值處理，計算速度快，不需要復(fù)雜的計算和參數(shù)調(diào)節(jié)，適用于光照分布均勻且圖像背景和目標(biāo)灰度值存在明顯差異的圖像中，如圖4a所示。圖像在灰度直方圖中呈現(xiàn)雙峰狀態(tài)，閾值通常選在兩峰之間的峰谷，分割效果如圖4b所示。對于具有多個不同灰度級別的目標(biāo)或者背景，采用固定閾值分割方法難以進行有效分割。

圖2 椒鹽噪聲濾波對比

圖3 高斯噪聲濾波對比

圖4 固定閾值分割坐標(biāo)

1.3.2 自適應(yīng)閾值分割

在許多情況下，圖像中的物體和背景的對比度在各處均不同。特別是在明暗分布不均勻的圖像中，很難用統(tǒng)一的閾值來區(qū)分物體和背景[25]，如圖5a所示?；叶戎狈綀D呈現(xiàn)雙峰，如果閾值再選用兩峰之間的峰谷，則采用固定閾值分割的效果會很差，如圖5b所示。自適應(yīng)閾值是一種基于圖像局部統(tǒng)計特性的分割方法，將圖像分割成許多小塊，計算每個小塊閾值，最后通過計算出的閾值對小塊進行分割，亮的小塊對應(yīng)的灰度較大，暗的小塊對應(yīng)的灰度較小。自適應(yīng)閾值分割能夠有效分割復(fù)雜背景的圖像和光照不均勻的圖像[26]。由于自適應(yīng)閾值需要對每個像素點計算其鄰域內(nèi)的灰度平均值，導(dǎo)致其計算復(fù)雜程度較高，因此該方法針對實時性要求較高且圖像面積較大的應(yīng)用場景具有一定的局限性。自適應(yīng)閾值分割效果如圖5c所示。

圖5 適應(yīng)閾值分割和固定閾值分割對比

1.3.3 Otsu法

Otsu法以目標(biāo)和背景之間的最大方差來確定圖像的分割門限，它會遍歷當(dāng)前圖像中的所有閾值，再從中選出最佳的閾值[27]。大津法通過最大化類間方差找到最優(yōu)的閾值，因此其分割結(jié)果較準(zhǔn)確。由于不需要進行迭代操作，所以其計算速度較快。采用大津法分割采樣圖像灰度圖（圖6a）的效果如圖6b所示。當(dāng)目標(biāo)與背景的面積比例懸殊，圖像的灰度直方圖無明顯的雙峰或雙峰相差很大時，該方法的分割效果較差。

1.3.4 邊緣檢測

圖像的邊緣具有方向和幅度2個屬性，沿邊緣方向像素值變化平緩，垂直于邊緣方向的像素值變化劇烈。通常采用微分算子來檢測邊緣變化，一階導(dǎo)數(shù)取最大值，或二階導(dǎo)數(shù)取過零點判斷圖像邊緣的位置[28]。一階導(dǎo)數(shù)算子包括Roberts算子、Sobel算子、Prewitt算子等，將2×2（Roberts算子）或3×3算子模板作為核與圖像中的每個像素點進行卷積和運算，然后選取合適的閾值提取邊緣。Laplacian算子是一種基于二階導(dǎo)數(shù)的邊緣檢測算子，對噪聲較敏感，可以檢測出細節(jié)更加豐富的邊緣。各個算子檢測對比如圖7所示。分析了Roberts算子、Sobel算子、Prewitt、 Laplacian 和Canny算子的優(yōu)缺點，見表1。

圖像分割在機器視覺二維圖像質(zhì)量缺陷檢測中非常重要，分割結(jié)果的精準(zhǔn)性直接影響后續(xù)ROI（Region of Interest）區(qū)域的提取。關(guān)于圖像分割算法有很多，Abdullah等[29]為了增加邊緣檢測的精度和邊緣的完整性，通過在水平和垂直方向上增加315°和360°來改進現(xiàn)有的Sobel算子。Xiao等[30]為了得到更好的分割效果，通過不斷增加閾值，以圖像邊緣閉合的區(qū)域大小為標(biāo)準(zhǔn)，確定最佳閾值。不同的算子有不同的分割特點，針對不同的圖像采用的分割方法也不同?；诙S圖像的高度復(fù)雜性，若想實現(xiàn)完整的分割任務(wù)，還需與其他分割算法結(jié)合。在電表銘牌印刷缺陷檢測中，吳先鋒[31]先用手動分割法分割出電表銘牌區(qū)域，再采用雙閾值分割方法并配合區(qū)域面積篩選方法對條形碼和銘牌編號區(qū)域進行分割，最后配合膨脹、腐蝕，并通過面積篩選方法，再進一步提取條形碼和編號字符信息。在印刷質(zhì)量的圖像檢測技術(shù)研究中，胡方尚[32]采用閾值分割算法檢測印刷圖像邊界信息，運用數(shù)學(xué)形態(tài)學(xué)運算提取邊界輪廓。圖像分割算法的選擇和應(yīng)用需要根據(jù)具體的圖像特點和場景進行深入分析。不同的圖像可能需要不同的分割算法，以獲得最佳的分割效果。通過組合多種分割算法和靈活調(diào)整參數(shù)，也可顯著提高分割的準(zhǔn)確性和魯棒性。未來的發(fā)展方向應(yīng)朝著更加智能和自適應(yīng)的分割方法發(fā)展，需要不斷創(chuàng)新和改進，以滿足不同場景和應(yīng)用的需求。

圖7 邊緣檢測對比

表1 簡單常用算子優(yōu)缺點分析

Tab.1 Analysis of advantages and disadvantages of simple common operators

2 機器視覺中的圖像配準(zhǔn)研究進展

圖像配準(zhǔn)是對齊2個或多個不同來源、不同時間和不同角度圖像的過程，也就是發(fā)現(xiàn)2張或多個照片之間的匹配點，采用最小誤差法在空間中進行對齊[33]。目前，圖像配準(zhǔn)技術(shù)主要分為2類[34]：基于灰度統(tǒng)計信息分布配準(zhǔn)方法、基于圖像特征的配準(zhǔn)方法。

2.1 基于灰度統(tǒng)計信息分布配準(zhǔn)方法

無須對采樣圖像進行預(yù)處理，利用模板圖像與采樣圖像之間的灰度關(guān)系，根據(jù)圖像內(nèi)部的信息，采用適當(dāng)?shù)乃阉鞣椒▽ふ蚁嗨贫茸畲蠡蜃钚〉狞c，確定模板圖像與采樣圖像之間的變換參數(shù)[35]。該方法的優(yōu)點是對灰度變化較大的圖像具有較好的配準(zhǔn)效果。由于考慮了圖像的灰度信息，未考慮圖像的特征信息，因此該方法在較大形變、旋轉(zhuǎn)、縮放等情景下的配準(zhǔn)效果不穩(wěn)定。

2.2 基于圖像特征的配準(zhǔn)方法

基于圖像特征的配準(zhǔn)是利用2幅圖像中的特征點進行匹配，從而找到2幅圖像之間的變換矩陣進行配準(zhǔn)。與基于灰度統(tǒng)計信息分布的配準(zhǔn)方法相比，它不僅可以降低對圖片搜索的復(fù)雜程度，對于存在局部變形的圖像也具有較好的魯棒性。常見的配準(zhǔn)方法有邊緣特征檢測法、區(qū)域特征檢測法、點特征檢測法[36]。其中，點特征檢測法是目前圖像配準(zhǔn)研究中應(yīng)用最多的方法[37-39]，在印刷缺陷檢測中常用的點特征匹配方法包括多線性交點和邊緣輪廓提取能力較強的尺度不變特征變換算法（SIFT），加速穩(wěn)健型局部特征點檢測的加速穩(wěn)健特征算法（SURF），具有圖像灰度變化不變性和旋轉(zhuǎn)不變性特點的Harris角點算法，以及改進算法。點特征檢測法對光和噪聲的抗干擾能力較強，包含的圖像的特征信息多[40-41]，且在有較大灰度變化的情況下可以有效找到特征點，但對于大幅度的形變和噪聲較多的圖像的效果可能較差。

王星等[42]在藥用玻璃瓶印字缺陷檢測中，首先使用SIFT特征點提取算子，然后使用歐氏距離進行初始匹配，最后使用RANSAC進行精確匹配。孫紅紅等[43]在相框表面印花缺陷檢測中，選用一種基于灰度投影和歸一化互相關(guān)相似度量圖像配準(zhǔn)算法。邢旭朋[44]為了增強缺陷區(qū)域，采用非線性擴散模型與圖像差分模型的配準(zhǔn)方法。

總的來說，圖像配準(zhǔn)在印刷缺陷檢測中扮演著至關(guān)重要的角色，其最終目的是根據(jù)圖像特征尋找適當(dāng)?shù)淖儞Q參數(shù)，以確保采樣圖像與模板圖像對齊，為后續(xù)的圖像相減做準(zhǔn)備，其配準(zhǔn)精度直接影響缺陷提取的準(zhǔn)確性。此外，圖像配準(zhǔn)還要滿足印刷檢測行業(yè)對實時性的需求，尤其是在高速印刷機上。未來的發(fā)展方向需要在滿足配準(zhǔn)精度的同時，更加關(guān)注具有實時性和高效性的配準(zhǔn)方法，以適應(yīng)印刷行業(yè)的要求。未來還可探索更多基于深度學(xué)習(xí)和自適應(yīng)算法的圖像配準(zhǔn)方法，以進一步提高準(zhǔn)確性和適用性。

3 機器視覺中的圖像缺陷提取和分類研究進展

圖像缺陷的提取是利用在圖像配準(zhǔn)中求出的變換矩陣，把采樣圖像中的所有像素映射到模板圖像，比較像素點之間的差異，確定其是否在規(guī)定區(qū)間范圍內(nèi)，以判斷被檢測印刷品是否存在缺陷，原理見式（1）。

式中：(,)為標(biāo)準(zhǔn)圖像；(,)為采樣圖像；(,)為差分圖像。

在二維圖像質(zhì)量檢測中，為了減少偽輪廓干擾，提高檢測精度，通常并不會將ROI圖像與模板圖像直接相減，通常配合其他方法進行判別[45]。在電表銘牌印刷缺陷檢測中，謝暉等[46]針對電表銘牌圖像背景灰度變化導(dǎo)致的缺陷檢測不精準(zhǔn)，用生成的基準(zhǔn)圖像替代模板圖像和采樣圖像進行差分計算。郭軒等[47]在彩色印刷缺陷的檢測方法中，通過分析模板圖像掩膜中最小生成樹的結(jié)構(gòu)特征，并將得到的上下界向量的矢量距離作為采樣圖像的閾值，將配準(zhǔn)后的差分圖像轉(zhuǎn)化為真實的缺陷圖像。

在圖像差分后，只能檢測出印刷品是否有缺陷，不能識別缺陷的類型。通過歸納分析缺陷的類型，可以找到出現(xiàn)問題的工藝環(huán)節(jié)，進而改進。何昊[48]通過缺陷的面積、周長、長寬比等不同缺陷的基本參數(shù)來描述不同缺陷的類型，優(yōu)點是計算速度快、系統(tǒng)實時性高，但對特征選擇和參數(shù)調(diào)整的要求較高。郭慧等[49]通過支持向量機對缺陷進行分類，支持向量機具有較強的分類能力和泛化能力，但訓(xùn)練時間長、對參數(shù)敏感。二維圖像缺陷的分類方法可以根據(jù)實際需求進行選擇和組合，以達到更好的分類效果。

4 算法實例演示

基于上述研究，以實際例子對上述研究內(nèi)容進行提煉。二維圖像質(zhì)量檢測算法實例如圖8所示。

1）圖像預(yù)處理部分。如圖9所示，假設(shè)方框為需要提取的區(qū)域，在方框外為不感興趣區(qū)域。首先把采集的二維圖像進行灰度變換，并過濾噪聲，然后進行閾值分割，運用閉運算，補全斷裂的線段、孔洞。在新建的蒙版圖像中，找出圖像所有的輪廓，并進行篩選，得到感興趣區(qū)域輪廓。最后，通過感興趣區(qū)域輪廓的最大外接矩形，裁剪得到感興趣區(qū)域。通過對ROI區(qū)域的提取，可以減少系統(tǒng)的處理時間和計算量，為實現(xiàn)高效的缺陷檢測奠定了堅實基礎(chǔ)。

2）圖像配準(zhǔn)部分。通過對感興趣區(qū)域和模板圖像進行特征提取，得到每張圖像的關(guān)鍵點和描述子，篩選出符合要求的關(guān)鍵點，去除錯誤匹配點。通過最佳匹配點計算兩圖之間的變換矩陣，通過變換矩陣把采樣圖像中的所有像素映射到模板圖像中。圖像配準(zhǔn)強調(diào)正確關(guān)鍵點的匹配，確保后續(xù)缺陷提取的準(zhǔn)確性。

圖8 算法實例演示

圖9 感興趣區(qū)域

3）圖像缺陷提取和分類。對配準(zhǔn)好的圖像和模板圖像進行差分，找到缺陷，對找到的缺陷進行灰度化處理，再進行低閾值分割，配合腐蝕和膨脹技術(shù)去除干擾，得到缺陷二值圖像。根據(jù)缺陷特點對缺陷進行分類，最后在采樣圖像中標(biāo)記缺陷。通過對圖像缺陷的提取和分類，能夠幫助印刷企業(yè)更好定位生產(chǎn)中出現(xiàn)的問題，并采取改進措施，為印刷企業(yè)提供更高質(zhì)量的產(chǎn)品。

5 結(jié)語

從基于二維圖像處理的機器視覺缺陷檢測存在的問題出發(fā)，并歸納分析其規(guī)律，目的在于提高缺陷檢測算法的準(zhǔn)確性、實時性和魯棒性，從而為印刷企業(yè)提供一種高效、精確和實時的質(zhì)量控制工具，改善產(chǎn)品質(zhì)量，提高生產(chǎn)效率，降低成本。采用機器視覺二維圖像處理技術(shù)，探索解決復(fù)雜背景、偽影干擾、缺陷的多樣性和實時性等的途徑。圖像預(yù)處理是印刷質(zhì)量檢測的關(guān)鍵，如采用噪聲過濾為后續(xù)的缺陷檢測提供清晰的圖像，為缺陷的提取減少偽影干擾；采用灰度變換、閾值分割、感興趣區(qū)域提取等方法，減少系統(tǒng)的處理時間和計算量，從而提高缺陷檢測的效率。圖像配準(zhǔn)是研究的核心，消除機械振動引起的圖像位置偏移，可以確保采集圖像與模板圖像精確對齊，使得缺陷檢測更加準(zhǔn)確，減少偽影的產(chǎn)生。通過對缺陷的提取可以分離出有缺陷的產(chǎn)品，對缺陷類型的歸納分析可以找到出現(xiàn)問題的工藝環(huán)節(jié)，從而改進生產(chǎn)工藝和生產(chǎn)設(shè)備，進一步實現(xiàn)目標(biāo)。綜上所述，基于二維圖像處理的機器視覺缺陷檢測為印刷行業(yè)提供了有效的質(zhì)量控制工具。通過圖像處理技術(shù)的應(yīng)用，可以降低不合格產(chǎn)品的數(shù)量，提高生產(chǎn)效率，減少成本，從而幫助印刷企業(yè)提供更高質(zhì)量的產(chǎn)品，提升其競爭力。

[1] 金怡君, 李振宇, 楊絮. 基于機器視覺的啤酒金屬蓋表面缺陷檢測方法[J]. 包裝工程, 2023, 44(11): 259-267.

JIN Yi-jun, LI Zhen-yu, YANG Xu. Surface Defect Detection of Beer Metal Covers Based on Machine Vision[J]. Packaging Engineering, 2023, 44(11): 259-267.

[2] LI Dong-ming, LI Jin-xing, FAN Yuan-yi, et al. Printed Label Defect Detection Using Twice Gradient Matching Based on Improved Cosine Similarity Measure[J]. Expert Systems with Applications, 2022, 204: 117372.

[3] LIU Zhi-chao, QU Bai-da. Machine Vision Based Online Detection of PCB Defect[J]. Microprocessors and Microsystems, 2021, 82: 103807.

[4] LI Meng-xiao, LIU Quan-xiang, HE Cong-you. Research and Achievement on Cigarette Label Printing Defect Detection Algorithm[J]. Applied Mechanics and Materials, 2012, 200: 689-693.

[5] 李忠虎, 薛婉婷, 呂鑫, 等. 基于圖像融合的風(fēng)電塔筒邊緣檢測及提取方法[J]. 國外電子測量技術(shù), 2022, 41(3): 90-95.

LI Zhong-hu, XUE Wan-ting, LYU Xin, et al. Edge Detection and Extraction Method of Wind Turbine Tower Based on Image Fusion[J]. Foreign Electronic Measurement Technology, 2022, 41(3): 90-95.

[6] KANSAL S, TRIPATHI R K. Adaptive Geometric Filtering Based on Average Brightness of the Image and Discrete Cosine Transform Coefficient Adjustment for Gray and Color Image Enhancement[J]. Arabian Journal for Science and Engineering, 2020, 45(3): 1655-1668.

[7] 肖漢, 郭寶云, 李彩林, 等. 基于OpenCL的圖像灰度化并行算法研究[J]. 江西師范大學(xué)學(xué)報(自然科學(xué)版), 2020, 44(5): 462-471.

XIAO Han, GUO Bao-yun, LI Cai-lin, et al. The Study on Image Gray-Scale Parallel Algorithm Based on OpenCL[J]. Journal of Jiangxi Normal University (Natural Science Edition), 2020, 44(5): 462-471.

[8] JI Xiao-nan, YUAN Pei-jiang, SHI Zhen-yun, et al. An Effective Self-Adaptive Mean Filter for Mixed Noise[C]// 2016 International Conference on Advanced Robotics and Mechatronics (ICARM), 2016: 484-489.

[9] 楊華. 基于Sobel算法的塑料袋邊緣位置標(biāo)定[J]. 包裝工程, 2021, 42(23): 178-182.

YANG Hua. Position Location of Plastic Bag Edge Based on Sobel Algorithm[J]. Packaging Engineering, 2021, 42(23): 178-182.

[10] ZHAO Ya, GUO Jia-hui, LI Pan-chi. A Median Filtering Scheme for Quantum Images[J]. Journal of Electronics & Information Technology, 2021, 43(1): 204-211.

[11] SHAO Chong-lei, KAUR P, KUMAR R. An Improved Adaptive Weighted Mean Filtering Approach for Metallographic Image Processing[J]. Journal of Intelligent Systems, 2021, 30: 470-478.

[12] BABU B S, SWARNALATHA S, GOVINDARAJ V. Denoising Technique Using Double Density Dual Tree Dwt for Medical Images[J]. Journal of Pharmaceutical Negative Results, 2022, 13: 1719-1724.

[13] 白雪. 基于改進中值濾波的反銳化掩膜算法[J]. 工業(yè)控制計算機, 2021, 34(2): 102-104.

BAI Xue. Unsharp Masking Algorithm Based on Improved Median Filter[J]. Industrial Control Computer, 2021, 34(2): 102-104.

[14] KONG Ling-shuai, WEN Hong-yan, GUO Lei, et al. Improvement of Linear Filter in Image Denoising[C]// Proc SPIE 9808, International Conference on Intelligent Earth Observing and Applications, 2015: 1001-1007.

[15] 張廣云. 基于機器視覺的藥物自動識別技術(shù)[J]. 包裝工程, 2019, 40(15): 206-213.

ZHANG Guang-yun. Automatic Drug Recognition Technology Based on Machine Vision[J]. Packaging Engineering, 2019, 40(15): 206-213.

[16] SHAO Yu-hao, JIANG Jie-lin, HONG Xiang-ming. An Improved Nonlocal Means-Based Correction Strategy for Mixed Noise Removal[J]. IET Image Processing, 2022, 16(14): 3701-3714.

[17] WANG Man-li, MA Feng-ying, ZHANG Chang-sen. Mixed Noise Suppression Algorithm Based on Developable Local Surface of Image[J]. Journal of Electronics & Information Technology, 2021, 43(11): 3291-3300.

[18] 沈德海, 鄂旭, 侯建, 等. 一種抑制混合噪聲的組合濾波算法[J]. 信息技術(shù), 2016, 40(6): 1-3.

SHEN De-hai, E Xu, HOU Jian, et al. A Combination Filtering Algorithm for Suppression Mixed Noise[J]. Information Technology, 2016, 40(6): 1-3.

[19] 張旭濤. 基于高斯?椒鹽噪聲的濾波算法[J]. 計算機科學(xué), 2019, 46(S1): 263-265.

ZHANG Xu-tao. Filtering Algorithm Based on Gaussian-Salt and Pepper Noise[J]. Computer Science, 2019, 46(S1): 263-265.

[20] HUANG Chun-yan, LI Xiao-rui, WEN Yun-liang. AN OTSU Image Segmentation Based on Fruitfly Optimization Algorithm[J]. Alexandria Engineering Journal, 2021, 60(1): 183-188.

[21] 張燁, 孫劉杰. 手背靜脈圖像二值化閾值算法[J]. 包裝工程, 2011, 32(9): 90-93.

ZHANG Ye, SUN Liu-jie. Application of Binarization Algorithm for Hand Vein Image[J]. Packaging Engineering, 2011, 32(9): 90-93.

[22] ZHENG En-zhuang, ZHONG Bao-jiang. Anisotropic Multi-Scale Edge Detection Algorithm[J]. Laser & Optoelectronics Progress, 2022,59(4): 0412002.

[23] LIU Jian-si, YIN Li-ju, PAN Jinf-eng, et al. Edge Detection Algorithm for Unevenly Illuminated Images Based on Parameterized Logarithmic Image Processing Model[J]. Laser & Optoelectronics Progress, 2021, 58(22): 2210005.

[24] LIU Shi-kai, ZHOU Zhi-yuan, SHI Bao-sen. Progress on Optical Image Edge Detection[J]. Laser & Optoelectronics Progress, 2021, 58(10): 1011014.

[25] 宋佳聲, 王永堅, 戴樂陽. 基于不同自適應(yīng)閾值法的鐵譜圖像分割效果比較[J]. 潤滑與密封, 2021, 46(4): 111-115.

SONG Jia-sheng, WANG Yong-jian, DAI Le-yang. Comparison of Ferrographic Images Segmentation by Different Adaptive Thresholding Methods[J]. Lubrication Engineering, 2021, 46(4): 111-115.

[26] 王娟, 王萍, 劉敏. 復(fù)雜光照下DPM圖像自適應(yīng)多閾值分割方法研究[J]. 計算機工程與應(yīng)用, 2018, 54(9): 194-200.

WANG Juan, WANG Ping, LIU Min. Adaptive Multi-Thresholds Segmentation of DPM Barcode Image in Complex Illumination[J]. Computer Engineering and Applications, 2018, 54(9): 194-200.

[27] SINGH S, MITTAL N, SINGH H, et al. Improving the Segmentation of Digital Images by Using a Modified Otsu's Between-Class Variance[J]. Multimedia Tools and Applications, 2023, 82(26): 40701-40743.

[28] GUPTA S, BHARDWAJ A, SHARMA R, et al. Image Edge Detection Using Fractional Order Differential Calculus[C]// Proceedings of the 2018 2nd International Conference on Video and Image Processing. New York: ACM, 2018: 44-48.

[29] ABDULLAH S S, RAJASEKARAN M P. Modified Sobel Mask to Locate Knee Joint Boundaries[J]. 3C Tecnologia_Glosas De Innovación Aplicadas a La Pyme, 2020(SI): 195-204.

[30] XIAO Zhi-kang, ZOU Yang, WANG Zhen. An Improved Dynamic Double Threshold Canny Edge Detection Algorithm[C]// Proc SPIE 11430, MIPPR 2019: Pattern Recognition and Computer Vision, 2020, 11430: 234-241.

[31] 吳先鋒. 基于機器視覺的智能電表銘牌印刷缺陷檢測[D]. 長沙: 湖南大學(xué), 2020: 71.

WU Xian-feng. Defect Detection of Nameplate Printing of Smart Meter Based on Machine Vision[D]. Changsha: Hunan University, 2020: 71.

[32] 胡方尚. 印刷質(zhì)量的圖像檢測技術(shù)研究[D]. 上海: 華東理工大學(xué), 2017: 78.

HU Fang-shang. Research on Image Detection Technology of Printing Quality[D]. Shanghai: East China University of Science and Technology, 2017: 78.

[33] XIAO Xiang-hui, XU Zheng-rui, HOU Dong, et al. Rigid Registration Algorithm Based on the Minimization of the Total Variation of the Difference Map[J]. Journal of Synchrotron Radiation, 2022, 29(4): 1085-1094.

[34] YANG Han, LI Xiao-run, ZHAO Liao-ying, et al. A Novel Coarse-to-Fine Scheme for Remote Sensing Image Registration Based on SIFT and Phase Correlation[J]. Remote Sensing, 2019, 11(15): 1833.

[35] 陳木生. 基于區(qū)域特征的圖像配準(zhǔn)方法研究[J]. 紅外技術(shù), 2010, 32(3): 145-147.

CHEN Mu-sheng. Study on Image Registration Method Based on Region Feature[J]. Infrared Technology, 2010, 32(3): 145-147.

[36] 俞亞青, 田學(xué)隆, 閆春紅. 醫(yī)學(xué)圖像配準(zhǔn)方法分類及現(xiàn)狀[J]. 重慶大學(xué)學(xué)報(自然科學(xué)版), 2003, 26(8): 114-118.

YU Ya-qing, TIAN Xue-long, YAN Chun-hong. Classification and State of Medical Image Registration Methods[J]. Journal of Chongqing University (Natural Science Edition), 2003, 26(8): 114-118.

[37] LIU Lu-peng, XIAO Jun, WANG Yun-biao, et al. A Novel Rock-Mass Point Cloud Registration Method Based on Feature Line Extraction and Feature Point Matching[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 1-17.

[38] YANG Han, LI Xiao-run, ZHAO Liao-ying, et al. An Accurate and Robust Registration Framework Based on Outlier Removal and Feature Point Adjustment for Remote Sensing Images[J]. International Journal of Remote Sensing, 2021, 42(23): 8979-9002.

[39] 楊宜林, 李積英, 王燕, 等. 基于NDT和特征點檢測的點云配準(zhǔn)算法研究[J]. 激光與光電子學(xué)進展, 2022, 59(8): 7.

YANG Yi-lin, LI Ji-ying, WANG Yan, et al. Point Cloud Registration Algorithm Based on NDT and Feature Point Detection[J]. Laser & Optoelectronics Progress, 2022, 59(8): 7.

[40] QIU Hao, PENG Shuai-shuai. Adaptive Threshold Based SIFT Image Registration Algorithm[C]// Proc SPIE 12328, Second International Conference on Optics and Image Processing (ICOIP 2022), 2022, 12328: 271-276.

[41] GUO Jia-wei, MA Jie-ming, GARCIA-FERNANDEZ A F, et al. An Improved Harris Corner Points Detection for Low-Light Scenes Based on Contrast Limited Adaptive Histogram Equalization[C]// 2022 6th International Conference on Imaging, Signal Processing and Communications (ICISPC), 2023: 11-15.

[42] 王星, 劉朝英, 宋雪玲, 等. 基于圖像配準(zhǔn)的藥用玻璃瓶印刷字缺陷檢測[J]. 包裝工程, 2017, 38(21): 180-185.

WANG Xing, LIU Chao-ying, SONG Xue-ling, et al. Printed Word Defect Detection of Medicinal Glass Bottle Based on the Image Registration[J]. Packaging Engineering, 2017, 38(21): 180-185.

[43] 孔紅紅, 孫堅, 鐘紹俊, 等. 相框表面印花缺陷檢測的圖像配準(zhǔn)方法研究[J]. 計算機工程與應(yīng)用, 2011, 47(29): 205-207.

KONG Hong-hong, SUN Jian, ZHONG Shao-jun, et al. Research on Image Registration for Inspection of Embossing Flaw of Photo Frame[J]. Computer Engineering and Applications, 2011, 47(29): 205-207.

[44] 邢旭朋. 基于非線性擴散與圖像配準(zhǔn)的印刷品表面缺陷檢測[J]. 輕工機械, 2021, 39(2): 77-81.

XING Xu-peng. Surface Defect Detection of Printed Matter Based on Nonlinear Diffusion and Image Registration[J]. Light Industry Machinery, 2021, 39(2): 77-81.

[45] XU Zi-han, CHEN Jin-ling, CHENG Mao-kai, et al. Multi-Exposure Image Fusion for Dynamic Scenes with Ghosting Removal[J]. Journal of Electronic Imaging, 2022, 31(2): 023036.

[46] 謝暉, 吳先鋒, 付山, 等. 基于Halcon的電表銘牌缺陷檢測系統(tǒng)[J]. 現(xiàn)代制造工程, 2021(2): 119-126.

XIE Hui, WU Xian-feng, FU Shan, et al. Meter Nameplate Defect Detection System Based on Halcon[J]. Modern Manufacturing Engineering, 2021(2): 119-126.

[47] 郭軒, 郭寶平, 胡濤, 等. 彩色印刷品缺陷的形態(tài)學(xué)檢測方法[J]. 儀表技術(shù)與傳感器, 2010(6): 85-87.

GUO Xuan, GUO Bao-ping, HU Tao, et al. Morphological Scheme for Detection of Color Printing Defect[J]. Instrument Technique and Sensor, 2010(6): 85-87.

[48] 何昊. 基于機器視覺的食品包裝印刷缺陷檢測關(guān)鍵技術(shù)研究及應(yīng)用[D]. 貴陽: 貴州大學(xué), 2022: 102.

HE Hao. Research and Application of Key Technology of Food Packaging Printing Defect Detection Based on Machine Vision[D]. Guiyang: Guizhou University, 2022: 102.

[49] 郭慧, 徐威, 劉亞菲. 基于支持向量機的鋼板表面缺陷檢測[J]. 東華大學(xué)學(xué)報(自然科學(xué)版), 2018, 44(4): 635-639.

GUO Hui, XU Wei, LIU Ya-fei. Steel Plate Surface Defect Recognition Based on Support Vector Machine[J]. Journal of Donghua University (Natural Science), 2018, 44(4): 635-639.

Research Progress of Two-dimensional Image Quality Defect Detection Based on Machine Vision

ZHANG De-hai1, ZHU Zhi-feng1, LI Yan-qin1,HUANG Zi-fan1,MA Xuan-xiong1, XU Chen-yu1, LIU Xiang2

(1. School of Electrical and Mechanical Engineering, Zhengzhou University of Light Industry, Zhengzhou 450002, China; 2. ZhongBiao Anti-counterfeiting Printing Co., Ltd., Beijing 102218, China)

Machine vision image processing technology is an emerging fringe cross-disciplinary discipline developed in the field of image processing in recent years, and the quality inspection of two-dimensional images is an essential link in the printing industry, analyzing the quality defect detection process of two-dimensional images based on machine vision, exploring the relevant factors affecting the accuracy of two-dimensional image quality defect detection based on machine vision, and providing references for the subsequent research and development of automated inspection and quality control of two-dimensional images of printed materials. On this basis, around the gray scale conversion, noise filtering, fixed threshold segmentation, adaptive threshold segmentation, Otsu method and edge detection in image preprocessing, the gray scale statistical information distribution based alignment method and feature based image alignment method in image alignment were summarized, and then the defect extraction and classification of images were summarized and analyzed. The above research content is refined with practical examples. Noise filtering in image preprocessing is used to provide clear images for subsequent defect extraction and reduce artifact interference. Gray scale transformation, threshold segmentation and region of interest extraction in image preprocessing are used to reduce system processing time, laying a solid foundation for efficient defect detection. The image location offset caused by mechanical vibration is eliminated by image registration to ensure the accuracy of subsequent defect extraction. Image defect extraction and classification can help printing companies find production problems and provide targeted improvement measures for the production of high-quality products, thus providing important support.

machine vision; printing quality; defect detection; image processing

TB487

A

1001-3563(2023)23-0198-10

10.19554/j.cnki.1001-3563.2023.23.024

2023-09-12

國家自然科學(xué)基金青年項目（52006201）；國家自然科學(xué)基金面上項目（52275295）；鄭州輕工業(yè)大學(xué)橫向項目（JDG20210045）

責(zé)任編輯：彭颋