基于機器學習的帶鋼表面缺陷分類方法研究

胡慧君，李元香，劉茂福，梁文豪

（1.武漢大學 計算機學院 軟件工程國家重點實驗室，湖北 武漢430072；2.武漢科技大學計算機科學與技術學院 智能信息處理與實時工業(yè)系統(tǒng)湖北省重點實驗室，湖北 武漢430065；3.浙江大華技術有限責任公司，浙江 杭州310053）

0 引 言

隨著社會的快速發(fā)展，人們對于制造業(yè)生產線提出了更高要求，既要提高生產效率又要保證質量。帶鋼作為汽車制造、航空航天、日常生活用品的原材料，其質量要求越來越嚴格；然而，國內鋼鐵公司的帶鋼生產線上，由于帶鋼表面缺陷所帶來的經(jīng)濟損失卻居高不下。主要原因是先前人工目視檢測帶鋼表面的方法已越來越不能滿足企業(yè)生產發(fā)展的需要，不能夠實時控制生產過程中出現(xiàn)的問題。

本文在通過機器視覺系統(tǒng)對帶鋼表面缺陷進行缺陷檢測的前提下，用機器學習方法中的BP （back propagation）神經(jīng)網(wǎng)絡和支持向量機SVM （support vector machine）對帶鋼表面產生的缺陷分別進行了分類識別研究。BP神經(jīng)網(wǎng)絡結構簡單，是目前應用最為廣泛的人工神經(jīng)網(wǎng)絡，已經(jīng)成功應用在模式識別與圖像分類等領域，如秦鐘使用圖像不變矩特征與BP神經(jīng)網(wǎng)絡對車型進行分類［1］，徐磊等則將BP神經(jīng)網(wǎng)絡用于遙感圖像分類［2］。SVM 分類模型常用于對圖像進行分類，華翔等基于紋理和形狀特征使用SVM 對醫(yī)學圖像進行分類研究［3］，而唐銀鳳等在融合多特征基礎上使用多分類SVM 模型對遙感紋理圖像進行分類［4］。

對于缺陷分類識別，本文先對檢測出的缺陷目標圖像進行圖像二值化，結合目標圖像和二值化圖像進行特征提取。根據(jù)特征向量，利用BP神經(jīng)網(wǎng)絡和SVM 分別對缺陷圖像訓練集進行分類模型訓練，利用測試集對訓練好的分類識別模型評判分類結果。具體的模型圖如圖1所示。

圖1 缺陷分類系統(tǒng)模型

目標圖像是通過對帶鋼生產線上獲取到的圖像進行缺陷檢測，將包含有缺陷信息的圖像區(qū)域分割出來，從而得到的一幅圖像。

本文主要用到幾何特征、形狀特征和灰度特征3類特征表示目標圖像的缺陷信息。在進行特征提取前，需要進行圖像二值化處理，將目標圖像中缺陷可能存在的區(qū)域ROI（region of interest）設置為前景，即該區(qū)域內像素點灰度值設定為255；將ROI以外區(qū)域設置為背景，即該區(qū)域內像素點灰度值設定為0；然后結合二值化圖像和目標圖像進行相應特征提取。

本文運用機器學習的方法進行缺陷分類識別時，根據(jù)提取到的特征向量，對大量的訓練樣本進行訓練生成分類模型，然后對測試集提取相應的特征向量并預測訓練好的分類器的有效性。實驗結果表明，BP 神經(jīng)網(wǎng)絡和SVM 兩種分類模型都是可行的；同時，SVM 模型分類準確率更高，但BP神經(jīng)網(wǎng)絡平均識別時間優(yōu)于SVM。

1 特征提取

1.1 幾何特征

本文使用目標圖像面積、ROI面積、ROI與目標圖像面積之比、目標圖像寬高之比4組特征來表示帶鋼缺陷圖像的幾何特征。

（1）ROI面積

ROI面積用Area來描述其大小，通過統(tǒng)計二值化圖像的前景像素點個數(shù)來表示ROI的面積

式中：R——目標圖像組成的像素點集合，f（x，y）——目標圖像，b（x，y）——二值化圖像。

（2）目標圖像面積

目標圖像面積通過計算其圖像的寬高之積來表示。

1.2 形狀特征

物體的形狀是圖像表達的一個重要特征，形狀特征的描述必須以圖像中不同于背景區(qū)域的劃分區(qū)域來進行計算。通常來說，物體的形狀特征有兩種表示方法，一種是基于邊界的特征表示法，一種是基于區(qū)域的特征表示法；前者主要關心物體的外邊界形狀，而后者主要關心物體的整個區(qū)域的形狀。比較典型的方法有形狀無關矩和傅立葉形狀描述符兩類。

（1）形狀無關矩

形狀無關矩 （moment invariants）是一種基于區(qū)域的物體形狀表示方法［5］。用此方法對目標區(qū)域提取出的特征具有對平移、旋轉、尺度變換等不變性。對于一幅數(shù)字圖像I＝f（x，y），f（x，y）表示像素點（x，y）的灰度值，則I的p＋q中心矩定義為

本文對二值化圖像進行特征提取，得到七維特征向量。

（2）傅立葉形狀描述符

傅立葉形狀描述符 （fourier shape descriptors）是基于邊界的物體形狀表示方法［6］。其基本思想是利用物體邊界的傅立葉變換系數(shù)作為形狀描述子。假設封閉邊界由N 個數(shù)據(jù)點組成，則

式中：s（k）為從任一點開始繞邊界一周的復數(shù)序列。對序列s（k）的離散傅立葉變換為

根據(jù)傅立葉變換的性質，高頻分量表示物體細節(jié)，低頻分量表示總體形狀。因此，在對圖像進行傅立葉變換后，可以用前面M（M＜N）個系數(shù)來表達目標區(qū)域邊界的形狀特征。由于進行傅立葉變換后，各系數(shù)值區(qū)間變化比較大。因此，需要對傅立葉描述符進行歸一化處理。本文以s（0）為基準對s（w）進行歸一化，歸一化后的傅立葉描述符具有平移、旋轉、尺度等不變性［7］。本文選取M＝8 來進行計算，對二值化圖像進行特征提取，得到七維特征向量。

1.3 灰度特征

圖像的灰度直方圖提供了圖像的灰度值分布情況，可以通過計算圖像的灰度直方圖相關特性得到。常用的直方圖特征參數(shù)有歪度、峭度、均值、方差、能量和熵。

對于帶鋼表面缺陷圖像灰度特征提取，可以通過對目標圖像、目標圖像的背景區(qū)域、ROI來進行提取。文中只對ROI進行灰度特征的提取，結合目標圖像和二值化圖像進行特征提取，得到六維特征向量。

2 分類識別模型

本文通過機器學習方法對帶鋼表面產生的缺陷進行分類識別，首先準備大量的缺陷圖像作為訓練樣本和測試樣本，根據(jù)訓練樣本訓練出分類模型，然后對測試樣本用訓練好的分類模型進行預測，調整相關參數(shù)達到模型識別率要求，并將模型推廣到缺陷分類識別系統(tǒng)中。

2.1 BP神經(jīng)網(wǎng)絡

BP （back propagation）網(wǎng)絡是一種按誤差逆?zhèn)鞑ニ惴ㄓ柧毜亩鄬忧梆伨W(wǎng)絡，為目前應用最廣泛的神經(jīng)網(wǎng)絡模型之一［8］。

用BP神經(jīng)網(wǎng)絡設計缺陷分類器時，根據(jù)提取到的24維特征向量設定輸入層神經(jīng)元數(shù)為24。根據(jù)本文設定的5類缺陷，輸出層神經(jīng)元數(shù)確定為5。對于隱含層神經(jīng)元數(shù)的設定，尚沒有一定的理論知識作指導，需要多次實驗并根據(jù)預測準確率來確定。對于神經(jīng)元作用函數(shù)，文中選用S型函數(shù)中的雙曲正切函數(shù)

綜上所述，肺消炎飲聯(lián)合頭孢呋辛鈉治療小兒急性上呼吸道感染療效確切，能夠有效增強患兒免疫功能，改善機體炎癥狀態(tài)，是一種安全可靠的治療方案。

設置期望輸出向量時，應將相同缺陷類別樣本期望輸出設置成一樣，不同缺陷類樣本期望輸出最大化區(qū)別開。用BP神經(jīng)網(wǎng)絡進行分類，生成的模型不易理解，外面對里面的規(guī)則沒有一定的規(guī)律可循。在訓練時容易陷入誤差局部最小化而難于收斂，而且容易出現(xiàn) “過學習”問題。

2.2 支持向量機

與以經(jīng)驗風險最小化的傳統(tǒng)的機器學習方法相比，SVM［9］是一種以結構風險最小化SRM （structural risk minimization）為原則的機器學習方法。SVM 最開始是在線性可分情況下從最優(yōu)分類理論發(fā)展而來，其主要原理是找出最優(yōu)分類函數(shù)，使兩類樣本中的分類間隔最大化。假定在二維空間中有線性可分的兩類數(shù)據(jù)，SVM 的分類函數(shù)是將兩類數(shù)據(jù)最大化分開。在一個樣本集中，支持向量個數(shù)與樣本輸入向量維數(shù)沒太多直接聯(lián)系，從而避免了因為輸入樣本數(shù)據(jù)特征向量維數(shù)過高而引起的維數(shù)災難問題。

對于線性不可分問題，可以把樣本映射到某個高維空間中，使其線性可分，這需要核函數(shù)來完成。一般核函數(shù)主要有多項式核函數(shù)、高斯徑向基核函數(shù)、S型核函數(shù)等，本文選取最常用的高斯徑向基函數(shù)作為核函數(shù)

SVM 最開始提出主要是解決二分類問題，但在實際應用中待分類別往往多于兩類，需要用二分類SVM 來解決多分類問題，主要思想是組合若干個二分類器來實現(xiàn)一個多分類器，本文選用 “一對一”方法來完成多分類。

對于本文定義的5種缺陷，需將5種缺陷樣本兩兩組合，從而訓練10個二分類器，然后利用測試數(shù)據(jù)對每個二分類器進行預測，分別得到一個類別，找出投票數(shù)最多的那個類作為最終分類結果。用SVM 分類兩類缺陷時，準確率比較高；若用于多分類時，則需要大量的訓練時間和預測時間。

3 實驗結果與分析

本文對國內某大型鋼鐵公司生產線現(xiàn)場攝相機獲取的大量圖像進行分析，定義了5 種帶鋼表面缺陷，即 “輥印”、“銹斑”、“乳化液斑”、“邊印”以及 “擦傷”，并依次對缺陷進行編號。實驗中用到訓練集和測試集樣本數(shù)量見表1。

表1 訓練樣本集和測試樣本集

3.1 缺陷圖像特征提取及歸一化

表2 不同缺陷目標圖像的灰度值比較

通過表2可以看出，缺陷1至缺陷4的目標圖像灰度值大致分布在56至125之間，缺陷5的目標圖像灰度均值大致分布在125至165之間。所以在對目標圖像進行二值化前，可以先對其進行一次灰度均值計算，根據(jù)均值來確定采用哪種二值化。

（1）若均值小于128，則進行第一種情況的二值化，即設定閥值為90，目標圖像中像素的灰度值小于90時，將其設定為前景，否則設定為背景；

（2）若均值大于128，則進行第二種情況的二值化，即設定閥值為140，目標圖像中像素的灰度值大于140時，將其設定為前景，否則設定為背景。

對5種缺陷圖像按照上面的方法進行二值化后，結果如圖2所示。

圖2 5種缺陷目標圖像及二值化圖像

對于Hu七階不變矩和傅立葉形狀描述符的特征提取，實驗中皆使用OpenCV1中的相應方法得到特征向量。對于傅立葉形狀描述符，首先對圖像進行傅立葉變換，根據(jù)變換后的系數(shù)得到特征向量。

在進行特征提取后，為減少計算量以及極大值與極小值的相互影響，必須對其進行歸一化，實驗中將向量全部歸一化在 ［－1，1］區(qū)間內。

3.2 BP神經(jīng)網(wǎng)絡訓練與預測結果

訓練BP神經(jīng)網(wǎng)絡分類模型時，需要對相關參數(shù)和期望輸出向量進行設定，對于每一類缺陷特征向量設置不同的期望輸出向量，實驗中設定缺陷1的期望輸出向量為 ［1 0 000］，缺陷2的期望輸出向量為 ［0 1 0 0 0］，缺陷3的期望輸出向量為 ［0 0 1 0 0］，缺陷4的期望輸出向量為 ［00 0 1 0］，缺陷5的期望輸出向量為 ［0 0 0 01］，對于隱含層神經(jīng)元個數(shù)n 的選取，實驗中分別取n＝ ｛10，11，12，…，20｝進行模型訓練，然后對測試集進行預測，計算平均識別率來確定其最優(yōu)值。

實驗中用OpenCV 中的相應類中的方法實現(xiàn)BP神經(jīng)網(wǎng)絡的訓練和預測。經(jīng)過多次實驗，當n＝16 時，訓練好的神經(jīng)網(wǎng)絡預測效果最好，具體結果見表3。

表3 n＝16時BP神經(jīng)網(wǎng)絡預測結果

3.3 SVM 訓練與預測結果

實驗中采用常用的 “一對一”方法來實現(xiàn)多分類；對于文中定義的5 類缺陷，需要訓練10 個子分類器進行分類。選用的核函數(shù)是高斯徑向基函數(shù)，而核函數(shù)需要確定兩個參數(shù)：懲罰參數(shù)C 和參數(shù)γ。對此，實驗中用LIBSVM 的網(wǎng)格搜索法確定參數(shù)［10］。在LIBSVM 中，默認將C 設置在 ［2－5，215］范圍 內，將γ 設 置在［2－15，23］范圍內。

表4 是對不同子分類器進行參數(shù)選擇列表，其中“1＆2”表示缺陷1和缺陷2的子分類器，后面依此設定。

表4 不同子分類器參數(shù)確定列表

根據(jù)表4 的參數(shù)設定，基于多分類SVM 方法結果見表5。

表5 SVM 模型預測結果

通過表4和表5可以發(fā)現(xiàn)，用SVM 進行預測時，一方面，SVM 準確率比BP神經(jīng)網(wǎng)絡要高，另一方面，SVM 高的準確率卻是以計算時間為代價的。但用兩種方法均能滿足系統(tǒng)的實時性需求。總體上說，SVM 分類要優(yōu)于BP 神經(jīng)網(wǎng)絡。

4 結束語

本文基于機器學習的BP神經(jīng)網(wǎng)絡和SVM 兩種分類模型分別對帶鋼表面缺陷分類識別方法進行了研究。對于檢測出缺陷的目標圖像，根據(jù)不同缺陷的灰度均值設定兩種閾值，進行二值化處理。然后結合目標圖像和二值化圖像進行幾何特征、形狀特征以及灰度特征提取。在用BP神經(jīng)網(wǎng)絡訓練分類器時，用三層神經(jīng)網(wǎng)絡模型，通過多次實驗確定隱含層神經(jīng)元數(shù)。在用SVM 訓練分類器時，用高斯徑向基函數(shù)作為核函數(shù)，通過交叉驗證確定相關參數(shù)，采用“一對一”的方法進行多分類。文中用OpenCV 對標定的5種帶鋼表面缺陷進行了實驗，實驗結果表明，SVM 模型分類準確率更高，BP 神經(jīng)網(wǎng)絡平均識別時間則優(yōu)于SVM，但兩種方法都能滿足系統(tǒng)實時性要求。如何提高識別率和識別時間將有待進一步的研究。

［1］QIN Zhong.Vehicle classification based on image moment invariant feature and BP neural network ［J］.Journal of South China University of Technology （Natural Science Edition），2009，37 （2）：87－91 （in Chinese）.［秦鐘.基于圖像不變矩特征和BP神經(jīng)網(wǎng)絡的車型分類 ［J］.華南理工大學學報 （自然科學版），2009，37 （2）：87－91.］

［2］XU Lei，LIN Jian，LI Yanhua，et al.Classifying remote sensing image based on BP neural network technology［J］.Journal of Geospatial Information Science，2012，10 （4）：83－85 （in Chinese）.［徐磊，林劍，李艷華，等.基于BP人工神經(jīng)網(wǎng)絡的遙感影像分類［J］.地理空間信息，2012，10 （4）：83－85.］

［3］HUA Xiang，SUN Lei.Design of medical image classifier based on SVM ［J］.Microelectronics and Computer，2011，28（6）：171－175 （in Chinese）.［華翔，孫蕾.基于SVM 的醫(yī)學圖像分類器的設計 ［J］.微電子學與計算機，2011，28 （6）：171－175.］

［4］TANG Yinfeng，HUANG Zhiming，HUANG Rongjuan，et al.Texture image classification based on multi－feature extraction and SVM classifier ［J］.Computer Application and Software，2011，28 （6）：22－25 （in Chinese）.［唐銀鳳，黃志明，黃榮娟，等.基于多特征提取和SVM 分類器的紋理圖像分類［J］.計算機應用與軟件，2011，28 （6）：22－25.］

［5］MU H B，QI D W.Pattern recognition of wood defects types based on Hu invariant moments［C］／／Proceedings of International Congress on Image and Signal Processing，2009，1－5.

［6］Wilhelm B，Mark J B.Principles of digital image processingadvanced methods［M］.London：Springer，2013：169－227.

［7］El－ghazal A，Basir O，Belkasim S.Invariant curvature－based fourier shape descriptors［J］.Journal of Visual Communication and Image Representation，2012，23 （4）：622－633.

［8］Nawi N M，Ransing R S，Salleh M N M，et al.An improved back propagation neural network algorithm on classification problems［C］／／Proceedings of International Conferences on DTA and BSBT，2010：177－188.

［9］Ronny L，Alexandre d.Support vector machine classification with indefinite kernels ［J］.Mathematical Programming Computation，2009 （1）：97－118.

［10］Chang C C，Lin C J.LIBSVM：A library for support vector machines［J］.ACM Transactions on Intelligent Systems and Technology，2011，27 （2）：1－27.