機器視覺在有色金屬破碎料分選的研究

許子鳴，胡志力

（武漢理工大學 現(xiàn)代汽車零部件技術(shù)湖北省重點實驗室 汽車零部件技術(shù)湖北協(xié)同創(chuàng)新中心，武漢 430070）

鋁材和銅材在工業(yè)生產(chǎn)、機械設備制造加工、農(nóng)業(yè)生產(chǎn)、交通運輸?shù)阮I(lǐng)域應用廣泛，消費量在我國有色金屬材料中穩(wěn)居前兩位[1]，其金屬破碎料具有極高的市場回收價值，作為退役汽車車身資源化分選工藝[2]的一部分，目前國內(nèi)對有色金屬破碎料的揀選主要依靠人工，勞動強度大，并且識別結(jié)果受到主觀的影響大，重復性差，效率低下。而少數(shù)大型企業(yè)依靠進口儀器，設備成本高，識別正確率在80%左右，仍然需要后續(xù)的人工精揀。無法滿足高效準確的自動分選需求。

基于有色金屬破碎料的外觀差異，利用機器視覺代替人的視覺進行識別，是一種及時便捷、環(huán)保有效的方法。在分選領(lǐng)域中，機器視覺被廣泛應用于農(nóng)產(chǎn)品[3-5]以及電子元件[6-7]的分選，研究主要集中在來源確定、形狀規(guī)則的目標，對于從農(nóng)業(yè)機械設備、汽車拆解破碎得到的來源復雜、形狀不規(guī)則、表面狀態(tài)復雜的物料鮮有研究。本文通過采用自行設計的有色金屬破碎料分選裝置，基于機器視覺針對來源復雜、形狀不規(guī)則、表面凹凸不平、多坑洼斑點的銅、鋁破碎料進行分選研究，提取顏色和紋理等外觀特征，并運用隨機森林智能算法建立高效分類器，為分類特征選擇提供依據(jù)。

1 破碎料圖像的獲取

1.1 試驗材料

本文中使用的有色金屬破碎料揀選自破碎生產(chǎn)企業(yè)的現(xiàn)場材料，尺寸在20 mm～80 mm之間。來源復雜、存在形式多樣，破碎銅料中混雜有銅條、銅塊、帶皮銅線，鋁料中混有生鋁或熟鋁破碎而成的鋁片以及鋁塊；經(jīng)過破碎，形狀不規(guī)則、尺寸不一；表面凹凸不平、狀態(tài)復雜，存在污漬劃痕、坑洼斑點，乃至折彎扭曲等現(xiàn)象，如圖1所示。

圖1 有色金屬破碎料圖像Fig.1 Image of non-ferrous crushing material

1.2 試驗臺架

試驗采用自制國內(nèi)首臺基于機器視覺的有色金屬破碎料分選系統(tǒng)，如圖2所示，其工作原理見圖3。

圖2 有色金屬破碎料分選系統(tǒng)Fig.2 Sorting device for non-ferrous crushing material

圖3 分選系統(tǒng)工作示意Fig.3 Function diagram of the separation system

1.3 局部紋理圖的提取

對于物料圖像的提取是圖像處理和模式識別的關(guān)鍵，在這里采用與空氣噴口對應的檢測窗口來對應提取如圖4所示的物料的局部圖像。為了適應快速檢測的需要，減少程序運行時間，將圖像裁剪為300 pixel×300 pixel，共計360張局部紋理圖。

圖4 破碎料示例Fig.4 Crushing material samples

2 特征提取

特征提取對于識別分選物料至關(guān)重要。直接影響著機器視覺的識別率，選取的特征不僅要很好地描述圖像，還要能很好地區(qū)分不同類別的圖像[8]。

2.1 顏色特征的提取

顏色特征是彩色圖像中最為直觀、最為明顯的物理特征。 常用 RGB、LAB、YUV、CMYK、HSV、HSI等多種色彩模型對顏色特征進行定量描述。RGB模型是工業(yè)界的一種顏色標準，是通過對紅（R）、綠（G）、藍 （B）3個顏色通道的變化以及它們相互之間的疊加來得到各式各樣的顏色，幾乎包括人類視力所能感知的所有顏色，三維空間的概念也便于理解，是目前運用最廣的顏色系統(tǒng)之一。缺點是必須依賴于設備色彩特性，個體間存在差異。HSI模型同HSV一樣，都是針對用戶觀感的一種顏色模型，能夠消除RGB模型的不均勻性[9]，側(cè)重于色彩表示，用色調(diào)（Hue）、色飽和度（Saturation）和亮度（Intensity）來描述色彩，可以大大簡化圖像分析和處理的工作量，并且非常適合彩色特性的檢測和分析。HSI和RGB之間存在著轉(zhuǎn)換關(guān)系。轉(zhuǎn)換公式如下：

由于攝像頭獲取的圖像是RGB模型，但HSI模型與人眼對事物的觀察模式一致，因此本文采用RGB和HSI模型來對破碎物料進行顏色特征研究。 統(tǒng)計 360 張試驗圖 R、G、B、H、S、I顏色分量均值，并進行歸一化處理，得到6項顏色特征。表1列舉了帶皮銅線10張圖像的顏色特征值。

表1 一組有色金屬破碎料顏色特征分量Tab.1 Average color feature parameters of copper wire with plastics outside

2.2 紋理特征的提取

描述紋理特征的各類方法包含n階數(shù)學統(tǒng)計量、形態(tài)學算子以及各種濾波器[10]?；叶裙采仃嘒LCM是由Haralick[11]提出的一種通過研究灰度空間相關(guān)特性來描述紋理的常用方法，是對圖像上保持某距離的兩像素分別具有某灰度的狀況進行統(tǒng)計得到的，圖像的灰度共生矩陣能夠反映圖像灰度關(guān)于方向、相鄰間隔和變化幅度的綜合信息。簡單定義為距離為d的2個像素點灰度值分別為i和j的概率，數(shù)學表達式為

取不同的距離和角度可得到不同的灰度共生矩陣，實際求解時常選定距離不變、選擇不同的角度，如 0°、45°、90°和 135°時的灰度共生矩陣。 為更加直觀地使用共生矩陣描述紋理狀況，通常選用以下的一些標量：

對比度反映圖像的清晰度和紋理溝紋深淺的程度。

相關(guān)性用于度量空間灰度共生矩陣在行或列方向上的相似程度，反映了圖像中局部灰度相關(guān)性。

其中：μ1、 μ2、σ1、σ2的公式為

能量灰度共生矩陣元素值的平方和，反映圖像灰度分布均勻程度和紋理粗細程度。

均勻度（同質(zhì)性）反映圖像紋理粗糙度。

熵是圖像具有信息量的度量，表示了圖像紋理的非均勻程度或復雜程度。

對360張試驗圖像進行描紋理特征統(tǒng)計。提取紋理特征時，灰度共生矩陣統(tǒng)計中將256級量化為64 級； 計算 0°、45°、90°、135°4 個方向 GLCM 并取均值作為該項最終特征值，距離d=1。表2舉例列舉了帶皮銅線的紋理特征值。

2.3 計算特征R-G、R-B的提取

通過初步觀察統(tǒng)計數(shù)據(jù)，對于有色金屬破碎料而言，R、G、B、H、S、I顏色特征中， 相較 H 和 S 的數(shù)據(jù)具有集中性，R、G、B 樣本間差異較大，圖 5（a）、5（b）為隨機一組銅、鋁料的圖像橫向中線的RGB數(shù)值：銅料 5（a）中 R＞G＞B，呈階梯形下降；鋁料 5（b）中R≈G，B小于R、G值。

表2 帶皮銅線紋理特征參數(shù)均值Tab.2 Average texture feature parameters of copper wire with plastics outside

圖上RGB曲線形狀近似且間距相對固定，那么提取新的計算特征 R-G、R-B，通過作圖 5（c）、5（d）觀察發(fā)現(xiàn)，銅料的計算特征均要大于鋁料，且存在明顯的分割閾值，說明計算特征具有一定的分類性。

圖5 一組銅、鋁樣本橫向中線上各點R、G、B值（a 為銅，b 為鋁）及 R-G 值（c）、R-B 值（d）Fig．5 A set of copper-aluminum samples each point on the horizontal centerline of R，G，B value（a-Cu，b-Al）and R-G data graph（c）and R-B data graph（d）

3 基于隨機森林算法的破碎料識別

有效地從高維數(shù)據(jù)中提取或選擇出有用的特征信息或規(guī)律，并將其分類識別已成為當今信息科學與技術(shù)所面臨的基本問題。隨機森林RF由Breima博士（2001）[12]提出，是一種流行且高效的機器學習算法?；谀Ｐ腿诤系睦砟顏斫鉀Q分類和擬合問題，利用自助重采樣法bootstrap和節(jié)點隨機分裂技術(shù)構(gòu)建多棵決策樹（多種不同分類器），并統(tǒng)計各個決策樹投票結(jié)果得到最終分類結(jié)果[13]。RF具有分析大型、高維數(shù)據(jù)的優(yōu)秀能力，不會出現(xiàn)過擬合，訓練速度快，對于訓練數(shù)據(jù)中的噪聲和缺失數(shù)據(jù)具有良好的魯棒性。其自身具有重要性度量效果能夠?qū)Ψ诸愄卣鬟M行排序，從而進行特征選擇。

圖6 隨機森林算法的基本結(jié)構(gòu)Fig.6 Random forest basic structure

訓練過程中，根據(jù)決策樹的數(shù)量，應用bootstrap自助重采樣方法有放回地隨機抽取高維數(shù)據(jù)，創(chuàng)建n個與訓練集大小一致的樣本集D1、D2，……，Dn用于訓練決策樹。假設每個樣本數(shù)據(jù)的維度為M（即共M個特征），每棵決策樹從隨機選取的m（m≤M）個特征子集中選擇最優(yōu)特征的進行節(jié)點分裂，直到得到終止結(jié)果或不再分裂為止。整個訓練過程中不進行剪枝。在測試過程中，所有訓練完成的決策樹對測試集數(shù)據(jù)進行投票判斷，根據(jù)多數(shù)投票原則選出分類結(jié)果。其中，CART決策樹通過獨立的測試集對訓練集生成的決策樹進行剪枝，從而獲得每個決策樹的最優(yōu)特征，也稱為葉子節(jié)點。對測試集數(shù)據(jù)的所有決策樹葉子節(jié)點遍歷求和，比較得到隨機森林的特征重要性度量。

從共計360張試驗圖像中，隨機選取300張為訓練集，60張為測試集。提取紋理圖的6項顏色特征（R、G、B、H、S、I）、5 項紋理特征（s1、s2、s3、s4、s5）以及R-G、R-B特征共計13項，通過隨機森林算法進行特征重要性度量，ntree=200。得到如圖7所示的特征重要性排序。當然度量會受到測試集的影響，但是R-G、H多次測試為重要特征的前兩位，體現(xiàn)出了良好的分類性。另外，R-B、和作為飽和度特征S可以作為判斷破碎料的輔助特征。不好直觀判斷的紋理特征中，s1和s2的重要性優(yōu)于RGB模型的單個特征，i、s4、s5、s3效果微弱或充當著不良特征。

圖7 破碎料特征重要性度量Fig.7 Features importance measure of crushing material

如圖8，通過多次預測統(tǒng)計平均正確率并逐漸剔除重要性靠后的特征，分類準確率整體上呈現(xiàn)略微提高的趨勢，原因在于不相關(guān)特征和冗余特征的消除提高了分類器性能；隨著特征數(shù)量的減少，s1的重要性上升，當特征數(shù)下降到3個，分別為R-G、H、s1，準確率到達最高值100%。而后曲線開始呈現(xiàn)下降趨勢，是因為有用的特征被消除。最終單獨使用R-G、H、s1特征進行分類判斷的平均正確率分為97%、92%和70%。這為選擇特征維數(shù)和種類提供了參考依據(jù)。

圖8 特征個數(shù)與識別正確率Fig.8 Numbers of features and classification accuracy

4 結(jié)語

本文通過自行設計的有色金屬破碎料分選裝置為例，對來源復雜、形狀不規(guī)則、表面凹凸不平、多坑洼斑點的銅、鋁破碎料的局部圖像進行采集剪裁，提取了 R、G、B、H、S、I顏色分量均值和 GLCM的對比度、相關(guān)性、熵、均勻度和能量紋理特征的均值，以及R-G、R-B共計13項分類特征，對共計360張破碎料圖像中隨機60張為測試集、其余300張為訓練集，建立了高效的隨即森林分類器，運算速度快、處理高維信息能力強，可以作為特征選擇的依據(jù)。其中，最優(yōu)分類器提取的特征為RG、H、s1，而單獨使用 R-G、H特征進行分類判斷的平均正確率分為97%、92%，取得了良好的分類效果。

參考文獻：

[1]李婷.談銅材產(chǎn)品及其在汽車上的典型部件[J].有色金屬加工，2010，39（3）：12-14.

[2]魏擎霄，秦訓鵬，胡志力，等.退役汽車車身資源化分選線工藝設計與研究[J].武漢理工大學學報，2015，37（8）：83-89.

[3]Pla F，Sanchiz J M，Sanchez J S.An integral automation of industrial fruit and vegetable sorting by machine vision[C]//IEEE International Conference on Emerging Technologies and Factory Automation，Proceedings，IEEE，2001：541-546.

[4]Elmasry G，Cubero S，Moltó E，et al.In-line sorting of irregular potatoes by using automated computer-based machinevision system[J].Journal of Food Engineering，2012，112（1-2）：60-68.

[5]Pourdarbani R，Ghassemzadeh H R，Seyedarabi H，et al.Study on an automatic sorting system for date fruits[J].Journal of the Saudi Society of Agricultural Sciences，2015，14（1）：83-90.

[6]Tantaswadi P.Applications of colorimetry in machine vision for checking electronic components and quality of pulp paper[C]//Systems of Optical Security，International Society for Optics and Photonics，2001：119-125.

[7]李嘯宇.基于機器視覺的電子器件在線檢測分選系統(tǒng)[J].中國制造業(yè)信息化，2011，40（7）：38-40.

[8]吳莉莉，邢玉清，鄭寶周，等.機器視覺在花椒品種鑒別中的初步研究[J].傳感技術(shù)學報，2016，29（1）：136-140.

[9]Patil N K，Yadahalli R M，Pujari J.Comparison between HSV and YCbCr color model color-texture based classification of the food grains[J].International Journal of Computer Applications，2013，34（4）：51-57.

[10]Akhloufi M A，Larbi W B，Maldague X.Framework for colortexture classification in machine vision inspection of industrial products[C]//IEEE International Conference on Systems，Man and Cybernetics，IEEE，2008：1067-1071.

[11]Haralick R M，Shanmugam K，Dinstein I H.Textural features for image classification systems[J].IEEE Transactions.1973（6）：610-621.

[12]Breiman L.Random foresta-random features[J].Machine Learning，1999，45（1）：5-32.

[13]姚登舉，楊靜，詹曉娟.基于隨機森林的特征選擇算法[J].吉林大學學報（工），2014，44（1）：137-141.