基于深度學(xué)習(xí)的木材優(yōu)選鋸視覺檢測算法

邵明偉 董軍宇

(1.青島理工大學(xué)信息與控制工程學(xué)院 青島 266520； 2.中國海洋大學(xué)信息科學(xué)與工程學(xué)院 青島 266100)

在木料加工行業(yè)，需要對(duì)木材優(yōu)劣進(jìn)行判斷，以發(fā)揮木材的最大價(jià)值，其中，木材缺陷剔除和木材等級(jí)分類是不可或缺的重要環(huán)節(jié)，二者的工作效率和準(zhǔn)確程度直接關(guān)系到木料出材率。在這種情況下，一種名為優(yōu)選鋸的機(jī)械自動(dòng)化設(shè)備應(yīng)運(yùn)而生。典型的優(yōu)選鋸主要由2部分組成，即工業(yè)控制系統(tǒng)和機(jī)械執(zhí)行機(jī)構(gòu)。優(yōu)選鋸的基本工作流程如下： 首先，工人根據(jù)木材等級(jí)和缺陷位置在木材表面用特制的熒光筆劃線，劃線位置即木材需要截?cái)嗟奈恢茫?接著，木材由傳動(dòng)機(jī)構(gòu)送入熒光探測器，熒光探測器探測熒光線位置，將信號(hào)傳遞給工業(yè)控制系統(tǒng)，工業(yè)控制系統(tǒng)確定木材截?cái)辔恢煤笠罁?jù)不同規(guī)則(如等級(jí)優(yōu)選、長度優(yōu)選、價(jià)值優(yōu)選等)計(jì)算木材最終切除位置，并將最終切除位置列表傳遞給機(jī)械執(zhí)行機(jī)構(gòu)，由機(jī)械執(zhí)行機(jī)構(gòu)對(duì)木材進(jìn)行切除(圖1)。

圖1 典型優(yōu)選鋸工作示意Fig.1 Schematic representation of the traditional optimizing cross-cut saw

典型優(yōu)選鋸的出現(xiàn)，增加了木材出材率，降低了人工成本，并提高了工人作業(yè)安全系數(shù)。但是，優(yōu)選鋸并未實(shí)現(xiàn)完全自動(dòng)化生產(chǎn)，在工作過程中仍需人工對(duì)木材進(jìn)行劃線，尤其當(dāng)木材較笨重時(shí)，劃線操作更加困難。此外，工人長期工作后不可避免會(huì)出現(xiàn)視覺疲勞，進(jìn)而難以準(zhǔn)確識(shí)別木材位置。

計(jì)算機(jī)視覺是一門以“看”為基礎(chǔ)的科學(xué)(馬頌德等，1998)，其主要通過攝像機(jī)或電腦代替人眼對(duì)目標(biāo)進(jìn)行識(shí)別、跟蹤和測量等(Shaoetal.， 2020a)，并進(jìn)一步做圖像處理，返回更適合人眼觀察或傳送給儀器檢測的圖像。深度學(xué)習(xí)(deep learning)是一門利用計(jì)算機(jī)模擬人類智能行為對(duì)被測物體進(jìn)行分類、識(shí)別和檢測等的科學(xué)，其通常以人工神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)，采用監(jiān)督或無監(jiān)督學(xué)習(xí)方法在不同學(xué)習(xí)框架下建立學(xué)習(xí)模型，完成相應(yīng)任務(wù)，常用的深度學(xué)習(xí)網(wǎng)絡(luò)有卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)等。近年來，深度學(xué)習(xí)在越來越多領(lǐng)域得到了廣泛應(yīng)用，如語音識(shí)別、圖像識(shí)別和自然語言處理等(章毓晉， 2000)。

本研究提出一種基于深度學(xué)習(xí)的木材優(yōu)選鋸視覺檢測算法，由攝像機(jī)獲取木材表面圖像，通過圖像處理和深度學(xué)習(xí)相關(guān)算法，自動(dòng)對(duì)木材缺陷和等級(jí)進(jìn)行識(shí)別，根據(jù)圖像平面與木材物理平面之間的單應(yīng)關(guān)系，確定木材缺陷和等級(jí)的實(shí)際位置，并依據(jù)相關(guān)原則確定最終切除列表，傳遞給機(jī)械執(zhí)行機(jī)構(gòu)對(duì)木材進(jìn)行切除。本研究提出的視覺檢測算法運(yùn)行速度快、識(shí)別準(zhǔn)確率高、魯棒性強(qiáng)，可最大限度增加木材出材率，提高木材價(jià)值，并進(jìn)一步提升木材加工行業(yè)自動(dòng)化水平。

1 原理與性質(zhì)

1.1 深度學(xué)習(xí)

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)重要分支，可分為有監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)等，不同學(xué)習(xí)框架下建立的模型不同。常用的深度學(xué)習(xí)算法，如R-CNN、Fast R-CNN和Faster R-CNN (Wuetal.， 2020; Renetal.， 2016; Dongetal.， 2016)，區(qū)域網(wǎng)絡(luò)提名是不可或缺的步驟，其可將任意尺寸圖像作為輸入，并輸出一系列具有投票得分的矩形區(qū)域。每類樣本(圖像)選擇充足數(shù)量進(jìn)行訓(xùn)練，通過提取每個(gè)樣本(圖像)特征，得到每個(gè)樣本的特征矩陣。特征矩陣導(dǎo)入全卷積網(wǎng)絡(luò)進(jìn)行訓(xùn)練，可獲得相應(yīng)的分類網(wǎng)絡(luò)，由分類網(wǎng)絡(luò)即可完成對(duì)目標(biāo)物體的檢測。

1.2 單應(yīng)矩陣

單應(yīng)矩陣(homography matrix)是透視投影幾何中2個(gè)平面之間映射關(guān)系的一種矩陣表示。在計(jì)算機(jī)視覺中，單應(yīng)矩陣常用來描述空間物理平面與圖像平面對(duì)應(yīng)點(diǎn)間一一對(duì)應(yīng)的幾何關(guān)系。如圖2所示，Oc-XcYcZc為攝像機(jī)坐標(biāo)系，o-uv為圖像坐標(biāo)系，在攝像機(jī)坐標(biāo)系下，攝像機(jī)原點(diǎn)和光軸為Z軸?？臻g平面Π中的點(diǎn)P投影到圖像平面π中，在空間平面建立世界坐標(biāo)系，定義P點(diǎn)的齊次坐標(biāo)為P=(Xw,Yw,Zw,1)T，對(duì)應(yīng)圖像平面點(diǎn)的齊次坐標(biāo)為p=(u,v,1)T。在透視幾何投影中，可以得到如下關(guān)系(Mitchell, 2012)：

(1)

式中：fx、fy、u0、v0為攝像機(jī)內(nèi)部參數(shù)；R、t為攝像機(jī)外部參數(shù)；s為系數(shù)(Zhang, 2000; Shao, 2020)。

設(shè)

(2)

則式(1)可被重寫為：

sp=MP。

(3)

由于世界坐標(biāo)系建立在空間平面Π上，因此式(3)可表示為：

sp=HP。

(4)

式中：H=[M1,M2,M4]，即單應(yīng)矩陣表示空間平面Π到圖像平面π的映射關(guān)系(Hartleyetal.， 2003)。

圖3 木材缺陷示意Fig.3 Images of wood defects

圖2 單應(yīng)矩陣空間原理Fig.2 Principle of homography matrix

1.3 木材挑選規(guī)則

1.3.1 木材缺陷 對(duì)于一根木材，缺陷是最先應(yīng)該被處理的部分。缺陷主要包括節(jié)疤、蟲眼和裂紋等，其存在會(huì)降低木材局部強(qiáng)度，增加木材開裂概率。木材缺陷種類較多，如圖3所示。

1.3.2 木材等級(jí) 去除缺陷后，需對(duì)無缺陷木材進(jìn)行等級(jí)分類。不同廠家的分類標(biāo)準(zhǔn)各異，通常情況下木材被分成4個(gè)等級(jí)，即直紋木板(straight grain,SG)、花紋木板(wavy grain,WG)、色差木板(color difference,CD)和色變木板(wood strain,WS)，每一等級(jí)又可被細(xì)分為更多等級(jí)。基礎(chǔ)等級(jí)圖像如圖4所示。

圖4 木材等級(jí)分類示意Fig.4 Images of wood grade classificationa.直紋木板Straight grain; b.花紋木板Wavy grain; c.色差木板Color difference; d.色變木板Wood strain.

圖5 木材圖像感興趣區(qū)域提取結(jié)果Fig.5 Extraction of wood images from region of interestA為原始圖像A is the original image; B為感興趣區(qū)域B is the region of interest; C為最終提取結(jié)果C is the extracted image.

2 木材優(yōu)選鋸視覺檢測系統(tǒng)

基于深度學(xué)習(xí)的木材優(yōu)選鋸視覺檢測系統(tǒng)，其具體工作流程如下： 1)將木材置于傳送帶上，確保其能在傳送帶上正常傳送； 2)木材通過優(yōu)選鋸視覺檢測系統(tǒng)，確保其能在視覺檢測系統(tǒng)中清晰成像，通過視覺檢測系統(tǒng)后，會(huì)得到一系列木材圖像； 3)由訓(xùn)練得到的用于區(qū)分缺陷和無缺陷圖像的識(shí)別網(wǎng)絡(luò)，即可確定缺陷木材在圖像中的位置； 4)對(duì)于無缺陷木材，由訓(xùn)練得到的木材等級(jí)識(shí)別網(wǎng)絡(luò)進(jìn)行分類，即可確定木材等級(jí)分類在圖像中的位置； 5)根據(jù)圖像平面與木材物理平面之間的單應(yīng)關(guān)系，即可由步驟3、4中的圖像坐標(biāo)得到需截?cái)辔恢玫奈锢碜鴺?biāo)(Huang, 2015; Shaoetal.， 2020b)，進(jìn)而確定整個(gè)木材切除位置列表。

2.1 圖像處理

木材測量環(huán)境較為復(fù)雜，視覺檢測系統(tǒng)難免會(huì)捕捉到除木材外的其他圖像(Steger, 1998)，因此在圖像檢測前需對(duì)捕捉到的木材圖像進(jìn)行感興趣區(qū)域(region of interest,ROI)分割。具體算法如下： 1)基于大津法確定圖像灰度直方圖的全局閾值，應(yīng)用全局閾值對(duì)圖像進(jìn)行分割； 2)選擇最大區(qū)域，應(yīng)用形態(tài)學(xué)閉操作對(duì)最大區(qū)域內(nèi)部孔洞進(jìn)行填充； 3)選擇包含區(qū)域的最大矩形，該矩形即為木材圖像的感興趣區(qū)域。

為便于操作，在獲取到感興趣區(qū)域后，對(duì)圖像進(jìn)行縮放，使每個(gè)圖像大小相同。獲取到的圖像以及相應(yīng)的處理結(jié)果如圖5所示。

2.2 特征提取

選取一系列合適的卷積核對(duì)圖像進(jìn)行卷積操作。一個(gè)卷積核對(duì)圖像進(jìn)行卷積，可獲取一副卷積圖像，一系列大小不同的卷積核對(duì)圖像進(jìn)行卷積操作，可獲取一系列卷積圖像，稱為特征圖譜(Razavianetal.， 2014; Shiuetal.， 1989)。圖像卷積，即卷積核在圖像X和Y方向上進(jìn)行點(diǎn)乘加和操作。當(dāng)選擇卷積核函數(shù)時(shí)，有可能出現(xiàn)負(fù)值，對(duì)于圖像而言，負(fù)值是不能存在于圖像中的。因此，定義如下非飽和激活函數(shù)：

(5)

該函數(shù)在不影響接收域的前提下，可增加決策函數(shù)的非線性特性。通常情況下，特征圖譜較大，圖像的計(jì)算效率較低，需對(duì)特征圖譜進(jìn)行降采樣，并提取主成分，該過程稱為池化(Zheng, 2009; Ismailetal.， 2015)。用于池化的函數(shù)很多，最為常用的是最大池化函數(shù)：

f(x)=max(0,x)。

(6)

當(dāng)用于卷積操作的一系列卷積核函數(shù)在圖像X和Y方向上進(jìn)行卷積時(shí)，被卷積區(qū)域的最大值將被用來作為輸出值。特征提取過程如圖6所示。

圖6 特征提取流程Fig.6 The flowchart of feature extraction

2.3 訓(xùn)練

將獲取到的木材圖像分為有缺陷和無缺陷圖像2類，并用全卷積網(wǎng)絡(luò)進(jìn)行處理。每類樣本(圖像)選擇充足數(shù)量進(jìn)行訓(xùn)練，通過提取每個(gè)樣本(圖像)特征，得到每個(gè)樣本的特征矩陣。特征矩陣導(dǎo)入全卷積網(wǎng)絡(luò)進(jìn)行訓(xùn)練，可獲得能夠區(qū)分有缺陷和無缺陷圖像的分類網(wǎng)絡(luò)，定義為網(wǎng)絡(luò)1； 同樣，應(yīng)用全卷積網(wǎng)絡(luò)訓(xùn)練可獲得對(duì)于無缺陷圖像進(jìn)行木材等級(jí)識(shí)別的網(wǎng)絡(luò)，定義為網(wǎng)絡(luò)2 (Heetal.， 2019; Jietal.， 2012)。

3 試驗(yàn)結(jié)果

采用DAHENG MER-050-200GM工業(yè)相機(jī)進(jìn)行檢測，圖像分辨率為800像素×600像素，幀頻為200FPS，計(jì)算得到攝像機(jī)圖像平面和木材物理平面之間的單應(yīng)矩陣(Safaee-Radetal.，1992)為：

(7)

計(jì)算機(jī)采用Intel I7-6700八核處理器，處理速度為3.4 GHz，顯卡采用NVIDIA GTX 1050Ti，其GPU計(jì)算能力為6.1。由于采用的工業(yè)攝像機(jī)為黑白相機(jī)，因此在木材類別訓(xùn)練和分類過程中，僅對(duì)直紋和花紋木材進(jìn)行分類。

3.1 訓(xùn)練結(jié)果

每類木材選取5 000副圖像作為樣本，其中4 000副用于訓(xùn)練、1 000副用于驗(yàn)證。樣本驗(yàn)證錯(cuò)誤概率與迭代次數(shù)的關(guān)系如圖7所示。

圖7 網(wǎng)絡(luò)訓(xùn)練結(jié)果Fig.7 The result of training

3.2 檢測結(jié)果

首先應(yīng)用網(wǎng)絡(luò)1獲取缺陷在木材圖像上的位置(圖8)，根據(jù)圖像平面與木材物理平面之間的單應(yīng)關(guān)系計(jì)算木材缺陷在物理尺寸上的位置； 然后應(yīng)用網(wǎng)絡(luò)2對(duì)無缺陷木材圖像進(jìn)行識(shí)別，進(jìn)而確定木材等級(jí)的分類位置(圖9)。

對(duì)1 000幅木材圖像進(jìn)行缺陷檢測和等級(jí)分類，結(jié)果如表1所示。

圖8 木材缺陷位置檢測結(jié)果Fig.8 Results of defect detection

圖9 木材等級(jí)分類結(jié)果Fig.9 Results of grade classification

表1 檢測算法結(jié)果Tab.1 Results of detection algorithm

4 討論

在木料加工行業(yè)，如何最大限度發(fā)揮木材價(jià)值、提高工作過程的安全性和效率一直是人們研究的主要目標(biāo)。根據(jù)此目的，本研究將深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)與計(jì)算機(jī)視覺相關(guān)知識(shí)結(jié)合，應(yīng)用于木材缺陷識(shí)別和等級(jí)分類。結(jié)果表明，在本研究試驗(yàn)條件下，基于深度學(xué)習(xí)的木材優(yōu)選鋸視覺檢測算法單幅圖像缺陷檢測時(shí)間為123 ms，缺陷檢測正確率為95.8%，單幅圖像等級(jí)分類識(shí)別時(shí)間為55 ms，分類識(shí)別正確率為97.1%，平均檢測時(shí)間為86 ms，平均正確率為96.5%。相比現(xiàn)下人工檢測過程，精度和效率均顯著提升。與目前絕大多數(shù)優(yōu)選鋸檢測工藝相比，該方法可進(jìn)一步提高木材的出材率和準(zhǔn)確性，在提升工作效率的同時(shí)，能夠保證生產(chǎn)安全，實(shí)現(xiàn)全自動(dòng)木材優(yōu)選工作。

5 結(jié)論

本研究提出一種基于深度學(xué)習(xí)的木材優(yōu)選鋸視覺檢測算法： 1)通過充足樣本訓(xùn)練獲得木材缺陷和木材等級(jí)識(shí)別網(wǎng)絡(luò)； 2)視覺傳感器獲取需檢測木材圖像，由木材缺陷識(shí)別網(wǎng)絡(luò)確定木材缺陷的具體位置； 對(duì)于無缺陷木材，由木材等級(jí)識(shí)別網(wǎng)絡(luò)確定視覺傳感器視場內(nèi)木材的具體等級(jí)； 3)根據(jù)圖像平面與木材物理平面之間的單應(yīng)關(guān)系確定木材最終切除位置列表?；谏疃葘W(xué)習(xí)的木材優(yōu)選鋸視覺檢測算法運(yùn)行速度快、識(shí)別準(zhǔn)確率高、魯棒性強(qiáng)，可克服傳統(tǒng)優(yōu)選鋸分類不佳且需要人工干預(yù)的缺點(diǎn)，自動(dòng)化程度高，能夠滿足木材優(yōu)選鋸實(shí)時(shí)、準(zhǔn)確檢測要求。