基于機(jī)器視覺(jué)的細(xì)紗管分類檢測(cè)

高暢 劉浩克 劉基宏

摘要： 為實(shí)現(xiàn)自動(dòng)絡(luò)筒機(jī)中紗管輸送裝置的余紗量檢測(cè)與紗管分類，文章提出一種基于機(jī)器視覺(jué)的紗管分類方法。將采集的紗管圖像分割為若干區(qū)域，以各分區(qū)前景、背景和凸包面積為基礎(chǔ)構(gòu)建反映目標(biāo)形態(tài)和對(duì)稱性的幾何特征;利用Gabor濾波器組增強(qiáng)目標(biāo)紋理信息，隨后通過(guò)主色提取和色差計(jì)算構(gòu)建各分區(qū)的紋理特征。采用多分類支持向量機(jī)利用提取特征進(jìn)行分類，將輸入樣本歸為空管、殘紗管和有紗管三類。分類算法交叉驗(yàn)證結(jié)果表明，在多種參數(shù)水平下，分類器對(duì)各種管壁顏色的棉紗紗管的分類準(zhǔn)確率達(dá)到96%以上。多品種紗線試驗(yàn)表明，分類器對(duì)不同細(xì)度和顏色紗線的紗管分類真陽(yáng)性率達(dá)到92%以上。

關(guān)鍵詞： 細(xì)絡(luò)聯(lián);紗管分揀;Gabor濾波;主色提取;支持向量機(jī)

中圖分類號(hào)： TS103.7

文獻(xiàn)標(biāo)志碼： A

文章編號(hào)： 1001-7003（2019）01-0028-05

引用頁(yè)碼： 011105

基于機(jī)器視覺(jué)的工業(yè)檢測(cè)技術(shù)在紡織領(lǐng)域具有廣闊應(yīng)用前景，其在織物疵點(diǎn)檢測(cè)[1]、異纖檢測(cè)[2]和染色評(píng)價(jià)[3]等工序都已有廣泛研究和較為成熟的解決方案。與傳統(tǒng)的人工檢測(cè)相比，機(jī)器視覺(jué)技術(shù)可大幅提升檢測(cè)速度與穩(wěn)定性;與現(xiàn)有的機(jī)械式檢測(cè)手段相比，則具有更簡(jiǎn)單可靠的硬件架構(gòu)，同時(shí)對(duì)品種變動(dòng)適應(yīng)性更強(qiáng)?，F(xiàn)有配備細(xì)絡(luò)聯(lián)的自動(dòng)絡(luò)筒機(jī)中，傳送軌道上包含多種余紗量的紗管，對(duì)紗管的分類主要由機(jī)械式檢測(cè)裝置實(shí)現(xiàn)，其與紗線或管壁存在接觸，可能對(duì)紗線品質(zhì)造成不利影響。而針對(duì)這一應(yīng)用場(chǎng)景的非接觸式技術(shù)方案當(dāng)前還相對(duì)匱乏，于是本文提出一種基于機(jī)器視覺(jué)的紗管分類方法，對(duì)待測(cè)紗管的幾何特征與紋理特征進(jìn)行提取，并采用支持向量機(jī)作為分類器，實(shí)現(xiàn)對(duì)不同形態(tài)紗管的檢測(cè)。

1?檢測(cè)裝置與方法

1.1?試驗(yàn)材料與裝置

試驗(yàn)用紗管為210mm塑料材質(zhì)細(xì)紗管，包含多種工廠中常見(jiàn)的顏色，通過(guò)人工退繞產(chǎn)生不同的余紗量。紗管由搭建的圖像采集裝置捕獲整根紗管圖像以進(jìn)行處理，圖像采集系統(tǒng)的主要組成部分包括相機(jī)（SONY IMX219）、光源（Nan Guang CN-Lux560 LED）及背景板。

1.2?融合特征提取

非接觸式紗管余紗量檢測(cè)面臨的挑戰(zhàn)主要來(lái)自兩個(gè)方面：第一，現(xiàn)實(shí)場(chǎng)景中的紗管管型、顏色種類繁多，且管紗隨余紗量的不同外形也會(huì)有明顯改變，簡(jiǎn)單的特征提取不能滿足復(fù)雜多變的應(yīng)用場(chǎng)合;第二，包纏極少量紗線的紗管，即殘紗管，其外形與空管相近，現(xiàn)有檢測(cè)方案不易做出準(zhǔn)確區(qū)分。為克服上述困難，提出融合外形與表面紋理的特征提取方案。

1.2.1?圖像預(yù)處理

圖像采集獲取圖像后，首先需要對(duì)其進(jìn)行角度校正，使紗管處于豎直狀態(tài);隨后剔除背景區(qū)域，僅保留前景最小外接矩形?，F(xiàn)有的特征提取方法可概括為三類：整體特征，如灰度共生矩陣和矩特征;區(qū)塊特征，如灰度梯度直方圖（histogram of oriented gradient，HOG）和Haar特征;點(diǎn)特征，如局部二值模式（local binary patterns，LBP）和Gabor濾波等。在紗線、紗管顏色多變、光照強(qiáng)度多變的應(yīng)用場(chǎng)景中，整體特征波動(dòng)較大，可靠性差;將采集圖像分區(qū)，提取區(qū)塊特征，則能較好地克服這些不確定因素帶來(lái)的不利影響。

1.2.2?幾何特征提取

豎直的紗管左右對(duì)稱，利用這一特點(diǎn)，將圖像沿紗管中軸平分為兩列，并沿縱向均分為若干行。設(shè)定n為分區(qū)數(shù)，定義區(qū)塊特征向量F1為：

F1是對(duì)管紗直徑與對(duì)稱性的離散量化表征，對(duì)余紗量的變化能夠提供較好的區(qū)分度。滿管與空管的F1特征較為相近，因此還需引入表征整個(gè)紗管外形特征的向量F2：

1.2.3?Gabor濾波器組濾波

幾何特征能夠判別包纏較多量紗線的紗管，而對(duì)于殘紗管與空管的區(qū)分則需要考慮二者表面顯著的紋理差異。本文采用二維Gabor濾波器對(duì)全部分區(qū)進(jìn)行濾波：根據(jù)極大響應(yīng)原則[4]構(gòu)建濾波器組，設(shè)定濾波器波長(zhǎng)與中心頻率比值為4.8，選擇多個(gè)不同的波長(zhǎng)值，產(chǎn)生多組濾波響應(yīng)，以滿足對(duì)不同細(xì)度紗線的適應(yīng)性，同時(shí)削弱噪聲干擾。二維Gabor濾波器具有方向性，為加快計(jì)算效率，僅選用與紗線走向相同的濾波器，同時(shí)僅計(jì)算Gabor虛部輸出，以強(qiáng)化紗管和紗線交界處的響應(yīng)。

1.2.4?紋理特征提取

濾波響應(yīng)維度較高，需要精簡(jiǎn)特征。對(duì)濾波結(jié)果分析發(fā)現(xiàn)，濾波前后各個(gè)像素點(diǎn)各通道梯度變化幅度顯著，因此可將這種差異作為表征特征。由于每個(gè)像素均存在上述幅值差異，為使特征選取更具代表性，首先提取每個(gè)分區(qū)的原圖和各個(gè)濾波后圖像的主色彩，隨后計(jì)算彼此色差，以此作為各分區(qū)紋理特征。目前的主流主色彩提取方法包括均值偏移[5]與聚類[6-7]和量化分區(qū)[8]等，這類方案計(jì)算相對(duì)復(fù)雜，同時(shí)需要人工設(shè)定分類數(shù)。而本文面臨的是小范圍、多分區(qū)的單一主色提取，因此設(shè)計(jì)了更為簡(jiǎn)單快速的提取算法。

計(jì)算出各濾波圖像主色彩后，需計(jì)算各分區(qū)輸出響應(yīng)與原圖之間色差。令k為濾波器數(shù)，Di為第i分區(qū)主色彩，Gi，j為第i分區(qū)第j個(gè)濾波輸出的主色彩，定義紋理特征F3如下：

演示了從紗管原圖和一個(gè)濾波輸出圖像中計(jì)算主色彩并構(gòu)造特征的過(guò)程。

1.3?紗管分類識(shí)別

支持向量機(jī)是具有良好泛化能力的二元分類器，通過(guò)設(shè)置不同的核函數(shù)可以實(shí)現(xiàn)線性或非線性分類。單個(gè)樣本經(jīng)過(guò)特征提取后產(chǎn)生F1、F2、F3三組向量，將三者連接即可將原始數(shù)據(jù)映射至高維空間，并作為支持向量機(jī)的輸入數(shù)據(jù)。紗管分揀需要將管紗按照余紗量分為空管、殘紗管和有紗管三類，為使支持向量機(jī)實(shí)現(xiàn)多分類，本文采用“一對(duì)一”訓(xùn)練方案[9]，即對(duì)每?jī)蓚€(gè)分類進(jìn)行二分類訓(xùn)練;在分類時(shí)將數(shù)據(jù)投入每個(gè)分類器中，根據(jù)分類結(jié)果投票產(chǎn)生樣本標(biāo)簽。

2?結(jié)果與分析

2.1?參數(shù)設(shè)定對(duì)比試驗(yàn)

紗管分類方案的參數(shù)包括分區(qū)數(shù)、濾波器數(shù)及各濾波器中心頻率大小，為探究不同參數(shù)水平下的分類效果，本文構(gòu)造了如表1所示的30個(gè)分類器并對(duì)其性能進(jìn)行試驗(yàn)。用于測(cè)試的樣本為不同余紗量的18.2tex白色棉紗，測(cè)試圖像共1085張，管紗類別由人工標(biāo)定，其中空管圖像164張，殘紗管356張，有紗管565張，各類別均囊括了紅、黃、藍(lán)、綠、白五種紗管顏色。本文分類檢測(cè)算法基于OpenCV和Scikit-Learn實(shí)現(xiàn)，并在Intel Core i5-6200U處理器下進(jìn)行試驗(yàn)。

試驗(yàn)采用k折交叉驗(yàn)證法[10]，其步驟為：將測(cè)試樣本隨機(jī)分為k折，選取k-1折作為訓(xùn)練集喂入支持向量機(jī)進(jìn)行訓(xùn)練，對(duì)剩余1折做分類測(cè)試，以正確分類數(shù)占該折樣本總數(shù)比例，即準(zhǔn)確率作為本次分類的評(píng)價(jià)指標(biāo);之后再選取1折進(jìn)行上述測(cè)試，如此重復(fù)k次，得到每折樣本的分類準(zhǔn)確率，取均值作為試驗(yàn)評(píng)價(jià)指標(biāo)，便完成一次交叉驗(yàn)證。與一般的訓(xùn)練集—測(cè)試集分類相比，交叉驗(yàn)證使每個(gè)樣本都有機(jī)會(huì)成為訓(xùn)練樣和測(cè)試樣，一定程度上避免了分類模型的過(guò)擬合和欠擬合，評(píng)估結(jié)果可信度高。本試驗(yàn)中設(shè)定k=10，并對(duì)每個(gè)分類器進(jìn)行10次交叉驗(yàn)證，統(tǒng)計(jì)10次測(cè)試的準(zhǔn)確率均值、標(biāo)準(zhǔn)差均值及運(yùn)行時(shí)間作為評(píng)價(jià)指標(biāo)。

隨著分區(qū)數(shù)和濾波器數(shù)量的增加，交叉驗(yàn)證的分類準(zhǔn)確率呈現(xiàn)上升走勢(shì)，同時(shí)標(biāo)準(zhǔn)差總體上逐漸縮小，說(shuō)明分類器泛化能力逐漸增強(qiáng)。此外，隨著分區(qū)數(shù)和濾波器數(shù)的上升，處理圖像所需時(shí)間也相應(yīng)增加。全部分類器中，30號(hào)分類器效果最為理想，準(zhǔn)確率達(dá)到96.91%，標(biāo)準(zhǔn)差為1.13%，其處理時(shí)間也最長(zhǎng)，平均單張用時(shí)0.644s。綜合而言，分區(qū)數(shù)大于等于70、濾波器中心頻率為{2，3，4，5}和{1，2，3，4，5}時(shí)，分類器檢測(cè)效果較好。

2.2?多種類紗線分類測(cè)試

為探究本文紗管分類算法對(duì)不同種類紗線的檢測(cè)魯棒性，選用包纏如表2所示的幾種紗線的殘紗管進(jìn)行分類試驗(yàn)。紗管包含紅、黃、藍(lán)、綠四種顏色，測(cè)試用分類器為表1中分類性能較為理想的17、18、19、20和27、28、29、30號(hào)。采用檢測(cè)殘紗管的真陽(yáng)性率（true positive rate，TPR）作為檢測(cè)評(píng)價(jià)指標(biāo)[11]，真陽(yáng)性率的定義為：

式中：TP表示實(shí)際為殘紗管，預(yù)測(cè)標(biāo)簽也為殘紗管的樣本數(shù);FN表示實(shí)際為殘紗管，預(yù)測(cè)標(biāo)簽為空管的樣本數(shù)。

TPR取值范圍為0～100%，越高說(shuō)明分類效果越好。試驗(yàn)結(jié)果如表2所示。

分類算法采用了多級(jí)Gabor濾波器，保證了不同紗線細(xì)度下的紋理特征提取;分區(qū)提取主色彩能夠有效降低不同顏色紗線與紗管的特征維度;基于色差向量化的策略對(duì)于未在訓(xùn)練過(guò)程中出現(xiàn)的紗線細(xì)度和顏色也能做出正確的擬合，保證分類魯棒性。這種基于相對(duì)差異構(gòu)造的分類器能夠在一定程度上減少訓(xùn)練所需樣本數(shù)，同時(shí)增強(qiáng)對(duì)未知樣本的預(yù)測(cè)準(zhǔn)確率。由表2可知，分類器對(duì)不同細(xì)度和顏色紗線的紗管分類真陽(yáng)性率達(dá)到92%以上。

3?結(jié)?論

本文提出了一種基于機(jī)器視覺(jué)的紗管分類方法，通過(guò)相機(jī)采集待測(cè)紗管圖像，利用設(shè)計(jì)的特征提取方法完成對(duì)輸入數(shù)據(jù)的向量化，隨后通過(guò)多分類支持向量機(jī)實(shí)現(xiàn)樣本分類。試驗(yàn)表明，該分類方法能夠?qū)展?、殘紗管和有紗管做出?zhǔn)確分類;檢測(cè)準(zhǔn)確性不受紗線類型和紗管顏色的影響;在光照波動(dòng)環(huán)境下，該方法也能保持較好地穩(wěn)定性。該方法分類精度高，計(jì)算負(fù)荷小，具備實(shí)時(shí)在線檢測(cè)的可行性，具有一定的應(yīng)用前景。

參考文獻(xiàn)：

[1]李文羽， 程隆棣. 基于機(jī)器視覺(jué)和圖像處理的織物疵點(diǎn)檢測(cè)研究新進(jìn)展[J]. 紡織學(xué)報(bào)， 2014， 35（3）： 158-164.

LI Wenyu， CHENG Longdi. New progress of fabric defect detection based on computer vision and image processing [J]. Journal of Textile Research， 2014， 35（3）： 158-164.

[2]師紅宇， 管聲啟. 基于視覺(jué)數(shù)據(jù)驅(qū)動(dòng)的棉花異性纖維檢測(cè)[J]. 絲綢， 2017， 54（5）： 36-42.

SHI Hongyu， GUAN Shengqi. Cotton foreign fibers detection based on visual data driven[J]. Journal of Silk， 2017， 54（5）： 36-42.

[3]ZHANG Jianxin， YANG Chong. Evaluation model of color difference for dyed fabrics based on the support vector machine [J]. Textile Research Journal， 2014， 84（20）： 2184-2197.

[4]傅一平， 李志能， 袁丁. 用于多類型邊緣提取的最佳Gabor濾波器設(shè)計(jì)[J]. 浙江大學(xué)學(xué)報(bào)（工學(xué)版）， 2004， 38（7）： 839-844.

FU Yiping， LI Zhineng， YUAN Ding. Design of optimized Gabor filter for multi-edges detection [J]. Journal of Zhejiang University （Engineering Science）， 2004， 38（7）： 839-844.

[5]TAO W， JIN H， ZHANG Y. Color image segmentation based on mean shift and normalized cuts [J]. IEEE Transactions on Systems， Man， and Cybernetics， Part B （Cybernetics）， 2007， 37（5）： 1382-1389.

[6]YANG N C， CHANG W H， KUO C M， et al. A fast MPEG-7 dominant color extraction with new similarity measure for image retrieval [J]. Journal of Visual Communication and Image Representation， 2008， 19（2）： 92-105.

[7]STEHLING R O， NASCIMENTO M A， FALCO A X. An adaptive and efficient clustering-based approach for content-based image retrieval in image databases[C]// Database Engineering and Applications， 2001 International Symposium on IEEE. 2001： 356-365.

[8]JIANG J， WENG Y， LI P J. Dominant colour extraction in DCT domain [J]. Image and Vision computing， 2006， 24（12）： 1269-1277.

[9]HSU C W， LIN C J. A comparison of methods for multiclass support vector machines[J]. IEEE Transactions on Neural Networks， 2002， 13（2）： 415-425.

[10]RODRIGUEZ J D， PEREZ A， LOZANO J A. Sensitivity analysis of k-fold cross validation in prediction error estimation [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2010， 32（3）： 569-575.

[11]DAVIS J， GOADRICH M. The relationship between precision-recall and ROC curves [C]// Proceedings of the 23rd International Conference on Machine Learning， ACM. 2006： 233-240.