基于圖像處理與深度學(xué)習(xí)方法的棉纖維梳理過(guò)程纖維檢測(cè)識(shí)別技術(shù)

邵金鑫，張寶昌,2，曹繼鵬

(1. 北京航空航天大學(xué) 自動(dòng)化科學(xué)與電氣工程學(xué)院，北京 100191； 2. 深圳航天科技創(chuàng)新研究院，廣東 深圳 518057； 3. 遼東學(xué)院 遼寧省功能紡織材料重點(diǎn)實(shí)驗(yàn)室，遼寧 丹東 118003)

梳棉機(jī)高速梳理過(guò)程中的原理細(xì)節(jié)的研究是棉紡織領(lǐng)域的盲點(diǎn)，用可視化和圖像分析技術(shù)重新審視和分析纖維在梳棉機(jī)梳理過(guò)程中的運(yùn)動(dòng)，對(duì)梳理蓋板、纖維轉(zhuǎn)移以及均勻混合、固定蓋板梳理作用、棉網(wǎng)清潔器、針布類(lèi)型等方面進(jìn)行研究，可提供新的視角和方法，也為實(shí)現(xiàn)纖維梳理要求，減少纖維損傷和提高纖維轉(zhuǎn)移率，優(yōu)化梳理組件提供新的直接方式。

由于梳理速度快(刺輥速度達(dá)1 400 r/min[1])，棉纖維線密度極小[2]，梳棉機(jī)的工作條件不允許破壞(梳理過(guò)程中無(wú)法在設(shè)備內(nèi)架設(shè)其他裝置)，傳統(tǒng)的光電檢測(cè)方法不適用于在高速運(yùn)轉(zhuǎn)中的梳棉機(jī)內(nèi)的棉纖維檢測(cè)[3]。瑞士的烏斯特公司與澳大利亞的BSC電子公司都曾開(kāi)發(fā)過(guò)基于光電傳感和圖像處理技術(shù)的纖維檢測(cè)試驗(yàn)儀，但內(nèi)部實(shí)現(xiàn)原理并未公開(kāi)，且需要將試樣在特定的檢測(cè)條件下送到實(shí)驗(yàn)儀器中，很明顯這些已有設(shè)備對(duì)于與梳棉機(jī)結(jié)合使用的場(chǎng)景并不適用[2]。對(duì)于這一問(wèn)題無(wú)論是從梳理設(shè)備內(nèi)部纖維信號(hào)的獲取，還是后續(xù)的對(duì)信號(hào)進(jìn)行檢測(cè)算法的設(shè)計(jì)，都存在很大的挑戰(zhàn)性。

為解決高速運(yùn)轉(zhuǎn)的梳棉機(jī)內(nèi)部棉纖維信號(hào)無(wú)法采集這一問(wèn)題，本文使用高速攝像結(jié)合圖像處理算法進(jìn)行棉纖維的檢測(cè)與識(shí)別。首先對(duì)梳棉機(jī)漏底部分進(jìn)行開(kāi)口，通過(guò)架設(shè)高速攝像機(jī)進(jìn)行內(nèi)部纖維運(yùn)動(dòng)過(guò)程的拍攝，得到一系列連續(xù)的梳理過(guò)程中混合有刺輥、光斑以及微弱纖維信號(hào)的檢測(cè)圖像；然后使用傳統(tǒng)的圖像處理方法，以及近年來(lái)較為流行的深度學(xué)習(xí)方法對(duì)檢測(cè)圖像進(jìn)行一系列的工業(yè)流程處理，分別使用檢測(cè)流程與生成模型對(duì)棉纖維進(jìn)行檢測(cè)與識(shí)別。

1 基本實(shí)驗(yàn)數(shù)據(jù)采集及處理流程說(shuō)明

1.1 基本實(shí)驗(yàn)數(shù)據(jù)采集

本文實(shí)驗(yàn)采用膠南永佳紡織機(jī)械制造有限公司生產(chǎn)的A186F型梳棉機(jī)進(jìn)行實(shí)驗(yàn)，通過(guò)在梳棉機(jī)漏底開(kāi)2.7 cm×2.7 cm的觀察口，使用加拿大Mega Speed Corp.公司生產(chǎn)的75KS2C3104型高速攝像機(jī)拍攝梳棉機(jī)工作狀態(tài)下梳理纖維的視頻。拍攝頻率為6 000幀/s，得到一系列連續(xù)運(yùn)動(dòng)的圖像，圖像分辨率為502像素×504像素，示例圖片如圖 1 所示。

圖1 樣本集示例圖片F(xiàn)ig.1 Sample image of dataset. (a) Sample 1; (b) Sample 2

由圖1可以看出，拍攝圖像底色全黑并帶有強(qiáng)烈的干擾模式，刺輥反光形成的針點(diǎn)形成了明顯的網(wǎng)狀結(jié)構(gòu)，在這些針點(diǎn)之間存在著模式較為明顯的刺輥反射的光斑，構(gòu)成了整個(gè)圖像的主要背景信息。在強(qiáng)烈的干擾模式下，依稀可在無(wú)干擾的空白部分看出稀疏的不太明顯的纖維信息。很明顯，在這種強(qiáng)干擾模式下，如果不經(jīng)過(guò)處理，即使是人眼也很難對(duì)圖像中的紗線進(jìn)行有效地識(shí)別。

1.2 流程說(shuō)明

整體檢測(cè)流程如圖2所示。

圖2 檢測(cè)流程圖Fig.2 Detection process

對(duì)于原始圖像，首先通過(guò)圖像去噪算法得到去除纖維信息而只保留針點(diǎn)與光斑的平滑圖像，然后通過(guò)圖像做差得到殘差圖像，即為棉纖維特征初提取圖像；針對(duì)特征初提取圖像纖維邊界模糊的特點(diǎn)，使用超分辨率重構(gòu)算法增加圖像的梯度，便于人眼的進(jìn)一步觀察以及計(jì)算機(jī)邊緣識(shí)別；最后使用合理的纖維邊緣勾畫(huà)算法對(duì)纖維邊緣進(jìn)行勾畫(huà)，得到最終的處理結(jié)果。

之后嘗試使用生成模型進(jìn)行棉纖維特征信息提取工作。通過(guò)500張?jiān)紙D像以及500張經(jīng)過(guò)特征增強(qiáng)的處理圖像作為CycleGAN模型訓(xùn)練的輸入與輸出，使用新的測(cè)試集圖像測(cè)試生成模型的生成效果。

2 基本檢測(cè)流程

2.1 特征初步提取

根據(jù)圖1所示圖像數(shù)據(jù)特點(diǎn)，可發(fā)現(xiàn)刺輥的光斑和針點(diǎn)信息較強(qiáng)并具有明顯的分布規(guī)律，而纖維的信息較弱，并較為稀疏?？蓪⒐獍吆歪橖c(diǎn)的信息作為圖像本身要提取的模式特征，將纖維作為噪聲信息，把勾畫(huà)纖維特征的問(wèn)題轉(zhuǎn)化為一個(gè)提取去噪殘差的圖像去噪問(wèn)題，則要提取的特征為

If=Ip-Ic

(1)

式(1)可理解為通過(guò)原始圖像(Ip)減去平滑后的圖像(Ic)得到殘差圖像，即為要提取的纖維特征圖像(If)。簡(jiǎn)單來(lái)說(shuō)，對(duì)于一個(gè)往干凈圖像中加噪聲的過(guò)程，是一個(gè)有定解的穩(wěn)定問(wèn)題，但對(duì)于去噪這個(gè)逆問(wèn)題，則是一個(gè)非存在唯一穩(wěn)定解的問(wèn)題[4]，類(lèi)似于超定方程的求解過(guò)程，沒(méi)有嚴(yán)格的限定條件就不能得到穩(wěn)定的解。因此，一般來(lái)說(shuō)，去噪的效果更多的取決于對(duì)噪聲性質(zhì)的假設(shè)程度和對(duì)圖像本身性質(zhì)結(jié)構(gòu)的估計(jì)。對(duì)于每種去噪方法，都有各自的估計(jì)特點(diǎn)，而對(duì)于這樣的實(shí)際工業(yè)問(wèn)題來(lái)說(shuō)，去噪殘差提取效果無(wú)法用真值(正樣本)來(lái)進(jìn)行比對(duì)，只能通過(guò)人眼的觀察進(jìn)行判斷。對(duì)于這一問(wèn)題，在測(cè)試了主要的去噪算法之后，最終選定多級(jí)小波卷積神經(jīng)網(wǎng)絡(luò)(MWCNN)方法進(jìn)行去噪殘差的提取[5]，其網(wǎng)絡(luò)結(jié)構(gòu)如圖 3 所示。

圖3 多級(jí)小波卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.3 Network structure of MWCNN

該結(jié)構(gòu)的主要特點(diǎn)為在語(yǔ)義分割網(wǎng)絡(luò)U-Net訓(xùn)練框架上，引入了小波變換及逆變換代替原有的卷積與反卷積操作進(jìn)行圖像尺度的變換，屬于傳統(tǒng)圖像處理方法與深度學(xué)習(xí)方法的融合，可減少連接形成的子網(wǎng)絡(luò)的特征圖大小，以便在計(jì)算效率以及感受野(receptive field)大小間得到更好的權(quán)衡結(jié)果。

使用前期實(shí)驗(yàn)預(yù)訓(xùn)練模型，即使用200張伯克利分割數(shù)據(jù)集(BSD)、800張DIV2K數(shù)據(jù)集、4 744張滑鐵盧探索數(shù)據(jù)集(WED)在高斯噪聲標(biāo)準(zhǔn)差水平為15、25、50的條件下預(yù)訓(xùn)練圖像去噪重構(gòu)模型。最終經(jīng)過(guò)不斷測(cè)試，認(rèn)為預(yù)估計(jì)噪聲標(biāo)準(zhǔn)差水平為15時(shí)去噪殘差提取肉眼評(píng)價(jià)效果最好。當(dāng)估計(jì)噪聲標(biāo)準(zhǔn)差水平為15時(shí)，所得到的殘差提取結(jié)果如圖4所示。

圖4 示例1和2初步提取特征的提取效果Fig.4 Effect of preliminary feature extraction of sample 1 (a) and sample 2 (b)

從圖4可看出：殘差中針點(diǎn)和光斑信息基本都得到了去除，而纖維信息保留較為完好，且有輕微的平滑效果；另外還有一些圖像本身帶有的模糊效果影響觀察?？傮w而言，纖維的特征已基本得到了提取，但由于平滑效果和模糊塊的影響，還達(dá)不到能進(jìn)行邊界勾畫(huà)的效果。

2.2 特征增強(qiáng)

很明顯，對(duì)于上述初步提取得到的信息圖像，需要進(jìn)行圖像增強(qiáng)以便進(jìn)行特征的邊緣勾畫(huà)操作。如果圖像的梯度變化較為平滑，則圖像較為模糊；而如果圖像的梯度變化較為劇烈，則圖像較為清晰[6]。從某種程度上來(lái)說(shuō)，超分辨率重構(gòu)算法是一種增加圖像梯度使圖像邊緣更清晰的操作,其公認(rèn)的定義為利用圖像特征的先驗(yàn)知識(shí)，在不改變拍攝條件的情況下，利用低分辨率圖像合成出細(xì)節(jié)信息更豐富的圖像的過(guò)程[7]，從而更好地作出輪廓的提取。在這一思路下，使用深度卷積超分辨率重構(gòu)網(wǎng)絡(luò)(SRCNN)的超分辨率重構(gòu)方法[8]進(jìn)行效果重構(gòu)，該網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

圖5 深度卷積超分辨率重構(gòu)網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.5 Network structure of image super-resolution using deep convolutional networks

深度卷積超分辨率重構(gòu)網(wǎng)絡(luò)是深度學(xué)習(xí)方法在圖像超分辨率重構(gòu)領(lǐng)域應(yīng)用的開(kāi)創(chuàng)性方法，通過(guò)3層卷積層的方法模擬了超分辨率重構(gòu)中的稀疏編碼方法[9]：通過(guò)第1層c×f1×f1×n1大小的卷積核提取輸入圖像的圖像塊，映射到n1張低分辨率特征中，相當(dāng)于稀疏編碼方法中將圖像塊映射到低分辨率字典中；再通過(guò)第2層n1×f2×f2×n2大小的卷積核將n1張低分辨率特征圖映射到n2張高分辨率特征圖，相當(dāng)于通過(guò)稀疏編碼中的字典學(xué)習(xí)的方法找到圖像塊所對(duì)應(yīng)的高分辨率字典；最后通過(guò)n2×f3×f3×c大小的卷積核將n2張高分辨率特征圖卷積成高分辨率的c通道原始圖像，相當(dāng)于字典學(xué)習(xí)中通過(guò)高分辨率字典進(jìn)行超分辨率圖像重建。

使用文獻(xiàn)[8]預(yù)訓(xùn)練模型，即使用從ImageNet數(shù)據(jù)集中選擇的395 909張圖片作為訓(xùn)練數(shù)據(jù)，所選取的卷積參數(shù)為n1=64、n2=32、f1=9、f2=5、f3=5,使用單通道圖像(灰度)即c=1進(jìn)行超分辨率模型訓(xùn)練。測(cè)試使用圖像超分辨率縮放倍數(shù)即下采樣因子(upscaling factor)x=3，對(duì)圖4中初步提取特征的提取效果圖進(jìn)行超分辨率重構(gòu)時(shí)，可得到如圖6所示的結(jié)果。

圖6 示例圖片1和2的超分辨率重構(gòu)后的 纖維檢測(cè)效果Fig.6 Effect of fiber detection after super-resolution reconstruction of sample 1 (a) and sample 2 (b)

由圖6可以看出，相比較于信息初步提取得到的纖維檢測(cè)效果，超分辨率重構(gòu)得到的纖維邊緣更加清晰，更易與背景進(jìn)行分離，通過(guò)這一步得到的結(jié)果更易進(jìn)行下一步纖維特征的勾畫(huà)。

2.3 特征勾畫(huà)

超分辨率重構(gòu)后纖維的邊界特征雖然被增強(qiáng)，但本身的模糊效果和噪聲水平同樣被增強(qiáng)，這是由數(shù)據(jù)集本身的特點(diǎn)決定的，因此，使用簡(jiǎn)單的基于圖像梯度的勾畫(huà)方法(如以索貝爾、坎尼算子為基礎(chǔ)的梯度勾畫(huà)方法[10]，這種勾畫(huà)方法往往有固定的梯度方向)很難得到有效的結(jié)果。一般的圖像邊緣檢測(cè)算法更適合于無(wú)噪聲、無(wú)擾動(dòng)、邊緣清晰的理想圖像，對(duì)于這種強(qiáng)噪聲狀態(tài)下纖維信號(hào)的檢測(cè)大都得不到理想的結(jié)果，因此，本文使用一種利用各方向梯度差值進(jìn)行強(qiáng)噪聲條件下多尺度邊緣檢測(cè)與纖維增強(qiáng)的方法[11]，如果纖維尺度較大則做邊緣檢測(cè)，如果尺度較小則相當(dāng)于纖維增強(qiáng)。算法流程為：首先以多個(gè)長(zhǎng)度和方向計(jì)算方向梯度；然后使用多尺度自適應(yīng)閾值檢測(cè)重要響應(yīng)；最后通過(guò)遞歸決策過(guò)程識(shí)別相干邊緣。具體實(shí)現(xiàn)原理可簡(jiǎn)要表示為以下過(guò)程。

1)將圖像分為3像素×3像素的小塊，分別計(jì)算像素分布的最小標(biāo)準(zhǔn)差。統(tǒng)計(jì)整個(gè)圖像最小標(biāo)準(zhǔn)差的分布，取主要值來(lái)估計(jì)圖像的噪聲水平，為N(0,σ2)，即代表整個(gè)圖像的噪聲水平滿(mǎn)足均值為0，標(biāo)準(zhǔn)差為σ的正態(tài)分布。

2)在上述噪聲水平的估計(jì)條件下，w×l大小的面積內(nèi)由噪聲產(chǎn)生的梯度響應(yīng)可估計(jì)為

(2)

3)在一定近似條件下推導(dǎo)認(rèn)為，在整體像素為N時(shí)，長(zhǎng)為l、寬為w的非噪聲引起的梯度響應(yīng)的閾值應(yīng)為

(3)

(4)

式中，F(xiàn)為積分。I(x,y)表示二維圖像域中圖像強(qiáng)度的連續(xù)函數(shù)，所以γ、δ都是代表長(zhǎng)寬積分的變量。F表示為如下形式：

(5)

圖8 CycleGAN的模型結(jié)構(gòu)Fig.8 CycleGAN′s model structure

對(duì)圖6采用以上算法的勾畫(huà)結(jié)果如圖7所示，其中深色部分為勾畫(huà)后的纖維結(jié)果。可以看出，勾畫(huà)結(jié)果滿(mǎn)足了在強(qiáng)噪聲條件和邊界不清晰情況下對(duì)纖維邊緣特征的提取與增強(qiáng)，具有很強(qiáng)的說(shuō)服力，缺點(diǎn)是該方法對(duì)計(jì)算機(jī)的內(nèi)存和計(jì)算能力要求較高，在Intel Core i9-9900X，NVIDIA GEFORCE RTX 2080 Ti，64 GB RAM的計(jì)算機(jī)條件下，計(jì)算1張圖片需要十幾分鐘。

圖7 示例圖片1和2勾畫(huà)后的效果圖Fig.7 Sketched result sample 1 (a) and sample 2 (b)

3 通過(guò)生成模型進(jìn)行纖維特征提取

目前有很多生成模型用作圖像域之間的映射轉(zhuǎn)換，或者說(shuō)圖像翻譯，比如較為流行的生成對(duì)抗網(wǎng)絡(luò)(GAN)[12]。很多圖像到圖像的問(wèn)題都可歸結(jié)到圖像翻譯的范圍中來(lái)，比如分割、風(fēng)格遷移等。目前為止，使用生成模型進(jìn)行圖像域轉(zhuǎn)換得到的生成結(jié)果都好于使用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行監(jiān)督訓(xùn)練得到的結(jié)果，且由于生成模型是一種半監(jiān)督或者無(wú)監(jiān)督的模型，使用生成模型不需要進(jìn)行大量的數(shù)據(jù)標(biāo)注與匹配；為此，本文使用生成模型中的循環(huán)生成對(duì)抗網(wǎng)絡(luò)(CycleGAN)模型進(jìn)行圖像域之間的轉(zhuǎn)換[15]。相比于普通的GAN模型，CycleGAN模型引入了自然語(yǔ)言處理中2種語(yǔ)言循環(huán)翻譯以檢測(cè)翻譯模型效果的思想，通過(guò)建立正反向2組生成器(generator)和判別器(discriminitor)進(jìn)行循環(huán)生成來(lái)訓(xùn)練更好的生成模型，生成器和判別器都使用類(lèi)似于U-Net的卷積與轉(zhuǎn)置卷積結(jié)構(gòu)進(jìn)行訓(xùn)練，從而實(shí)現(xiàn)2種圖像域之間的轉(zhuǎn)換，因此，CycleGAN的優(yōu)勢(shì)在于不需要嚴(yán)格的圖像像素對(duì)應(yīng)關(guān)系，即可實(shí)現(xiàn)圖像域的轉(zhuǎn)換，生成模型整體結(jié)構(gòu)如圖 8 所示。

優(yōu)化的目標(biāo)函數(shù)和傳統(tǒng)的GAN網(wǎng)絡(luò)類(lèi)似，優(yōu)化目標(biāo)為生成器的目標(biāo)函數(shù)應(yīng)盡可能小，判別器的目標(biāo)函數(shù)應(yīng)盡可能大。定義數(shù)據(jù)域A、B的數(shù)據(jù)集合滿(mǎn)足如下數(shù)據(jù)樣本分布規(guī)律：

(6)

式中2個(gè)圖像域A、B中的圖像個(gè)體用小寫(xiě)字母a、b表示，圖像域中分別有n、m個(gè)個(gè)體，二圖像域中的數(shù)據(jù)滿(mǎn)足pdata(a)、pdata(b)規(guī)律的分布，其中圖像域轉(zhuǎn)換的生成器與判別器的表示法為

GAB:圖像域A→圖像域B的生成器；GBA:圖像域B→圖像域A的生成器；DA:圖像域A中圖像a與生成圖像GBA(b)的判別器；DB:圖像域B中圖像b與生成圖像GAB(a)的判別器。

將循環(huán)生成對(duì)抗網(wǎng)絡(luò)看作2個(gè)獨(dú)立的生成對(duì)抗網(wǎng)絡(luò)的組合，根據(jù)生成對(duì)抗網(wǎng)絡(luò)的定義[12]，可將單方向生成對(duì)抗網(wǎng)絡(luò)的損失函數(shù)寫(xiě)成如下表達(dá)式，如只取生成器GAB，判別器DB為

LGAN(GAB,DB,A,B)=Eb～pdata(b)[ln(DB(B))]+

Ea～pdata(a)[ln(1-DB(GAB(A)))]

(7)

Lcyc(GAB,GBA)=Ea～pdata(a)[‖GBA(GAB(a))-a‖1]+

Eb～pdata(b)[‖GAB(GBA(b))-b‖1]

(8)

則總體的損失函數(shù)為

L(GAB,GBA,DA,DB)=LGAN(GAB,DB,A,B)+

LGAN(GBA,DA,B,A)+λLcyc(GAB,GBA)

(9)

式中，λ為控制參數(shù)。

要求解的生成器模型可表示為

(10)

使用圖2中的采集數(shù)據(jù)和圖6中超分辨率重構(gòu)后的數(shù)據(jù)各500張分別作為圖像域A和圖像域B中的原始數(shù)據(jù)，進(jìn)行標(biāo)準(zhǔn)的CycleGAN模型訓(xùn)練，訓(xùn)練約40 000個(gè)迭代(epoch)時(shí)模型趨于收斂。

使用新的測(cè)試數(shù)據(jù)進(jìn)行訓(xùn)練結(jié)果的測(cè)試，測(cè)試從圖像域A到圖像域B的轉(zhuǎn)換生成模型(GAB)，為增強(qiáng)顯示結(jié)果中纖維信息與背景信息的對(duì)比度，對(duì)生成圖像進(jìn)行直方圖增強(qiáng)處理，結(jié)果如圖9所示。

圖9 CycleGAN模型的測(cè)試輸出結(jié)果Fig.9 Test output of CycleGAN model. (a) Test data 1; (b) Test data 2; (3)Output of test data 1; (4) Output of test data 2

由圖9可以看出，模型的生成結(jié)果很好地濾去了光斑的影響，但仍有部分針點(diǎn)信息干擾，原本模糊不清的纖維信息被提取地十分連續(xù)完好，方便人眼觀察，不過(guò)纖維與背景的邊界仍沒(méi)有完全分離，仍有待于模型網(wǎng)絡(luò)結(jié)構(gòu)的進(jìn)一步改進(jìn)，以提升提取信息的對(duì)比度。

4 結(jié) 論

本文在高速攝像機(jī)拍攝得到高干擾狀態(tài)下纖維梳理視頻后，通過(guò)特征初步提取、特征增強(qiáng)以及特征勾畫(huà)3個(gè)步驟實(shí)現(xiàn)了無(wú)正樣本下的纖維檢測(cè)任務(wù)；在得到特征增強(qiáng)的圖像后，將其作為生成器的訓(xùn)練正樣本，嘗試使用生成模型進(jìn)行有針對(duì)性的訓(xùn)練，根據(jù)數(shù)據(jù)本身的特點(diǎn)更好地提取要檢測(cè)的纖維信息，取得了很好的人眼識(shí)別效果。未來(lái)的改進(jìn)方向是通過(guò)更加有針對(duì)性的監(jiān)督方法進(jìn)行生成模型的訓(xùn)練，以期望實(shí)現(xiàn)更好的纖維檢測(cè)識(shí)別效果，比如可嘗試在生成器和判別器中加入條件變量來(lái)指導(dǎo)生成器進(jìn)行更有針對(duì)性的生成；或者可在圖像生成中嘗試一些實(shí)時(shí)交互的生成方法，通過(guò)人的預(yù)勾畫(huà)使生成結(jié)果更有針對(duì)性。