張 揚(yáng),童有成
(1.寧波財(cái)經(jīng)學(xué)院 藝術(shù)設(shè)計(jì)學(xué)院,浙江 寧波 315175; 2.浙大寧波理工學(xué)院,浙江 寧波 315100)
紡織業(yè)是我國(guó)的傳統(tǒng)優(yōu)勢(shì)產(chǎn)業(yè),當(dāng)前正面臨著向信息化和工業(yè)化“兩化融合”轉(zhuǎn)型[1]。如何以信息智能技術(shù)為支撐,為紡織工業(yè)生產(chǎn)過程進(jìn)行科技賦能,取代或延伸傳統(tǒng)產(chǎn)業(yè)中的部分人工勞作,以此來提高產(chǎn)品品質(zhì)和生產(chǎn)效率是增強(qiáng)傳統(tǒng)產(chǎn)業(yè)競(jìng)爭(zhēng)優(yōu)勢(shì)的有效途徑之一。
機(jī)織物通常是由數(shù)以萬計(jì)的經(jīng)緯紗線交織而成,其紗線的排列關(guān)系是織造過程中重要的控制參數(shù)之一。若織造過程中的紗線排列及其密度檢測(cè)可單純依賴人工完成,則耗時(shí)費(fèi)力且效率低下,因此有必要開展基于機(jī)器視覺的紗線排列及其密度檢測(cè)等相關(guān)研究。
目前機(jī)器視覺在紡織領(lǐng)域應(yīng)用的研究主要從頻域和空間域2個(gè)方面展開。從頻域角度,通常圍繞紗線排列的周期性規(guī)律這一關(guān)鍵點(diǎn)展開,比如通過傅里葉變換[2-3],尋求最強(qiáng)“時(shí)—頻”對(duì)應(yīng)特征來重構(gòu)紗線圖像;或者利用小波變換[4]分解,強(qiáng)化水平和垂直2個(gè)方向子圖像并進(jìn)行重構(gòu)來實(shí)現(xiàn)織物密度的檢測(cè)。同時(shí)為了擴(kuò)大檢測(cè)算法的適用范圍和檢測(cè)精度,融入織物正反雙面融合技術(shù)[5-6]、神經(jīng)網(wǎng)絡(luò)[7]等算法。從空間域角度,常用的是灰度投影法,即經(jīng)緯紗線進(jìn)行垂直灰度積分投影[8],并利用紗線條干和間隙的灰度差進(jìn)行定位和分割。除此以外,在空間域也可利用灰度共生矩陣[9]通過求取紋理特征參數(shù)來計(jì)算織物密度?;诳臻g域的檢測(cè)算法比較直觀,但更易受到毛羽等噪音的影響產(chǎn)生局部極值而影響分割結(jié)果。
綜合已有相關(guān)研究文獻(xiàn),無論是基于頻域還是空間域,都需要對(duì)一維或者二維信號(hào)進(jìn)行濾波,從而得到有效信號(hào)。本文將基于具有“數(shù)學(xué)顯微鏡”的小波濾波而展開,首先利用小波變換和Radon變換進(jìn)行織物圖像的角度校正,再者在經(jīng)緯紗線灰度積分投影的基礎(chǔ)上,重點(diǎn)研究經(jīng)緯紗線投影曲線一維小波濾波,獲取經(jīng)緯紗線位置的定位,并進(jìn)行異常值的分析判別和紗線密度的檢測(cè)。
本文研究所采用的機(jī)織物圖像通過BenQ 5000s平板式CCD掃描儀獲取,圖像模式為RGB,圖像分辨率為1 200 dpi,即圖像中約472 pixel代表實(shí)際織物1 cm,灰度化處理后8位深的機(jī)織物圖像如圖1所示。
圖1 機(jī)織物圖像
由于人工擺放等原因,掃描所獲得的織物圖像經(jīng)(緯)紗與圖像的坐標(biāo)軸之間通常存在一定的方向偏差。角度方向的偏差,勢(shì)必對(duì)后續(xù)紗線的分割與密度的計(jì)算帶來一定的影響,因此結(jié)合二向織物經(jīng)緯紗呈90°交織,且經(jīng)密通常大于緯密等特點(diǎn),將基于小波分解的垂直圖像分量進(jìn)行Radon變換,以求取校正角度。
其中Radon變換在圖像領(lǐng)域常用以檢測(cè)直線,相關(guān)算法可以表示為式(1)。
(1)
式(1)的算法思維為將傳統(tǒng)xy平面內(nèi)的圖像f(x,y)投影到ρ-θ平面,并計(jì)算圖像在θ方向上的線積分,其結(jié)果為f(x,y)上相同方向排列的像素點(diǎn)會(huì)在ρ-θ平面上形成亮點(diǎn)[10],Radon變換示意圖見圖2。
圖2 Radon變換示意圖
從圖2可知,織物原圖上存在的大量紗線交織點(diǎn)對(duì)應(yīng)為二值化圖像中繁多的離散點(diǎn)和線段,并在“幅角—幅值”圖上表現(xiàn)為多處強(qiáng)亮光點(diǎn),即存在多個(gè)傾斜角度,這在一定程度上影響到直線檢測(cè)的精確性和效率。
在最大程度保證織物紋理特征信息基礎(chǔ)上,先對(duì)織物圖像進(jìn)行小波分解,再對(duì)分解得到的垂直圖像分量進(jìn)行二值化處理,后進(jìn)行Radon變換求得紗線校正角度。其中,經(jīng)過前期實(shí)驗(yàn)比較發(fā)現(xiàn),db1小波基函數(shù)由于其具有分解速度快,重構(gòu)圖像能保留更多細(xì)節(jié)等特點(diǎn),比其他小波基函數(shù)更適合處理織物圖像;同時(shí),此處織物圖像分解尺度為2較為適宜。db1小波分解算法[11]和相關(guān)圖片分別見式(2)和圖3。
(2)
圖4 垂直分量的二值化圖像和“幅角—幅值”圖
經(jīng)掃描儀掃描得到的織物,通常紗線表面的像素灰度值較高,紗線之間的黑色背景像素值較低,利用該特性可以將紗線與紗線、紗線與背景之間進(jìn)行分離。采用灰度積分投影,相關(guān)算法見式(3)、(4)。
(3)
(4)
式中:graywarp(i,j)、grayweft(i,j)分別為點(diǎn)在經(jīng)向、緯向的灰度投影,N、M分別為織物經(jīng)向、緯向的取值范圍。
圖1織物圖像經(jīng)方向校正后,其經(jīng)向灰度積分投影曲線如圖5所示。
圖5 經(jīng)向灰度投影曲線
以圖5中圓圈標(biāo)注的2處局部極大值為例,本應(yīng)該對(duì)應(yīng)圖1織物中左邊4根偏灰色經(jīng)紗的投影,但實(shí)際上在投影曲線圖中未能得以真實(shí)反應(yīng)。同樣,其他極值點(diǎn)也未能如實(shí)反應(yīng)出經(jīng)紗位置。
究其原因,可以基于2方面來分析。第一,基于織物構(gòu)成視角,經(jīng)紗通常較細(xì)密,這給機(jī)器識(shí)別紗線位置帶來天然的麻煩。要求機(jī)器識(shí)別須在高倍光學(xué)分辨率下進(jìn)行(本文取1 200 dpi),而在高倍分辨率下紗線間的間隔有可能被一定程度地放大,同樣毛羽的影響也被放大,這就是灰度積分曲線高低參差不齊,或夸大或縮小紗線位置的原因之一。第二,從圖像模式識(shí)別角度來看,只有通過一定的濾波方法來弱化毛羽、光照不均勻等圖像噪音的影響,才能確定曲線極值點(diǎn)的判別,并通過極值點(diǎn)來定位紗線位置。為此,選用小波變換對(duì)一維積分投影曲線信號(hào)進(jìn)行濾波。
被譽(yù)為“數(shù)學(xué)顯微鏡”的小波濾波,基于其母函數(shù)可以對(duì)所處理的信號(hào)進(jìn)行時(shí)間和尺度上的平移,能自動(dòng)適應(yīng)各頻率成分。紗線的一維積分投影曲線信號(hào)為空間域上的離散信號(hào),其相關(guān)離散小波的算法[12]見式(5)、(6)。
(wψf)=(a,b)=〈f(t),ψa,b(t)〉=
(5)
(6)
式中:ψ、a、b和φ分別為小波母函數(shù)、尺度因子、平移因子和小波基函數(shù)。
基于式(6)可以對(duì)信號(hào)進(jìn)行多尺度的高通和低通濾波,并分別得到每一層次的高頻信號(hào)和低頻信號(hào),信號(hào)的一維小波分解示意圖見圖6,由圖示出,S為圖5的經(jīng)向灰度投影曲線信號(hào),為待濾波信號(hào)。cdi(i=1,2,…,n)為第i層次的高頻細(xì)節(jié)分量,高頻細(xì)節(jié)分量為小尺度因子段,在波形上表現(xiàn)出短時(shí)突變的形式。短時(shí)突變?cè)谛盘?hào)上可表現(xiàn)為局部極值點(diǎn),因此高頻細(xì)節(jié)分量在內(nèi)容上可以反映出更多的紗線位置信號(hào)細(xì)節(jié)信息。相反,作為第i層次的低頻信號(hào)cai(i=1, 2, …,n)為大尺度因子段,內(nèi)容信息相對(duì)簡(jiǎn)約,但在波形上與原信號(hào)基本保持一致,作用時(shí)間跨度大。所以,首先將灰度積分投影曲線進(jìn)行小波首層分解,其次再對(duì)低頻系數(shù)進(jìn)一步分解,重點(diǎn)是分析每一層次高頻細(xì)節(jié)分量的極值,即紗線中心點(diǎn)位置或紗線間隔點(diǎn)位置。
圖6 信號(hào)的一維小波分解示意圖
同時(shí),在小波基的選擇上,在考慮緊支撐性、正則性和消失矩等基本標(biāo)準(zhǔn)的基礎(chǔ)上,經(jīng)過對(duì)haar、db、sym、coif、meyr和demy等小波基多次實(shí)驗(yàn)發(fā)現(xiàn),demy小波用以紗線灰度投影曲線濾波性能出色,并且濾波后的信號(hào)在波形上更直觀。
小波作用閾值在信號(hào)的降噪過程中起到關(guān)鍵性作用。經(jīng)過前期實(shí)驗(yàn)對(duì)Stein無偏似然估計(jì)閾值(rigsure)、長(zhǎng)度對(duì)數(shù)閾值(sqtwolong)、啟發(fā)式 sure閾值(heursure)和極大極小閾值(minimaxi)4種方法[13]的比較,閾值規(guī)則sqtwolong最適合紗線分割。Sqtwolong為軟閾值,相關(guān)算法見式(7)、(8)。
(7)
(8)
圖7 高頻細(xì)節(jié)分量(cd1~cd4)
由圖7、8示出,經(jīng)demy小波濾波后的高頻細(xì)節(jié)分量比原信號(hào)更光滑,即短時(shí)突變非常明顯,保留了紗線灰度值的極值點(diǎn)等細(xì)節(jié),尤其是第3層次的高頻信號(hào)分量cd3的局部極大值(或極小值點(diǎn))基本還原了原信號(hào)的局部峰值等突變點(diǎn)。與同為第3層次的低頻信號(hào)ca3(見圖8)相比較,ca3內(nèi)容更為簡(jiǎn)略,但在波形形式上基本與原信號(hào)保持一致,類似于原信號(hào)的大比例尺寸圖。
圖8 低頻細(xì)節(jié)分量ca3
基于高頻信號(hào)cd3的極小值點(diǎn)見圖9,其結(jié)果經(jīng)紗相鄰間隙位置點(diǎn)見圖10。其中,原來圖5中的2個(gè)局部極大值點(diǎn)經(jīng)小波濾波后變成4個(gè)極值點(diǎn),見圖9中畫圈的局部極大值,其結(jié)果能夠如實(shí)反映出實(shí)物紗線的情況。用同樣的方法,可以得到緯紗的位置分割。起絨織物的經(jīng)紗位置局部分割圖見圖11。
圖9 高頻信號(hào)cd3的極小值點(diǎn)
圖10 經(jīng)紗位置分割圖(局部)
圖11 起絨織物經(jīng)紗位置分割圖(局部)
結(jié)合圖7、8進(jìn)一步可知,小波濾波分解層次i的取值與織物的密度和表面的毛羽程度有關(guān)。織物越密,表面毛羽越多,說明信號(hào)噪音越多,需要濾波分解層次i取值越大。但同時(shí)分解層數(shù)越大,信號(hào)重構(gòu)時(shí)失真也越大,因此一般i的取值以3~4為宜。
為了進(jìn)一步檢驗(yàn)所提出的相關(guān)算法,在Intel(R)Core(TM)i7-6500U,2.0 G顯存,8.0 G內(nèi)存的電腦上基于Matlab R2010b環(huán)境中編程實(shí)現(xiàn)。
紗線位置關(guān)系的判斷及其產(chǎn)生的織物密度測(cè)量,其結(jié)果的評(píng)價(jià)通常以人工判別為基準(zhǔn),以此評(píng)價(jià)機(jī)器視覺識(shí)別的準(zhǔn)確率。從實(shí)驗(yàn)中選出平紋、斜紋和緞紋6塊代表性織物為例,一方面人工按照GB/T 4668—1995《機(jī)織物密度的測(cè)定》在照布鏡輔助下分別數(shù)出5 cm范圍內(nèi)經(jīng)、緯紗線數(shù)量,并換算成單位長(zhǎng)度內(nèi)的經(jīng)向、緯向密度;另一方面利用本文提出的機(jī)器視覺算法來判別2 362 像素(5 cm,1 200 dpi)內(nèi)的經(jīng)緯紗數(shù)量。人工測(cè)量與機(jī)器視覺識(shí)別結(jié)果的比較見表1。
表1 人工測(cè)量與機(jī)器視覺識(shí)別結(jié)果的比較
由表1示出,機(jī)器視覺識(shí)別織物經(jīng)向、緯向密度的錯(cuò)誤率均在1%以下,符合正常使用需求。但人工測(cè)量與機(jī)器視覺測(cè)量之間是否存在統(tǒng)計(jì)學(xué)意義上的“顯著性”差異,這就要求對(duì)二者實(shí)驗(yàn)結(jié)果進(jìn)行配對(duì)樣本t檢驗(yàn)。
配對(duì)樣本t檢驗(yàn)是統(tǒng)計(jì)學(xué)上用t分布理論來推論差異發(fā)生的概率,可以用來檢驗(yàn)同一受試對(duì)象采用不同處理方法后,其樣本總體之間差異性是否顯著[14]。相關(guān)算法見式(9)~(12)。
di=x1i-x2i
(9)
(10)
(11)
(12)
式(9)~(12)分別為同一織物試樣2種測(cè)量結(jié)果之差值、差值的均值、差值的方差以及配對(duì)樣本t檢驗(yàn)。相關(guān)算法結(jié)合表1數(shù)據(jù)在SPSS軟件中進(jìn)行分析,結(jié)果表明: 同一織物試樣分別經(jīng)人工測(cè)量與機(jī)器視覺識(shí)別所得的樣本之間相關(guān)系數(shù)r=1.000,顯著性水平Sig.=0.000,這說明2種測(cè)量方法之間有緊密相關(guān)性,且適合用配對(duì)樣本t檢驗(yàn)。
同時(shí),人工測(cè)量與機(jī)器視覺識(shí)別結(jié)果配對(duì)樣本t檢驗(yàn)結(jié)果表明:人工測(cè)量與機(jī)器視覺識(shí)別結(jié)果配對(duì)樣本有(|t|=0.972)<(t0.025(11)=2.201), 雙側(cè)顯著性水平Sig.=0.352>0.05, 說明人工測(cè)量與機(jī)器視覺識(shí)別結(jié)果之間沒有顯著性差異,這進(jìn)一步驗(yàn)證了本文所提出方法的可靠性。
但同時(shí)值得注意的是,傳統(tǒng)常用的評(píng)價(jià)方法適合于經(jīng)緯紗線數(shù)量較少且密度均勻的場(chǎng)景。一旦經(jīng)緯紗線達(dá)到一定數(shù)量級(jí)別,或?yàn)榱颂厥庑枨罂椢镏写嬖诩喚€粗細(xì)的變化,或織造過程中產(chǎn)生瑕疵等情形時(shí),該方法的應(yīng)用就會(huì)有所受限。因此為了擴(kuò)大算法適用范圍,論文進(jìn)一步提出kσ異常值判別法則,見式(13)。
|x-μ|>kσ
(13)
式中:x為某紗線間距的像素值;μ為間距的平均像素值;σ為標(biāo)準(zhǔn)差;k為常數(shù)。在統(tǒng)計(jì)學(xué)上,數(shù)據(jù)服從正態(tài)分布的情況下,與均值的偏差超過標(biāo)準(zhǔn)差3倍的概率(見式(14))屬于個(gè)別的小概率事件[15]。結(jié)合前期實(shí)驗(yàn)結(jié)果統(tǒng)計(jì)來看,k值取為10適宜。
P(|x-μ|>3σ)≤0.003
(14)
針對(duì)1#~5#這6塊代表性織物,相關(guān)的機(jī)器視覺識(shí)別參數(shù)及其異常值判別見表2??芍^大多數(shù)紗線的像素值間距其標(biāo)準(zhǔn)差都在1以內(nèi),且變異系數(shù)(CV值)也較小,說明分布比較均勻,但也在2#、4#和6#織物紗線的經(jīng)紗中出現(xiàn)了異常值,機(jī)器及時(shí)給出了具體紗線定位和相關(guān)的數(shù)據(jù)供人工進(jìn)一步判別。
表2 機(jī)器視覺識(shí)別參數(shù)
本文主要圍繞機(jī)織物紗線排列關(guān)系及其產(chǎn)生的織物密度展開相關(guān)研究,首先基于掃描織物圖像進(jìn)行2層次db1小波分解,求得垂直圖像分量并對(duì)其進(jìn)行Radon變換以求取織物圖像校正角度。再者,對(duì)校正后的織物圖像進(jìn)行經(jīng)紗緯紗的灰度積分投影,重點(diǎn)是研究經(jīng)紗緯紗投影曲線的demy小波分解和長(zhǎng)度對(duì)數(shù)閾值的規(guī)則濾波,以此來獲取經(jīng)紗緯紗位置的分割。最后對(duì)機(jī)器視覺識(shí)別結(jié)果與人工識(shí)別結(jié)果進(jìn)行直觀比較與統(tǒng)計(jì)學(xué)上的配對(duì)樣本t檢驗(yàn);在此基礎(chǔ)上,進(jìn)一步提出了紗線間距kσ異常值判別法則。結(jié)果表明:所采用的小波濾波技術(shù)能較好地適用于機(jī)織物紗線排列關(guān)系及其密度的機(jī)器視覺判別。但同時(shí)小波分解層次等參數(shù)的智能化判斷與控制,有待于進(jìn)一步的研究。