王敬雪 莊梅玲
摘 要:為有效提取刺繡圖像中針法的特征值,實現(xiàn)刺繡針法的分類識別,在分析刺繡針法特點的基礎(chǔ)上,提出了點狀針法、線狀針法和塊面狀針法的三大針法分類,并以占主體的塊面狀針法中的齊針、搶針和套針3種基礎(chǔ)針法為處理對象,分析對比其針法特征,構(gòu)建針法模型。針對刺繡針法圖像進(jìn)行圖像紋理細(xì)節(jié)的增強(qiáng)處理,基于Harris 角點檢測特征點和Canny輪廓篩選,對傳統(tǒng)Snake算法進(jìn)行改進(jìn),形成智能化HC-Snake模型,實現(xiàn)對目標(biāo)輪廓的智能化識別并提取目標(biāo)圖像的紋理及顏色特征。通過數(shù)據(jù)的方差分析確定CONsd,IDMsd,Ea,Esd,ENTa,ENTsd,CORsd,SM和TM共9個特征指標(biāo),建立特征數(shù)據(jù)集。最后,建立神經(jīng)網(wǎng)絡(luò)分類模型,對針法樣本進(jìn)行分類,并對識別模型進(jìn)行了實例驗證。結(jié)果表明,該模型可以實現(xiàn)刺繡針法圖像的分類,且分類準(zhǔn)確率達(dá)到93.3%。
關(guān)鍵詞:刺繡針法,針法模型,HC-Snake模型,灰度共生矩陣,顏色矩,BP神經(jīng)網(wǎng)絡(luò)
中圖分類號:TS941.2
文獻(xiàn)標(biāo)志碼:A
文章編號:1009-265X(2023)04-0236-14
收稿日期:2022-09-21
網(wǎng)絡(luò)出版日期:2023-02-21
基金項目:青島大學(xué)研究項目(JXGG2019080)
作者簡介:王敬雪(1997-),女,山東淄博人,碩士研究生,主要從事服飾數(shù)字化及感性評價方面的研究。
通信作者:莊梅玲,E-mail:zmlqdu@126.com
傳統(tǒng)刺繡是中華民族的藝術(shù)瑰寶,刺繡針法則是刺繡的基礎(chǔ)。近年來,隨著國家對傳統(tǒng)文化的弘揚(yáng)和傳承,對傳統(tǒng)刺繡藝術(shù)的研究也越來越多。其中,多數(shù)研究集中于刺繡的風(fēng)格特點、文化內(nèi)涵、表現(xiàn)形式及新時代背景下的創(chuàng)新與應(yīng)用等方面[1-3],針對刺繡針法的技藝和工藝特點的研究相對較少,已有的相關(guān)研究主要是結(jié)合針法特點和走線趨勢,從理論上分析某種特殊針法[4-5]。在數(shù)字化智能化飛速發(fā)展的時代,運(yùn)用數(shù)字化技術(shù)對傳統(tǒng)藝術(shù)作品進(jìn)行傳承和保護(hù)的研究越來越受關(guān)注。近幾年針對刺繡的研究主要是刺繡圖案的智能化提取與分割[6]、風(fēng)格遷移[7]和分類識別[8]等,以刺繡的整體風(fēng)格為基礎(chǔ)的圖像識別研究。而針對刺繡針法技術(shù)和工藝細(xì)節(jié)的識別較少,僅楊蕾等[9]提出以導(dǎo)向濾波作為尺度變換函數(shù)的特征提取模型,將針法樣本與已知針法模板進(jìn)行特征匹配,識別針法類別。但其研究處理的手繡樣本形狀相似,圖像清晰度較高,樣本紋理特征可控,與網(wǎng)絡(luò)中形態(tài)各異、噪聲眾多的刺繡圖像相比,方法適用性不足,并且該研究更著重于算法的理論創(chuàng)新。基于目前的研究現(xiàn)狀,本文擬形成一種適應(yīng)性更廣的刺繡針法識別模型,通過分析刺繡針法的技術(shù)及工藝特點,對網(wǎng)絡(luò)中獲取的普通刺繡圖像,進(jìn)行針法多特征分析,運(yùn)用智能算法進(jìn)行歸類,形成一種更為通用的智能化刺繡針法識別分類模型。
從網(wǎng)絡(luò)中獲取的刺繡圖像,需進(jìn)行目標(biāo)分割,獲得目標(biāo)樣本,以提取特征。近年來圖像分割算法豐富,邊緣檢測和色彩聚類算法都應(yīng)用廣泛,其中Canny[10]和K-means[11]更是凸顯。K-means根據(jù)圖像色彩,分割出不同顏色聚類的圖像,效果良好。但刺繡圖像的色彩多混合摻雜,目標(biāo)與干擾項無固定的色彩或色差,色彩聚類不適用。Canny算子檢測的邊緣相對清晰,特別是灰度圖像,但受參數(shù)設(shè)定的影響,會出現(xiàn)輪廓檢測不完整或者過度檢測等問題。因此本文將其用于初始輪廓的界定,結(jié)合活動輪廓模型Snake算法[12-13],互相優(yōu)化,以獲取更加圓順、完整而準(zhǔn)確的目標(biāo)輪廓。最后,神經(jīng)網(wǎng)絡(luò)是效果優(yōu)良、應(yīng)用廣泛的分類識別算法[14-16],因此本文選擇BP神經(jīng)網(wǎng)絡(luò)來建立針法分類識別模型。
1 刺繡針法分析及結(jié)構(gòu)模型構(gòu)建
針法和絲線是刺繡的主要構(gòu)成因子,共同塑造
刺繡的藝術(shù)風(fēng)格。從平面構(gòu)成的角度,刺繡的針法可分為點、線、面3類[17],本文結(jié)合針法的技術(shù)工藝特點分析,將刺繡針法定義為點狀針法,線條針法和塊面針法3類,分類圖歸結(jié)如圖1。
點狀針法和線狀針法主要表現(xiàn)為形成刺繡中的獨(dú)立點和線條,如制作花蕊的打籽針以及形成纖細(xì)枝條或勾勒輪廓的滾針、切針等。點、線狀針法在刺繡圖案中呈點綴狀分布,作品整體以塊面針法為主,所以本研究以塊面針法為研究重點。
1.1 針法特征分析
塊面針法非常豐富,其中,基礎(chǔ)的針法有齊針,搶針和套針,都具有針腳排列緊密,繡面勻稱平整的特點。下面對3種基礎(chǔ)塊面針法的基本特點進(jìn)行分析和對比。
a)齊針(Flush stitches)
齊針,線條均勻、齊整,平行排列構(gòu)成單色塊面,起針和落針都緊靠紋樣邊緣,針腳緊密,塊面間無重疊,不露底,模型歸結(jié)為圖2(a)。從彩色圖片(圖2(b))和灰度圖像(圖2(c))中可見,紋理一致,灰度均勻。以同色系漸變?yōu)橹?,色彩跨度小?/p>
b)搶針(Grabbing stitches)
搶針,密度相同,長短均勻的短齊針分層刺繡,構(gòu)成多層塊面,每一批搶針頭尾相接而互不交錯,在模型上歸結(jié)為圖3(a)。顏色區(qū)2的起針和顏色區(qū)1的落針在同一線條上,顏色變化明顯,顏色區(qū)域間形成明顯的分界線,在搶針的灰度圖像(圖3(c))中,可見明顯的分塊,色彩的跨度較大。
c)套針(Overlapping stitches)
套針,長短不一的線條相互穿插,分層繡制,層層相套,不露針腳,模型可歸結(jié)為圖4(a)。顏色區(qū)1的落針和顏色區(qū)2的起針交叉混合,批線相互穿套,密度相對不均勻,且內(nèi)部邊緣在灰度圖像及二值圖像中表現(xiàn)為折線狀;同時,線條穿插導(dǎo)致顏色混合,顏色變化雖然明顯,但過渡自然,有暈色渲染的效果。在彩色圖像(圖4(b))中,呈現(xiàn)漸變效果,而在灰度圖像(圖4(c))中,呈現(xiàn)為灰度均勻變化,但色彩跨度較大。
經(jīng)過以上的分析,對3種針法的特征進(jìn)行對比分析如表1。
比較發(fā)現(xiàn),3種針法在形狀上不呈現(xiàn)特征的聚類及類型間的差別,區(qū)別明顯的特征為紋理特征和顏色特征。紋理特征上:齊針呈現(xiàn)整體規(guī)則化排列;搶針呈現(xiàn)分批型排列,各批內(nèi)紋理整齊排列,批間有顯著差異;套針最為曲折、復(fù)雜,存在批線間相互穿插。顏色特征上:主要表現(xiàn)為灰度變化,齊針顏色單一,灰度均勻;搶針和套針色彩豐富,搶針灰度變化明顯,有分塊,套針灰度均勻變化,呈漸變,差異明顯。以上對不同特征的分析,為接下來的圖像識別處理奠定基礎(chǔ)。
2 塊面針法的目標(biāo)分割
通過塊面針法的準(zhǔn)確識別可以對刺繡的種類、特點及蘊(yùn)含的寓意進(jìn)行有效分析,所以本文將以塊面針法為對象,分析其包含的3種針法特點及規(guī)律,運(yùn)用圖像處理工具,設(shè)計智能算法對塊面針法進(jìn)行智能識別。算法流程圖如圖5所示。
2.1 預(yù)處理
通過分析比較,發(fā)現(xiàn)3種基礎(chǔ)塊面針法的區(qū)別主要體現(xiàn)在紋理細(xì)節(jié)部分。首先對清晰度較差的網(wǎng)
絡(luò)圖片進(jìn)行預(yù)處理,一方面增強(qiáng)對比度,突出目標(biāo)邊緣,便于實現(xiàn)目標(biāo)分割,另一方面增強(qiáng)紋理細(xì)節(jié),便于提取紋理特征。本文的圖像預(yù)處理步驟為:
2.1.1 增強(qiáng)對比度
a)利用式(1)將彩色圖像(圖6(a))灰度化(圖6(b)):
Y=0.299R+0.587G+0.114B(1)
式中:Y為灰度圖像,R,G,B分別為彩色圖像的紅、綠、藍(lán)三個分量。
b)利用stretchlim函數(shù)計算灰度圖像自適應(yīng)變換的最佳閾值。
c)利用調(diào)整對比度函數(shù)imadjust,調(diào)整灰度范圍。
d)輸出增強(qiáng)的灰度圖像(圖6(c))。
2.1.2 增強(qiáng)紋理
a)數(shù)據(jù)類型轉(zhuǎn)換,由uint8轉(zhuǎn)為double(圖6(d))。
b)選擇3×3的拉普拉斯模板w=[0,1,0;1,-4,1;0,1,0],進(jìn)行濾波處理。
c)提取圖像中的邊界及紋理等細(xì)節(jié),輸出細(xì)節(jié)圖像(圖6(e))。
d)將雙精度灰度圖像與細(xì)節(jié)圖像作差,增大紋理細(xì)節(jié)與相鄰像素的灰度差,得到紋理增強(qiáng)圖像(圖6(f))。
算法處理流程及結(jié)果見圖6。
通過上述處理發(fā)現(xiàn):對比度增強(qiáng)和紋理增強(qiáng)后的圖6(c)、圖6(f),都比處理前的圖6(b)的邊緣和紋理更加清晰,為下一步的目標(biāo)提取做好準(zhǔn)備。
2.2 基于改進(jìn)Snake算法的交互式目標(biāo)分割
目標(biāo)分割是將圖像中的特征區(qū)域從復(fù)雜背景中分離出來的技術(shù)和過程。本文基于對大量目標(biāo)樣本的處理,獲得齊針、搶針和套針樣本的特征信息,建立針法智能識別模型。所以獲取刺繡圖像后,首先對圖像中的不同針法區(qū)域進(jìn)行目標(biāo)分割,獲得齊針、搶針和套針的目標(biāo)樣本,為下一步提取特征信息做好準(zhǔn)備。
本文研究的刺繡圖像,其形狀特征豐富,單一的圖像分割算法像閾值法、邊緣檢測法等,難以實現(xiàn)對刺繡圖像包含的各種針法區(qū)域的精確分割。而活動輪廓模型Snake算法利用圖像的高層信息,將圖像分割問題轉(zhuǎn)化成數(shù)學(xué)上求能量泛函的問題,對圖像輪廓進(jìn)行求解[18],在內(nèi)力、外力的共同約束下,從初始輪廓向真實輪廓逼近,識別的目標(biāo)輪廓以數(shù)學(xué)曲線的形式呈現(xiàn),比較連續(xù)、光滑,具有良好的匹配效果和形狀檢測能力。并且該算法是一種交互式目標(biāo)識別算法,通過智能人機(jī)交互在預(yù)選樣本時加入經(jīng)驗的關(guān)鍵點設(shè)置,識別的輪廓跟隨控制點移動,對比單一的圖像分割算法可以更好地從包含多種針法區(qū)域的刺繡圖案中預(yù)先選擇各目標(biāo)區(qū)域,實現(xiàn)更精確的目標(biāo)分割。
傳統(tǒng)的Snake算法中,控制點是人為選擇的,雖然比較靈活,但受經(jīng)驗等主觀因素的影響較大,而且手動選點時,無法精確選取同一控制點,導(dǎo)致每次試驗結(jié)果存在差異;人工選點智能化程度較低,不符合當(dāng)前智能化發(fā)展的趨勢。
基于對Snake算法的優(yōu)缺點分析,本研究著重對其人工選取控制點的誤差性和智能化程度不高的問題,改進(jìn)控制點的選取算法,提出一種更加客觀且智能化的改進(jìn)Snake算法。
2.2.1 改進(jìn)Snake算法——HC-Snake算法設(shè)計
本研究的改進(jìn)Snake算法——HC-Snake(Harris and Canny-Snake)模型,首先基于Harris角點檢測[19-20]獲取角點,然后基于Canny算子確定初始目標(biāo)輪廓[21],初始輪廓篩選角點作為Snake算法的控制點集,替代傳統(tǒng)Snake算法的人工選點,最后進(jìn)行輪廓識別。算法設(shè)計步驟如下:
a)獲取目標(biāo)圖像的特征角點集
計算初始圖像a的x軸和y軸方向的梯度Ix,Iy及其平方;高斯濾波平滑處理;構(gòu)造自相關(guān)矩陣M,計算角點響應(yīng)度R(見式(2)-式(5)),設(shè)定R的閾值,并判斷該點是否為角點。遍歷圖像,獲得角點集合H[20]。
Eu,v(x,y)=∑u,vwu,vIx+u,y+v-I(x,y)2 (2)
式中:Eu,v為窗口灰度值,u,v分別表示以像素為中心的窗口在x軸和y軸的偏移量,(x,y)是窗口內(nèi)所對應(yīng)的像素坐標(biāo)位置,wu,v為二維高斯窗口函數(shù),wu,v=exp-u2+v22σ2。將 Eu,v(x,y)化為二次型可得:
Eu,v(x,y)=(u,v)Muv(3)
M=∑u,vwu,vI2xIxIyIxIyI2y(4)
R=det(M)-k(tr(M))2=λ1λ2-k(λ1+λ2)2(5)
式中:λ1、λ2為M矩陣的特征值,det(M)是矩陣M的行列式,tr(M)是矩陣M的跡,k∈[0.04,0.06]。
b)獲取目標(biāo)圖像的初步外輪廓
基于Canny算子計算圖像初始邊緣。輸入初始圖像a,灰度化處理得灰度圖像A,進(jìn)行高斯平滑。計算相鄰像素點的灰度變化,梯度較大的位置,作為邊緣點,處理得到初始邊緣的二值圖像。取初始邊緣上任意一點Ai作為種子,計算Ai的中心像素Pi。8-鄰域內(nèi),若存在Ai+1與Ai鄰接,且Pi+1≈Pi,將Ai+1存入集合A1,并作為下一次生長的種子點;若8-鄰域內(nèi)無相似像素點,停止運(yùn)算。遍歷集合A1,取A1中像素值為1的點,形成初始輪廓點集Ai{Ai, i=1,2,…n}。
c)確定Snake輪廓控制點集
Snake算法獲取的輪廓受輪廓控制點位置影響,控制點越接近真實輪廓,收縮效果越好。對于輪廓點集合A和角點集合H,H中的點與A中的點距離越近,越接近真實輪廓,為了最大程度的選到離目標(biāo)最近的角點,設(shè)計n×n模板覆蓋算法篩選角點。覆蓋算法如圖7所示:其中A(i,j)為模板中心點,屬于Canny輪廓點,以5×5的模板為例,角點a、c、d被該模板覆蓋,可以作為Snake控制點,角點b、e未被覆蓋,舍棄。通過覆蓋算法獲得包含m個控制點的集合C,并按照順時針排序。
將控制點集C的首點C1(s)和末點Cn+1(s)位置進(jìn)行重合,形成閉環(huán)集。
C(s)=[x(s),y(s)], s∈[0,1](6)
d)進(jìn)行輪廓插值。
根據(jù)點集C(s),用三次方樣條數(shù)據(jù)插值算法,步長step=Δl,在[1,n+1]內(nèi)取點,任意相鄰兩控制點Ci(s),Ci+1(s)間插入(1/Δl-1)個插值點,使插值點均勻分布。對所有的控制點都完成插值,順次連接擬合得到光滑的閉環(huán)曲線L。
e)計算內(nèi)部能量值
Snake模型的內(nèi)部能量(EIn)是曲線彎曲收縮所產(chǎn)生的能量,包括彈性能量(EEl)和彎曲能量(EB)。在活動輪廓形變過程中,EEl使曲線收縮,EB使輪廓線保持光滑度和連續(xù)性,公式如下[12]:
EIn=EEl+EB=α(s)dCds2+β(s)d2Cds22(7)
式中:α(s)和β(s)分別影響著Snake模型的彈性和剛度。α(s) 對輪廓L的影響更大,值越大,輪廓線越平滑;β(s)對輪廓L的影響相對較小,實際處理中,默認(rèn)為0。
由于α(s)過大難以準(zhǔn)確分割尖角及凹陷區(qū)域,過小易受噪點影響,因此,本算法對比了α(s)=0.005,0.01,0.02,0.05,0.1的分割效果,發(fā)現(xiàn)α(s)=0.01時,分割效果最好,結(jié)合實驗效果,設(shè)置α(s)=0.01。
f)計算外部能量值
Snake模型的外部能量主要是從圖像中獲得的圖像力EIm,由3個部分構(gòu)成,計算如式(8):
EIm=wl*El+we*Ee+wt*Et(8)
式中:El、Ee和Et的加權(quán)和決定了Snake輪廓線是否趨向于線條(lines)、邊界(edges)和終端(terminations),wl、we和wt分別為El、Ee和Et的權(quán)值。
El=f(x,y)(9)
Ee=-SymbolQC@f(x,y)2(10)
式中:El是基于輪廓線的能量,f(x,y)是圖像在(x,y)處的灰度,wl的符號決定了Snake形變時偏向亮線或暗線; Ee使Snake輪廓線趨向于圖像的強(qiáng)邊緣;wt*Et則反映了輪廓線的端點或角點對輪廓線可能產(chǎn)生的影響。圖像f平滑得到光滑圖像g,其沿曲線的梯度方向為φ(x,y),平行和垂直的梯度方向分別為:
n(x,y)=(cos(φ(x,y)),sin(φ(x,y)))n⊥(x,y)=(sin(φ(x,y)),cos(φ(x,y)))
據(jù)此,可以獲得平滑圖像上灰度不變的輪廓的曲率:
Et=φn⊥=2g/n⊥2g/n
=(2g/y2)(g/x)2-2(2g/xy)(g/x)(g/y)+(2g/x2)(g/y)2((g/x)2+(g/y)2)3/2(11)
g)計算總的能量
Etotal=∫10(EIn+Eim)(12)
根據(jù)圖像的梯度,計算并對比每次循環(huán)的內(nèi)部和外部能量,直到獲得最小能量MIN(Etotal)時,停止迭代。
h)輸出分割完成的圖像。
2.2.2 算法仿真與結(jié)果分析討論
對刺繡圖像a應(yīng)用上述算法處理如下:
a)確定Snake控制點(圖(8))
b)覆蓋模板尺寸確定
為驗證距離對控制點選取的影響,分別以3×3,5×5,7×7的模板進(jìn)行實驗,提取H中的控制點,結(jié)果如圖9所示。
對比圖9的結(jié)果,發(fā)現(xiàn)3×3的模板較小,部分特征明顯的角點并未被覆蓋,控制點選取不全面;7×7的模板較大,選中較多干擾點;5×5的模板確定的控制點相對全面,且干擾較少,因此,選用5×5的模板作為確定控制點的通用模板。
c)HC-Snake算法分割流程(圖10)。
d)結(jié)果分析與討論
將本文算法與Canny算法提取的邊緣作比較,發(fā)現(xiàn):Canny算子獲取的輪廓雖貼近目標(biāo)輪廓,但存在干擾邊緣或缺口,并呈鋸齒狀,見圖11(a)。由于Canny算法通過計算圖像梯度提取邊緣,在計算中,紋理清晰且與邊緣相接的位置,也會被標(biāo)記為邊緣,邊緣兩側(cè)像素梯度小,則會出現(xiàn)斷口。并且,Canny算子是像素級別的,邊緣易呈現(xiàn)鋸齒狀,不順滑。而本文的HC-Snake算法檢測結(jié)果更好地克服了這些問題。
2.2.3 算法應(yīng)用
將本研究的HC-Snake算法用于傳統(tǒng)刺繡針法的輪廓識別,依次進(jìn)行齊針、搶針、套針的區(qū)域分割,得到對應(yīng)的分割區(qū)域,分割結(jié)果見圖12。
從圖12中可以發(fā)現(xiàn),基于HC-Snake模型的分割算法實現(xiàn)了目標(biāo)區(qū)域的精確分割,由于可以預(yù)設(shè)輪廓點,所以無論是外表形態(tài)比較規(guī)整的,還是邊緣有明顯凸凹的的目標(biāo),都能實現(xiàn)目標(biāo)區(qū)域的精確分割。通過該目標(biāo)分割算法,對多幅刺繡圖像進(jìn)行目標(biāo)分割,獲得了多幅齊針、搶針和套針樣本。
3 目標(biāo)圖像特征的選取
通過前兩部分的研究,獲得了多幅齊針、搶針和套針的樣本,并選擇能有效反映紋理和顏色特征變化的數(shù)學(xué)模型灰度共生矩陣和顏色矩,提取紋理特征和顏色特征。
3.1 紋理特征分析
灰度共生矩陣(Gray level co-occurrence matrix,GLCM)[22]是用統(tǒng)計方法,通過對圖像中包含的灰度信息出現(xiàn)的頻次進(jìn)行計算,反映圖像方向、相鄰間隔、變化幅度及快慢上的綜合信息。
紋理方面通常通過分析圖像灰度共生矩陣的對比度、同質(zhì)性、能量、熵、相關(guān)性5個指標(biāo),對圖像的紋理進(jìn)行描述和分析[23-24]。任意兩個像素,灰度級為a,b,該像素對(a,b)在方向Φ上以距離d出現(xiàn)的頻率為PΦ,da,b,本文中,d取默認(rèn)值為1,Φ取0°,45°,90°和135°4個方向,計算取均值和標(biāo)準(zhǔn)差,避免誤差,5個指標(biāo)的計算公式如下:
對比度(Contrast,CON):反應(yīng)圖像的清晰度和紋理的溝紋深淺,對比度越大,紋理越清晰。
CON=∑a∑b(a-b)2PΦ(a,b)(13)
熵(Entropy,ENT):描述圖像具有的信息量的度量,表明圖像的復(fù)雜度,熵越大,圖像紋理越復(fù)雜。
ENT=-∑a∑bPΦ(a,b)log2PΦ(a,b)(14)
能量(Energy,E):灰度共生矩陣各元素值的平方和,是圖像紋理的灰度變化穩(wěn)定程度的度量,反應(yīng)了圖像灰度分布均勻程度和紋理粗細(xì)度。
E=∑a∑bP2Φ(a,b)(15)
同質(zhì)性(Inverse Different Moment,IDM):度量圖像紋理局部變化,值越大,圖像紋理越均勻。
IDM=∑a∑bPΦ(a,b)1+a-b2(16)
相關(guān)性(Correlation,COR):度量圖像的灰度級在行或列方向上的相似程度,值越大,相關(guān)性越大。
COR=∑a∑babPΦ(a,b)-μxμyxy(17)
其中,μx=∑aa∑bPΦ(a,b)μy=∑bb∑aPΦ(a,b),
x=∑a(a-μx)2∑bPΦ(a,b)y=∑b(b-μy)2∑aPΦ(a,b)。
研究分別選擇了齊針、搶針和套針樣本各30個,按照式(13)—式(17)分別計算其灰度共生矩陣的5個指標(biāo),獲?。祩€指標(biāo)的均值(Average)和標(biāo)準(zhǔn)差(Standard Deviation)作為紋理特征數(shù)據(jù)。
3.2 顏色特征分析
顏色矩[25]是由Stricker和Orengo提出的一種簡單有效的顏色特征表示方法,無需對顏色空間量化,而且特征維度低,顏色特征主要集中在顏色矩的低階矩[26]。其中,一階矩計算色彩的均值,體現(xiàn)圖像的明暗程度,根據(jù)針法理論分析,不同針法的色彩均值并沒有標(biāo)準(zhǔn)化的區(qū)別,舍棄。本文主要分析各樣本的二階矩和三階矩。
二階顏色矩(Second Moment,SM):計算標(biāo)準(zhǔn)差,反映圖像顏色的分布范圍,二階矩越大,顏色分布范圍越廣,顏色變化越大。
SM=1N∑Nj=1Pi,j-∑Nj=11NPi,j212(18)
三階顏色矩(Third Moment,TM):樣本色彩的方差,計算樣本顏色分布的對稱性。
TM=1N∑Nj=1Pi,j-∑Nj=11NPi,j313(19)
式中:N為圖像像素個數(shù),i為顏色模型分量,灰度圖像僅一個顏色分量,默認(rèn)i=1,Pi,j為顏色分量 i 像素為 j 的概率值。
對3.1中的30個樣本按照式(18)-式(19)分別計算二階和三階顏色矩作為顏色特征數(shù)據(jù)。
3.3 基于方差分析的指標(biāo)檢驗和選擇
對上述提取的10個紋理特征和2個顏色特征,針法類別是否顯著影響這12個指標(biāo)是后續(xù)進(jìn)行三大針法分類的前提,因此用方差分析來檢驗針法類別對12個特征指標(biāo)的影響,選擇影響顯著的指標(biāo)用于后續(xù)針法分類。
以12個特征指標(biāo)和3個針法類別作變量,計算每組的F值。每一組變量的自由度n=2,得出臨界值為3.40,比較F值和臨界值,最后得出3種針法對特征值的影響效果差異,方差分析結(jié)果見表2。
結(jié)果表明:CONsd,IDMsd,Ea,Esd,ENTa,ENTsd,CORsd,SM和TM這9個指標(biāo)對特征值影響顯著,因此選擇該9個指標(biāo)作為下一步智能識別分類的指標(biāo)。
4 基于神經(jīng)網(wǎng)絡(luò)的塊面狀針法識別
BP神經(jīng)網(wǎng)絡(luò)是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一,該模型一般包含三層:輸入層,隱含層和輸出層。利用梯度下降法和誤差反向傳播解決多層神經(jīng)網(wǎng)絡(luò)的隱含層連接權(quán)值的學(xué)習(xí)問題,具有較高的準(zhǔn)確率和速率[14-16],因此本研究選擇BP神經(jīng)網(wǎng)絡(luò)來建立針法智能識別模型。
4.1 模型構(gòu)建
構(gòu)建平臺選用MATLAB.2018a,利用MATLAB中的神經(jīng)網(wǎng)絡(luò)模式識別工具箱對刺繡針法進(jìn)行分類識別,將選擇的9個指標(biāo)作為輸入特征,輸出層為齊針、搶針和套針的類別。模型的拓?fù)浣Y(jié)構(gòu)如圖13所示。
a)網(wǎng)絡(luò)層數(shù)
3層:1個輸入層、1個隱含層、1個輸出層。
b)輸入層
設(shè)置9個輸入神經(jīng)元:分別是CONsd,IDMsd,Ea,Esd,ENTa,ENTsd,CORsd,SM和TM。依次對應(yīng)的輸入特征向量[X1,X2,…,X9]。
c)隱含層
通過式(20)確定隱含層神經(jīng)元個數(shù)
k=a+b+c(20)
式中:k為隱含層神經(jīng)元個數(shù),a和b分別是輸入層和輸出層的神經(jīng)元個數(shù),c∈[1,10]是常數(shù)。最終確定:k=10。
d)輸出層
輸出層輸出數(shù)據(jù)為針法的類別,是一維的數(shù)據(jù),因此設(shè)置輸出層節(jié)點數(shù)為1。
e)傳遞函數(shù)和訓(xùn)練函數(shù)
隱含層的傳遞函數(shù)選用tansig函數(shù),輸出層選用線性函數(shù)purelin函數(shù)。
f)訓(xùn)練方法
采用梯度下降訓(xùn)練法。按照式(21)調(diào)整輸入層與隱含層之間的權(quán)值W1(s),按照式(22)調(diào)整輸出層和隱含層之間的權(quán)值W2(s),使網(wǎng)絡(luò)的誤差平方和最小。
W1(s+1)=W1(s)+ΔW1(s)(21)
W2(s+1)=W2(s)+ΔW2(s)(22)
式中:ΔW1(s)為隱含層與輸入層間的權(quán)值調(diào)整量,ΔW2(s)為輸出層和隱含層間的權(quán)值調(diào)整量,s是迭代次數(shù)。
g)參數(shù)設(shè)置
最大訓(xùn)練次數(shù):net.trainParam.epochs=1000;
學(xué)習(xí)系數(shù):net.trainParam.lr=0.1;
目標(biāo)誤差的設(shè)置:
不同的目標(biāo)誤差設(shè)置,會影響訓(xùn)練的準(zhǔn)確率,為獲得更好的實驗結(jié)果,測試了7個目標(biāo)誤差的訓(xùn)練結(jié)果。結(jié)果見表3。
結(jié)果表明:σt=0.0001和σt=0.0002時,準(zhǔn)確率最高,ρ=83.33,但σt=0.0001對應(yīng)的σv=0.3088,驗證誤差更小,因此設(shè)置net.trainParam.goal=0.0001。
4.2 模型訓(xùn)練及結(jié)果分析
按照上述設(shè)定參數(shù),對3個類別的90個樣本進(jìn)行實驗。
4.2.1 實驗步驟
首先,將數(shù)據(jù)集90個樣本隨機(jī)分為訓(xùn)練集和測試集,分別占總數(shù)據(jù)集的66.67%和33.33%,以減少過擬合。
其次,數(shù)據(jù)歸一化處理,減小數(shù)據(jù)數(shù)量級不同對神經(jīng)網(wǎng)絡(luò)訓(xùn)練效果產(chǎn)生的影響。輸入模型進(jìn)行訓(xùn)練。
再次,對輸出結(jié)果設(shè)置分類閾值。
實驗輸出結(jié)果為Y=1,2,3,分別對應(yīng)齊針、搶針和套針。由于對測試集的預(yù)測值是浮點數(shù),因此設(shè)置分類的閾值:
If output<1.5,then Y=1;
If 1.5≤output<2.5,then Y=2;
If output≥2.5,then Y=3.
最后,繪制預(yù)測類別和實際類別的分類圖。
4.2.2 結(jié)果與分析
a)實驗準(zhǔn)確率分析
經(jīng)過訓(xùn)練,得出30個測試樣本的預(yù)測結(jié)果和實際類別如圖14所示,“*”為樣本實際類別標(biāo)簽,“o”為預(yù)測結(jié)果類別標(biāo)簽。
由圖(14)可見,“*”和“o”的重合度比較高,即預(yù)測結(jié)果與實際類別相符率較高。經(jīng)過計算,該模型的預(yù)測準(zhǔn)確率可達(dá)ρ=93.3%。
神經(jīng)網(wǎng)絡(luò)的訓(xùn)練中,各均方誤差(mse,簡稱誤差)的變化曲線如圖15所示。訓(xùn)練集在迭代次數(shù)為s=15時,實際誤差達(dá)到預(yù)期σt=0.0001。為了防止過擬合,產(chǎn)生驗證集對每次訓(xùn)練集訓(xùn)練形成的神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確率ρ進(jìn)行驗證及測試,并根據(jù)驗證集的準(zhǔn)確率來決定是否停止訓(xùn)練。在迭代次數(shù)為s≥6時,驗證誤差σv反而逐漸增大。因此,在迭代次數(shù)s=6時,σv=0.14113,校驗結(jié)果最好。
b)訓(xùn)練過程分析
在訓(xùn)練過程中,每一次迭代的數(shù)據(jù)變化如圖16所示。由圖16可見該模型在訓(xùn)練過程中梯度不斷下降,準(zhǔn)確率逐漸提高,在迭代次數(shù)為s=15次時,梯度為0.0031814,目標(biāo)誤差σt=10-6。驗證失?。╒al fail)表示驗證集與訓(xùn)練集的梯度方向連續(xù)相反的次數(shù),迭代次數(shù)s≥6時,驗證集與訓(xùn)練集的梯度持續(xù)相反,直到s=15,達(dá)到目標(biāo)誤差,訓(xùn)練停止。
c)模型可靠度分析
為評估該模型的可靠程度,研究提取測試數(shù)據(jù)樣本構(gòu)建混淆矩陣見圖17,橫縱坐標(biāo)分別是預(yù)測標(biāo)簽和實際標(biāo)簽,表格內(nèi)的數(shù)值表示每類樣本被分到每類標(biāo)簽的數(shù)量,其中,對角線上的是分類正確的樣本個數(shù),可以清晰明確的辨別樣本預(yù)測是否被混淆,并且更充分的分析模型的可靠度[14]。
基于混淆矩陣,計算每類樣本的精準(zhǔn)率(Precision,P)、召回率(Recall,Re)以及精準(zhǔn)率和召回率的調(diào)和平均數(shù)F1,計算公式如下:
精準(zhǔn)率:?? P=TP/(TP+FP)(23)
召回率:?? Re=TP/(TP+FN)(24)
調(diào)和平均數(shù):?? F1=2PReP+Re(25)
其中各參數(shù)含義如表4,計算結(jié)果見表5。
由表5可見:模型的精準(zhǔn)率P>0.85,召回率R>0.9,類別1的精準(zhǔn)率低于0.9,原因可能是樣本分布不均勻;F1∈[0,1],是使P和R同時達(dá)到最高時,取得平衡的值,F(xiàn)1值越接近1,分類模型越可靠,表中F1值均大于90%,認(rèn)為本研究構(gòu)建的模型可靠。
4.3 模型應(yīng)用分析
將本研究的整套算法:從網(wǎng)絡(luò)獲取的普通圖像→預(yù)處理→HC-Snake算法分割→特征提取→神經(jīng)網(wǎng)絡(luò)分
類識別進(jìn)行實例驗證。實驗流程及結(jié)果如圖18。
通過實驗發(fā)現(xiàn),本文算法能夠有效的對一幅網(wǎng)絡(luò)普通圖片進(jìn)行針法識別,識別出了齊針、搶針和套針的針法類別。研究對比已有文獻(xiàn)[9]中的平均匹配準(zhǔn)確率為88%的結(jié)果,本文是基于網(wǎng)絡(luò)上的普通圖片,進(jìn)行大量樣本的特征提取而進(jìn)行的分類識別,并且識別效率達(dá)到了93.33%,準(zhǔn)確率更高,適用性也更廣泛。
5 結(jié) 論
針對目前對刺繡針法的研究主要停留在理論分析上而缺少智能化的分類識別的問題,本文對刺繡針法特點進(jìn)行分析對比,提出點狀針法、線條針法和塊面狀針法三大分類。并以塊面針法(齊針、搶針、套針)為例,通過分析歸納不同針法的特征,建立了針法結(jié)構(gòu)模型,確定了可用于分類的特征為紋理特征和顏色特征。設(shè)計了HC-Snake算法改進(jìn)傳統(tǒng)Snake算法手動選取控制點,不夠智能化的問題,通過提取特征,創(chuàng)建數(shù)據(jù)集,最后訓(xùn)練用于針法分類的神經(jīng)網(wǎng)絡(luò)模型。目前,齊針、搶針、套針仔細(xì)的針法識別相關(guān)文獻(xiàn)比較少,相較已有研究而言,本文是基于網(wǎng)絡(luò)上的普通圖片,采用HC-Snake目標(biāo)分割后獲得的90例樣本,對其進(jìn)行特征提取,通過方差分析確定CONsd,IDMsd,Ea,Esd,ENTa,ENTsd,CORsd,SM和TM共9個特征指標(biāo),最后運(yùn)用BP神經(jīng)網(wǎng)絡(luò)建立模型進(jìn)行的針法分類識別,識別效率達(dá)到了93.33%,準(zhǔn)確率更高,適用性也更廣泛。
參考文獻(xiàn):
[1]彭迪,夏添,賀景衛(wèi).桃源刺繡“魏犨擒貘”紋樣藝術(shù)特征及文化內(nèi)涵探析[J].絲綢,2021,58(3):76-83.
PENG Di, XIA Tian, HE Jingwei. Analysis on artistic characteristics and cultural connotation of "Wei Chou captures a tapir" pattern in Taoyuan embroidery[J]. Journal of Silk, 2021, 58(3): 76-83.
[2]雒彬鈺,閆亦農(nóng).科爾沁地區(qū)蒙古族刺繡紋樣的特征分析及設(shè)計應(yīng)用[J].染整技術(shù),2021,43(12):42-54,64.
LUO Binyu, YAN Yinong. Analysis of the characteristics and design applications of Mongolian embroidery patterns in Horqin area[J]. Textile Dyeing and Finishing Journal, 2021, 43(12): 42-54, 64.
[3]陳栩,崔榮榮.福建畬族服飾刺繡工藝研究[J].絲綢,2018,55(5):78-83.
CHEN Xu,CUI Rongrong. Discussion on embroidery techniques of She minority in Fujian[J]. Journal of Silk, 2018, 55(5): 78-83.
[4]沈飛.京繡針法技藝研究[J].絲綢,2022,59(2):121-129.
SHEN Fei. A study on Beijing embroidery stitch techniques[J]. Journal of Silk, 2022, 59(2): 121-129.
[5]張競瓊,李頔.近代民間刺繡服裝中正搶與平套針法比較[J].紡織學(xué)報,2012,33(5):106-110.
ZHANG Jingqiong, LI Di. Comparative study of encroaching satin stitch and parallel long and short stitch in modern folk embroidered costume[J]. Journal of Textile Research, 2012, 33(5): 106-110.
[6]王曉予,向軍,潘如如,等.服飾刺繡圖案的自動提取與色塊分割[J].紡織學(xué)報,2017,38(9):120-126.
WANG Xiaoyu, XIANG Jun, PAN Ruru, et al. Automatic extraction on embroidered patterns of traditional costumes[J]. Journal of Textile Research, 2017, 38(9): 120-116.
[7]周杰,孫正興,楊克微,等.亂針繡模擬的參數(shù)化生成方
法[J].計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報,2014,26(3):436-444.
ZHOU Jie, SUN Zhengxing, YANG Kewei, et al. Parametric generation method for irregular needling embroidery rendering[J]. Journal of Computer-Aided Design & Computer Graphics, 2014, 26(3): 436-444.
[8]趙含笑.基于深度學(xué)習(xí)的刺繡圖像分類與識別研究[D].西寧:青海師范大學(xué),2020:6-50.
ZHAO Hanxiao. Classification and Recognition Algorithm of Embroidery Images Based on Deep Learning[D]. Xining: Qinghai Normal University, 2020: 6-50.
[9]楊蕾,胡慧,周軍.刺繡針法圖樣特征點提取及匹配方法研究[J].計算機(jī)應(yīng)用研究,2021,38(7):2231-2234,2240.
YANG Lei, HU Hui, ZHOU Jun. Study on feature points extraction and matching of stitch pattern[J]. Application Research of Computers, 2021, 38(07): 2231-2234, 2240.
[10]田貝樂,牛宏俠,劉義健.一種優(yōu)化的Canny邊緣檢測算法[J].鐵路計算機(jī)應(yīng)用,2021,30(10):14-18.
TIAN Beile, NIU Hongxia, LIU Yijian. Optimized Canny edge detection algorithm[J]. Railway Computer Application, 2021, 30(10): 14-18.
[11]邢樂,張杰,梁惠娥,等.傳統(tǒng)服飾云肩實物圖像主色的智能檢測[J].紡織學(xué)報,2017,38(11):110-115,123.
XING Le, ZHANG Jie, LIANG Hui'e, et al. Intelligent inspection of dominant colors for Chinese traditional folk Yunjian[J]. Journal of Textile Research, 2017, 38(11): 110-115, 123.
[12]龔雪慧.基于Snake的圖像分割算法研究[J].電腦知識與技術(shù),2014,10(13):3064-3066.
GONG Xuehui. Research on image segmentation algorithm based on Snake[J]. Computer Knowledge and Technology, 2014, 10(13): 3064-3066.
[13]吳鑫,李強(qiáng),齊鉑金.Snake模型和遺傳算法在特殊焊縫提取中的應(yīng)用[J].焊接學(xué)報,2018,39(9):83-89,132.
WU Xin, LI Qiang, QI Bojin. Application of snake model and genetic algorithm in special weld extraction[J]. Transactions of the China Welding Institution, 2018, 39(9): 83-89, 132.
[14]張加宏,孟輝,謝麗君,等.基于心沖擊圖和BP神經(jīng)網(wǎng)絡(luò)的心率異常分類研究[J].數(shù)據(jù)采集與處理,2021,36(3):565-576.
ZHANG Jiahong, MENG Hui, XIE Lijun, et al. Abnormal heart rate classification based on ballistocardiogram and BP neural network[J]. Journal of Data Acquisition and Processing, 2021, 36(3): 565-576.
[15]施端陽,林強(qiáng),胡冰,等.基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的雷達(dá)剩余雜波抑制方法[J].兵器裝備工程學(xué)報,2021,42(10):79-85.
SHI Duanyang, LIN Qiang, HU Bing. Radar residual clutter suppression method based on improved BP neural network[J]. Journal of Ordnance Equipment Engineering, 2021, 42(10): 79-85.
[16]羅火靜,劉馳,徐步高.基于乳房形態(tài)特征的義乳曲面建模與體積預(yù)測[J].紡織高校基礎(chǔ)科學(xué)學(xué)報,2020,33(4):71-77.
LUO Huojing, LIU Chi, XU Bugao. The surface modeling and volume prediction of breast prosthesis based on the breast morphological characteristics[J]. Basix Sciences Journal of Textile Universites, 2020,33(4):71-77.
[17]蔡子芬,葉洪光.淺析傳統(tǒng)刺繡針法中“點線面”的表達(dá)[J].紡織科技進(jìn)展,2021(2):10-12,32.
CAI Zifen, YE Hongguang. The expression of "point,line and surface" in traditional embroidery[J]. Progress in Textile Science & Technology, 2021(2): 10-12, 32.
[18]胡學(xué)剛,邱秀蘭.基于Snake模型的圖像分割新算法[J].計算機(jī)應(yīng)用,2017,37(12):3523-3527.
HU Xuegang, QIU Xiulan. Novel image segmentation algorithm based on Snake model[J]. Journal of Computer Applications, 2017, 37(12): 3523-3527.
[19]姚依妮,王瑋.Harris角點檢測算法的應(yīng)用研究[J].智能計算機(jī)與應(yīng)用,2022,12(8):148-151.
YAO Yini, WANG Wei. Application research on Harris corner detection algorithms[J]. Intelligent Computer and Applications, 2022, 12(8): 148-151.
[20]韓松奇,于微波,楊宏濤,等.改進(jìn)Harris角點檢測算法[J].長春工業(yè)大學(xué)學(xué)報,2018,39(5):470-474.
HAN Songqi, YU Weibo, YANG Hongtao, et al. An improved Harris corner detection algorithm[J]. Journal of Changchun University of Technology, 2018, 39(5): 470-474.
[21]李靖,王慧,閆科,等.改進(jìn)Canny算法的圖像邊緣增強(qiáng)方法[J].測繪科學(xué)技術(shù)學(xué)報,2021,38(4):398-403.
LI Jing, WANG Hui, YAN Ke, et al. Improved Canny Algorithm for Image Edge Enhancement[J]. Journal of Geomatics Science and Technology, 2021, 38(4):398-403.
[22]???,赫拉瓦卡,博伊爾.圖像處理,分析與機(jī)器視覺[M].北京:清華大學(xué)出版社,2016:539-553
SONKA M, HLAVAC V, BOYLE R. Image Processing, Analysis, and Machine Vision[M]. Beijing: Tsinghua University Press, 2016: 539-553
[23]高士忠.基于灰度共生矩陣的織物紋理分析[J].計算機(jī)工程與設(shè)計,2008,29(16):4385-4388.
GAO Shizhong. Analysis of fabric texture based on GLCM[J]. Computer Engineering and Design, 2008, 29(16): 4385-4388.
[24]劉光宇,黃懿,曹禹,等.基于灰度共生矩陣的圖像紋理特征提取研究[J].科技風(fēng),2021(12):61-64.
LIU Guangyu, HUANG Yi, CAO Yu, et al. Research on extraction of image texture Feature based on gray co-occur-rence matrix[J]. Technology Wind, 2021(12): 61-64.
[25]STRICKER M A, ORENGO M. Similarity of color images[C]//SPIE Proceedings, Storage and Retrieval for Image and Video Databases III. San Jose, CA. SPIE, 1995:2420.
[26]韓丁,武佩,張強(qiáng),等.基于顏色矩的典型草原牧草特征提取與圖像識別[J].農(nóng)業(yè)工程學(xué)報,2016,32(23):168-175.
HAN Ding, WU Pei, ZHANG Qiang, et al. Feature extraction and image recognition of typical grassland forage based on color moment[J]. Transactions of the Chinese Society of Agricultural Engineering. 2016, 32(23): 168-175.
Embroidery stitch recognition based on Snake-Net algorithm
WANG Jingxue, ZHUANG Meiling
(College of Textile & Clothing, Qingdao University, Qingdao 266071, China)
Abstract:
The traditional embroidery is the intangible cultural heritage of the Chinese nation, and is vigorously promoted by the state. At present, most studies focus on the cultural heritage of embroidery and the application of embroidery in fashion products, while research for embroidery stitches is rarely found. In particular, the research on the recognition of embroidery stitches from the perspective of images is even less. Recognition for embroidery stitches is mostly done by experience, while few methods are available for intelligent recognition, which is not conducive to the digital protection of embroidery works.
In order to realize the intelligent recognition of embroidery stitches and promote the digital protection of embroidery, we firstly classify embroidery stitches as three classifications: point stitches, linear stitches and block stitches on the basis of analyzing the characteristics of embroidery stitches. Block stitches are the stitches whose proportion is the highest among the three classifications in the same embroidery works, while the flush stitches, the grabbing stitches and the overlapping stitches are three kinds of basic stitches which block stitches contain. With the three basic stitches as the processing objects, we analyze and compare the characteristics of these stitches, and construct the stitch model.
Secondly, the texture details of the embroidery stitch image are enhanced, and on this basis, the traditional Snake algorithm is improved. Based on Harris corner detection, corner points in the image are calculated to form a corner set. The Canny operator is used to detect the edge in the image, and the point set of the initial target contour is selected. Then, with the initial target contour as the center, the 5*5 template is used to cover the corner points, and the contour control points of Snake algorithm are determined, forming an intelligent HC-Snake model to realize the intelligent recognition of the target contour. The texture and color features of the target image including a total of 12 feature parameters such as the mean and standard deviation of contrast (CON), homogeneity (IDM), energy (E), entropy (ENT) and correlation (COR), the second-order color moments (SM) and third-order color moments (TM) are extracted by using the gray level co-occurrence matrix and color moments. Through the analysis of variance of the data, the significant degree of the influence of the stitch classification on each index is verified. It is found that the nine characteristic parameters including CONsd, IDMsd, Ea, Esd, ENTa, ENTsd, CORsd, SM and TM are significantly affected by the stitch classification, and they are identified as the characteristic indexes for classification, and a characteristic data set is established.
Finally, the BP neural network classification model is established, and the parameters of the neural network model are determined by comparative analysis, and the needle samples are classified and identified. With the help of confusion matrix, the accuracy and recall of the classification model are calculated to confirm the reliability of the model. In the meanwhile, the recognition model is verified by an example. The experimental results show that the model can realize the classification of embroidery stitch images, and the classification accuracy reaches 93.3%.
The HC-Snake algorithm proposed in this paper can effectively improve the shortcomings of the traditional Snake algorithm in manually selecting control points, and make it more intelligent. The establishment of embroidery stitch recognition models is used for stitch recognition of ordinary network embroidery images, which improves the accuracy and applicability of the recognition model. The research results can be used to promote the digital protection of traditional embroidery.
Keywords:
embroidery stitches; stitch model; HC-Snake model; gray level mo-occurrence matrix; color moments; BP neural network