具有連續(xù)纖維目標(biāo)的圖像拼接研究

韓子葉，王榮武

(東華大學(xué)紡織學(xué)院，上海 201620)

0 引言

隨著信息的發(fā)展與科技的進(jìn)步，數(shù)字化圖像處理技術(shù)在紡織領(lǐng)域的應(yīng)用愈來(lái)愈廣泛，較傳統(tǒng)的紡織檢測(cè)技術(shù)更加客觀、高效。在進(jìn)行數(shù)字化檢測(cè)的過(guò)程中，通常使用光學(xué)顯微鏡對(duì)原始圖像進(jìn)行采集。由于光學(xué)顯微鏡的成像原理等原因，得到的圖像會(huì)存在清晰度與視野不可兼得的矛盾[1]。如果選擇較高的放大倍數(shù)，得到的圖像更清晰、細(xì)節(jié)更明顯，但是視野較小，無(wú)法對(duì)材料進(jìn)行全面的分析；相反，如果選擇的放大倍數(shù)較低，會(huì)得到視野較大的圖像，但是清晰度低，不能進(jìn)行細(xì)節(jié)觀察，得到的分析結(jié)果精確度不足。因此，采用圖像拼接技術(shù)，將多個(gè)具有較高放大倍數(shù)的小視野圖像拼接成為一幅大視野圖像，使獲得的圖像包含清晰細(xì)節(jié)的同時(shí)視野更廣。

1 基于SIFT算法的圖像拼接

本實(shí)驗(yàn)采用2#國(guó)際標(biāo)準(zhǔn)羊毛纖維作為實(shí)驗(yàn)數(shù)據(jù)，在BEION M318全自動(dòng)光學(xué)顯微鏡下，使用4X平場(chǎng)無(wú)限遠(yuǎn)物鏡組對(duì)圖像進(jìn)行采集，采集到的圖像大小均為800×600(x方向?yàn)?00，y方向?yàn)?00)。為了將兩幅相鄰的纖維圖像進(jìn)行拼接，要求兩幅圖像具有一定的重疊區(qū)域。對(duì)于M318顯微鏡的4X物鏡組，可設(shè)定顯微鏡載物平臺(tái)在X軸正方向移動(dòng)步長(zhǎng)為300，采集到的圖像如下圖1所示。

圖1 采集到的連續(xù)羊毛纖維圖像

圖像中紅色線框所標(biāo)注的部分即是兩幅圖像間的重疊區(qū)域。如上圖1所示，重疊率大致達(dá)到了60%。

由圖1可以觀察到，當(dāng)圖像中纖維分布較為分散時(shí)，纖維根數(shù)少，包括大片的空白區(qū)域，含有的可用信息少?；谏鲜龅膱D像特點(diǎn)，所采用的圖像拼接算法需要具有“多量性”特征，即含有少量的物體也可以檢測(cè)出大量的特征點(diǎn)用來(lái)進(jìn)行匹配。在眾多具有此性質(zhì)的圖像拼接算法中，SIFT算法是典型代表。SIFT算法于1999年由Lowe等人提出后于2004年總結(jié)完善[2]，其原理是首先構(gòu)建圖像高斯差分金字塔，在相鄰尺度上通過(guò)選取指定區(qū)域中的極值點(diǎn)來(lái)提取候選特征點(diǎn)，再通過(guò)三維二次函數(shù)擬合精確關(guān)鍵點(diǎn)的尺度和位置，同時(shí)消除邊緣響應(yīng)點(diǎn)和低對(duì)比度的點(diǎn)。同時(shí)為了滿足特征點(diǎn)的旋轉(zhuǎn)不變性，為每一個(gè)特征點(diǎn)分配一個(gè)主方向并且對(duì)坐標(biāo)軸進(jìn)行變換。將特征點(diǎn)的鄰域進(jìn)行劃分，為特征點(diǎn)生成128維的特征向量對(duì)其進(jìn)行描述。之后采用歐式距離作為指標(biāo)以衡量?jī)蓚€(gè)向量間的相似性，在此基礎(chǔ)上對(duì)圖1中的兩幅圖像進(jìn)行圖像拼接，得到的結(jié)果如下圖所示。

圖2 拼接圖像

圖2中上方圖像為圖1中兩幅圖像拼接后原圖，圖2下方圖像為拼接處的局部放大圖。可以看出對(duì)于毛纖維，當(dāng)纖維分布稀疏時(shí)，SIFT算法的拼接效果良好，但是由于圖像采集時(shí)點(diǎn)光源影響，兩幅相鄰圖像有光照差異，造成拼接后的圖像具有拼接線，因此需要通過(guò)圖像融合技術(shù)消除此線。

2 圖像融合

圖像融合一方面是要利用待拼接的兩幅圖像中重疊區(qū)域外的不同信息進(jìn)行互補(bǔ)，使得有用信息在最大程度上保留在配準(zhǔn)融合后的圖像中，二是消除拼接縫隙，使得兩幅圖像之間的過(guò)渡更加自然、平滑，具有一個(gè)良好的視覺(jué)效果[3-4]。

本文采用漸入漸出法進(jìn)行融合。其原理是對(duì)位于重疊區(qū)域的像素進(jìn)行加權(quán)。權(quán)重的選擇取決于重疊區(qū)域中的像素位置距離其邊界的遠(yuǎn)近，距離越遠(yuǎn)，權(quán)重越小。f1和f2表示待拼接的兩幅圖像,f表示融合后圖像，(x,y)表示像素點(diǎn)的具體坐標(biāo)，則有：

式中，d1和d2表示權(quán)重，并且d1+d2=1，0

圖3 漸入漸出法原理圖

對(duì)圖2中上方圖像進(jìn)行漸入漸出法融合的結(jié)果如下圖4所示。

圖4 融合效果圖

可以看出，經(jīng)過(guò)漸入漸出法融合之后，在拼接處存在著的拼接線已經(jīng)消失，并且信息沒(méi)有明顯損失，得到了視覺(jué)效果良好的拼接圖像。

3 廣泛性驗(yàn)證

上述實(shí)驗(yàn)所采用的圖像為羊毛纖維的圖像，并且纖維分布稀疏，得到的拼接效果良好，但是由于紡織材料的廣泛性，其纖維原料多樣、纖維分布的形式多樣以及顯微鏡的倍數(shù)多樣。因此，需要在不同的情況下對(duì)此算法進(jìn)行驗(yàn)證實(shí)驗(yàn)。本實(shí)驗(yàn)采用天然纖維中的棉纖維、化學(xué)纖維中的滌綸纖維以及非織造材料等圖像進(jìn)行驗(yàn)證。

3.1 使用棉纖維圖像進(jìn)行驗(yàn)證

棉纖維具有良好的吸濕和透氣性能，并且手感柔軟，透氣性好，被廣泛地應(yīng)用于紡織領(lǐng)域中。在上文采用羊毛纖維進(jìn)行實(shí)驗(yàn)時(shí)，圖像中纖維分布稀疏。因此，為了驗(yàn)證算法在纖維分布密集時(shí)的拼接以及融合效果，在使用棉纖維圖像進(jìn)行驗(yàn)證時(shí)，使纖維分布密集，并在4X物鏡組與10X物鏡組下分別獲取圖像。

圖5 4X物鏡組下采集的連續(xù)兩幅密集棉纖維圖像

在4X物鏡組下對(duì)分布密集的棉纖維進(jìn)行圖像采集，得到連續(xù)的兩幅圖像，其中纖維含量多，包含的信息更為復(fù)雜，如圖5所示。拼接結(jié)果以及拼接結(jié)果的驗(yàn)證如下圖6所示。

(a)

(b)

圖6(a)為圖5中兩幅圖像進(jìn)行拼接的結(jié)果，圖6(b)中則包含了拼接圖像中拼接線周?chē)暾膱D像信息，在(a)、(b)兩幅圖像中于拼接線周?chē)x擇三個(gè)同樣的特征點(diǎn)進(jìn)行連接，得到了兩個(gè)全等三角形，表明SIFT算法適用于低倍數(shù)下密集纖維圖像的拼接，會(huì)得到良好的拼接效果。對(duì)6(a)采用漸入漸出法進(jìn)行圖像融合的結(jié)果如下圖7所示。

圖7 圖6(a)中圖像融合后結(jié)果

由融合后圖像與融合前圖像進(jìn)行對(duì)比可以看出融合效果良好，既保留了非重疊區(qū)域的圖像信息，使其完整，又消除了拼接縫隙，使整個(gè)圖像過(guò)渡自然。

圖8 10X物鏡組下采集的連續(xù)兩幅密集棉纖維圖像

由圖8可以看出，與低倍物鏡組下采集到的纖維分布密集時(shí)的圖像相比，高倍鏡下多焦面現(xiàn)象更為明顯，當(dāng)纖維數(shù)量較多時(shí)，在空間中產(chǎn)生“堆疊”，即同一幅圖像中纖維存在不同焦面上，無(wú)法同時(shí)表現(xiàn)出清晰的狀態(tài)，對(duì)圖像進(jìn)行連續(xù)采集時(shí)，位于兩幅圖像中的同一點(diǎn)并不能保證會(huì)是同一個(gè)清晰狀態(tài)，因此增加了拼接難度。對(duì)圖8中兩幅連續(xù)圖像進(jìn)行拼接，結(jié)果與拼接效果驗(yàn)證如下圖9。

(a)

(b)

圖9(a)為采集到的10X物鏡下連續(xù)兩張密集棉纖維圖像進(jìn)行拼接的結(jié)果，圖9(b)則為4X物鏡下采集到的同位置圖像，包含了完整的圖像信息，在(a)(b)兩幅圖像中于拼接線周?chē)x擇三個(gè)同樣的特征點(diǎn)進(jìn)行連接，得到了兩個(gè)相似三角形，表明SIFT算法對(duì)于尺度具有良好的魯棒性，適用于高倍數(shù)下密集纖維圖像的拼接。對(duì)圖9(a)使用漸入漸出法進(jìn)行圖像融合的結(jié)果如下圖10所示。

圖10 圖9(a)中圖像融合后結(jié)果

由融合結(jié)果可以看出，該融合算法同樣適用于具有多焦面現(xiàn)象的纖維密集分布圖像。

3.2 使用滌綸圖像進(jìn)行驗(yàn)證

滌綸纖維是一種常見(jiàn)的化學(xué)纖維，具有耐沖擊性、彈性好等特點(diǎn)，被廣泛地應(yīng)用于紡織領(lǐng)域。本文分別使用4X物鏡組和10X物鏡組對(duì)滌綸纖維圖像進(jìn)行采集，對(duì)本文中的算法進(jìn)行驗(yàn)證。

圖11 4X物鏡組下采集的連續(xù)兩幅滌綸纖維圖像

拼接結(jié)果以及拼接結(jié)果的驗(yàn)證如下圖12所示。

(a)

(b)

圖12(a)為圖11中兩幅圖像進(jìn)行拼接的結(jié)果，圖12(b)中則包含了拼接圖像中縫隙周?chē)暾膱D像信息，同樣在4X物鏡組下拍攝，在(a)、(b)兩幅圖像中于拼接縫隙周?chē)x擇三個(gè)同樣的特征點(diǎn)進(jìn)行連接，得到了兩個(gè)相等三角形，表明SIFT算法適用于低倍物鏡組下滌綸纖維圖像的拼接。

在10X物鏡組下對(duì)滌綸纖維進(jìn)行采集的圖像如下圖13。

圖13 10X物鏡組下采集的連續(xù)兩幅滌綸纖維圖像

拼接結(jié)果以及拼接結(jié)果的驗(yàn)證如下圖14所示。

(a)

(b)

圖14(a)為采集到的10X物鏡下連續(xù)兩張滌綸纖維圖像進(jìn)行拼接的結(jié)果，圖14(b)中則包含了拼接圖像中縫隙周?chē)暾膱D像信息，在4X物鏡組下拍攝，在(a)、(b)兩幅圖像中于拼接縫隙周?chē)x擇三個(gè)同樣的特征點(diǎn)進(jìn)行連接，得到了兩個(gè)相似三角形，表明SIFT算法適用于高倍物鏡組下滌綸纖維圖像的拼接。

3.3 非織造材料圖像

非織造材料是由纖維直接構(gòu)建而成，因此非織造材料圖像亦是纖維目標(biāo)圖像。因?yàn)楸緦?shí)驗(yàn)圖像由光學(xué)顯微鏡獲取得到，由于透光的問(wèn)題，要求非織造材料的厚度在一定范圍內(nèi)，便于光透射進(jìn)行圖像采集。因此，本實(shí)驗(yàn)采用紡粘非織造材料進(jìn)行拼接，并對(duì)拼接效果進(jìn)行驗(yàn)證。

本實(shí)驗(yàn)對(duì)紡粘非織造材料在20X物鏡組下的圖像進(jìn)行采集拼接，在20X物鏡組下對(duì)紡粘非織造材料進(jìn)行采集的圖像如下圖15。

圖15 20X物鏡組下采集的連續(xù)兩幅紡粘材料圖像

拼接結(jié)果以及拼接結(jié)果的驗(yàn)證如下圖16所示。

(a)

(b)

>圖16(a)為采集到的20X物鏡組下兩張連續(xù)的紡粘非織造材料圖像進(jìn)行拼接的結(jié)果，圖16(b)中則包含了拼接圖像中拼接線周?chē)暾膱D像信息，在10X物鏡組下采集得到，在(a)、(b)兩幅圖像中于拼接線周?chē)x擇三個(gè)同樣的特征點(diǎn)進(jìn)行連接，得到了兩個(gè)相等三角形，表明SIFT算法適用于高倍物鏡組下纖維信息復(fù)雜的紡粘非織造材料圖像的拼接。

4 結(jié)論

使用漸入漸出法對(duì)SIFT算法拼接后的圖像進(jìn)行融合，可以消除因光照差異等原因產(chǎn)生的拼接線。通過(guò)使用棉纖維圖像、滌綸纖維圖像以及紡粘材料的圖像對(duì)上述算法進(jìn)行驗(yàn)證，該算法可以廣泛地應(yīng)用于紡織領(lǐng)域。通過(guò)對(duì)纖維圖像進(jìn)行拼接，使纖維目標(biāo)更加完整化，獲得更加精確全面的纖維信息，在數(shù)字化檢測(cè)的過(guò)程中得到應(yīng)用，如增加纖維直徑的測(cè)量精度；擴(kuò)展了圖像視野，可以得到材料本身更加完整的信息，如材料的孔隙率、取向度、混紡比等性能。