緯編針織物結(jié)構(gòu)識別中的圖像變形修正

呂唐軍， 龍海如

(1. 東華大學(xué) 紡織學(xué)院， 上海 201620； 2. 東華大學(xué) 紡織面料技術(shù)教育部重點實驗室， 上海 201620)

緯編針織物結(jié)構(gòu)識別中的圖像變形修正

呂唐軍1,2， 龍海如1,2

(1. 東華大學(xué) 紡織學(xué)院， 上海 201620； 2. 東華大學(xué) 紡織面料技術(shù)教育部重點實驗室， 上海 201620)

為解決緯編針織物自身扭曲以及拍攝過程中鏡頭帶來的透視變形及畸變等對自動識別織物組織的影響，提出對緯編針織物圖像中的扭曲采取投影轉(zhuǎn)換、基于多項式的局部加權(quán)平均轉(zhuǎn)換等方法來修正。結(jié)合手持識別系統(tǒng)開發(fā)需要，設(shè)計了修正織物組織圖像扭曲所需的相應(yīng)修正模板，制定了先調(diào)整透視變形，然后調(diào)整畸變及普通線圈變形的完整修正流程，對針織物自身變形進行了分析并提出了因結(jié)構(gòu)變化而產(chǎn)生變形的修正方案。經(jīng)實驗證實上述方法對緯編針織物圖像中的透視變形、鏡頭畸變及線圈自身扭曲變形有很好的修正效果。

自動識別； 緯編針織物； 圖像變形； 投影變換； 局部加權(quán)平均

Abstract The projection transformation and the local weighted mean conversion method based on polynomial fitting is proposed to correct the deformation of weft knitted loop image, perspective and lens distortion which influences automatic identification accuracy of stitch structure. Combined with the need of the development for hand-held device, the standard templates were designed and feasible correcting process was set. A general scheme correction of the perspective distortion and lens distortion were designed in the paper. The correction scheme for fabric stitch distortion was also discussed. The experiment results showed that the presented approaches have satisfactory effect for distortion correction on weft knitted fabric image.

Keywords automatic identification； weft knitted fabric； image distortion； projection transform； local weighted mean

在應(yīng)用計算機視覺技術(shù)對針織物圖像進行組織結(jié)構(gòu)自動識別時，有很多因素會影響到識別，其中因圖像扭曲、變形而產(chǎn)生的誤判情況比較突出。導(dǎo)致織物圖像扭曲、變形的原因有2個方面：一方面是攝影器材及拍攝問題(鏡頭畸變、透視變形)[1]；另一方面則是針織物自身為達(dá)到結(jié)構(gòu)空間力平衡而產(chǎn)生的扭曲變形問題。

長期以來，對于解決攝影器材及拍攝原因?qū)е碌膱D像扭曲變形的研究很多，遍及醫(yī)療[2]、航空攝影，工業(yè)自動化控制，文本自動識別[3]等各領(lǐng)域。在解決圖像變形問題上一般采取通過約束平面透視投影,利用相應(yīng)的變形校正模型將空間直線的投影曲線映射轉(zhuǎn)換成圖像平面上的直線,從而達(dá)到對變形圖像的校正[4]。平面圖像畸變校正研究已經(jīng)較為成熟，很多研究成果可直接應(yīng)用于對緯編針織物平面圖像因拍攝原因產(chǎn)生的圖像扭曲修正，尤其是采用標(biāo)準(zhǔn)網(wǎng)格模板、點陣模板方式進行對比修正的方法非常適合用于修正緯編針織物拍攝過程中形成的圖像扭曲，此外利用已知空間點三維坐標(biāo)來進行校正的方法也適合用于輔助校正[5]。

因自身結(jié)構(gòu)空間力平衡而產(chǎn)生的扭曲變形一直是困擾自動識別針織物組織研究的難題。由于針織物尤其是緯編針織物自身結(jié)構(gòu)的不穩(wěn)定性，導(dǎo)致即使是在同一塊織物中同一種組織在不同位置出現(xiàn)時也會產(chǎn)生不同的視覺造型。目前國內(nèi)外對修正因織物自身變形而產(chǎn)生的圖像扭曲的相關(guān)研究較少，本文采取以理想緯編針織物結(jié)構(gòu)模擬圖像為標(biāo)板，結(jié)合數(shù)字圖像處理方法，通過對模擬、真實組織單元雙向匹配鎖定來解決織物扭曲。本文實驗的織物試樣均用德國Stoll公司CMS502HP電腦橫機生產(chǎn)?？椢飯D像用500萬～1 600萬像素的普通家用數(shù)碼相機或手機拍攝。由于本文研究是計算機自動識別緯編針織物組織研究的一部分，主體研究涉及簡易手持自動識別系統(tǒng)的開發(fā)，因此本文主要的圖像采集工具均為普通手持拍攝設(shè)備，而專業(yè)圖像采集設(shè)備所拍攝圖像作為參考。

1 緯編針織物線圈扭曲的圖像表現(xiàn)

1.1 緯編針織物線圈自身扭曲變形表現(xiàn)

緯編針織物由線圈串套構(gòu)成，無論單面還是雙面針織物其單個線圈都不呈現(xiàn)平面形態(tài)。從理論角度分析，當(dāng)緯編針織物處于能量最小狀態(tài)，織物的幾何尺寸由此時的線圈形態(tài)決定，該狀態(tài)下的線圈形態(tài)具有相似性，它獨立于組成線圈的紗線的長度和物理性能[6]。由于紗線的彈性，織物在松弛狀態(tài)下線圈形態(tài)有一定的隨機性，其實際形態(tài)與理論模型有一定出入，尤其是密度較小的緯編針織物。圖1示出緯平針織物的線圈形態(tài)?？煽吹?，即使編織工藝參數(shù)相同，所形成的線圈在外觀形狀上也會出現(xiàn)明顯的不同，而這種差別經(jīng)過圖像處理后(二值化、細(xì)化)會更加嚴(yán)重。變形的累加也帶來了橫列、縱行的扭曲。此外，單一組織的緯編針織物還可能存在緯斜問題。

除線圈自身隨機變形外，另一種線圈扭曲變形的原因是同一織物中不同組織間連接轉(zhuǎn)換過程中線圈受力的不同，如圖2所示的移圈組織。圖中顯示在移圈線圈附近的普通線圈的形狀與遠(yuǎn)離移圈線圈的普通線圈形狀有明顯的不同，普通線圈變形程度與離移圈線圈的距離密切相關(guān)。

當(dāng)織物中存在距離較接近的2種不同組織時，中間用于連接的線圈的形態(tài)扭曲會更嚴(yán)重且變化規(guī)律更不明顯。個別情況下織物在經(jīng)過幾個組織轉(zhuǎn)換后，縱行與橫列的分布都發(fā)生了變化。此外，緯編針織物還存在一些組織因內(nèi)部結(jié)構(gòu)變化形成的各種與普通線圈形態(tài)不同的線圈。在自動識別組織結(jié)構(gòu)過程中，不允許改變此類線圈的形態(tài)特征，因此本文研究聚焦在基本組織(平針、羅紋等)的線圈自身扭曲，所有變化組織、花色組織內(nèi)部的線圈扭曲不在本文討論范圍內(nèi)。

1.2 由拍攝產(chǎn)生的圖像扭曲表現(xiàn)

由拍攝產(chǎn)生的圖像扭曲的原因主要有2個方面：拍攝角度、鏡頭像差。盡管隨著數(shù)碼攝影技術(shù)的發(fā)展，大多數(shù)鏡頭像差在機身圖像處理器或后期軟件中都可進行準(zhǔn)確修正，但需要對圖像進行準(zhǔn)確標(biāo)識定位等識別處理時，鏡頭像差的控制與修正還需要做進一步探討。

1.2.1 因拍攝角度產(chǎn)生的圖像變形

在獲取織物圖像時，若拍攝設(shè)備與織物平面不平行，拍攝出來的圖像因為拍攝夾角會產(chǎn)生透視變形，圖3示出仰角拍攝時圖像產(chǎn)生的透視變形。

而在手持拍攝過程中，經(jīng)常發(fā)生物平面和像平面不平行。在緯編針織物組織結(jié)構(gòu)自動識別的手持系統(tǒng)研究開發(fā)中，拍攝的照片普遍會存在一定的透視變形。

1.2.2 因鏡頭像差產(chǎn)生的圖像變形

因鏡頭產(chǎn)生的像差有：球差、慧差、像散、相場彎曲、色散以及鏡頭畸變。通過采用非球面鏡片、低色散鏡片以及更精確的鏡頭設(shè)計可以去除大部分像差，但不可能完全消除所有像差影響。涉及本文研究范圍的像差是鏡頭畸變，根據(jù)成像特征可分別定義為枕形畸變和桶形畸變。圖4示出平針織物拍攝過程中形成的桶形、枕形畸變。

當(dāng)采用非專業(yè)鏡頭手持拍攝時，像此類鏡頭畸變會較容易出現(xiàn)。本文將因拍攝產(chǎn)生的緯編針織物圖像扭曲統(tǒng)一稱為攝影扭曲。

2 用于圖像幾何扭曲修正的算法

2.1 多項式映射函數(shù)

圖像幾何畸變糾正方法主要分2大類：一類是直接針對鏡頭參數(shù)制定修正模型進行修正；另一類則是采取在實拍圖像與預(yù)設(shè)標(biāo)準(zhǔn)圖像之間建立轉(zhuǎn)換模型，通過轉(zhuǎn)換模型對實拍圖像實施插值轉(zhuǎn)換。第2類方法一般是在需要修正的圖像與預(yù)設(shè)標(biāo)準(zhǔn)圖像之間對應(yīng)選擇明顯的特征點作為控制點, 利用幾何校正模型建立待修正圖像與預(yù)設(shè)標(biāo)

準(zhǔn)圖像之間的映射關(guān)系并完成圖像的重建。相應(yīng)本文研究，設(shè)定預(yù)設(shè)標(biāo)準(zhǔn)圖像的像素位置坐標(biāo)為(x,y)，待修正緯編針織面料圖像上的像素位置坐標(biāo)為(x′，y′)。其映射關(guān)系可以采用式(1)中的多項式來描述。

(1)

式中：n為多項式的階數(shù)，aij和bij是多項式的待定系數(shù)，當(dāng)n=2時，方程可解為

x′=a00+a10x+a01y+a11xy+a20x2+a02y2

(2)

y′=b00+b10x+b01y+b11xy+b20x2+b02y2

(3)

可采用最小二乘方準(zhǔn)則來求解，其中設(shè)置控制點的個數(shù)是按未知數(shù)的多少來確定的，如本次采用二次多項式(12個系數(shù))，至少需要12個方程即6個控制點。而在實際工作中控制點的數(shù)目往往大于所需要的最少數(shù)目。

結(jié)合多項式，具體用于投影變換的模型為

(4)

式中：x′、y′為轉(zhuǎn)換后像素坐標(biāo)；x、y是轉(zhuǎn)換前像素坐標(biāo)；t11、t22是縮放尺度；t12、t21是旋轉(zhuǎn)量；t13、t23是水平、垂直方向位移；t31、t32是水平、垂直方向的變形量。

2.2 局部加權(quán)平均變換

在緯編針織面料圖像修正過程中，發(fā)現(xiàn)圖像中各個局部的變形并不一致，因此采用待修正圖像點像素與相應(yīng)預(yù)設(shè)標(biāo)準(zhǔn)圖像特征點像素的歐氏距離的歸一化函數(shù)作為映射函數(shù)的加權(quán)值Wi(x,y)來控制變換修正[7]，如式(5)所示。

(5)

(6)

式中：R為標(biāo)準(zhǔn)歐氏距離，Rn是與像素(x，y)相鄰的n個特征點中最遠(yuǎn)特征點的距離值。這樣保證了非相鄰的特征點對像素的修正函數(shù)沒有影響。利用Wi(x,y)對映射函數(shù)作加權(quán)平均，可得到相應(yīng)的修正函數(shù)，見式(7)。

(7)

3 緯編針織物圖像扭曲修正

由于緯編針織面料圖像存在攝影扭曲和自身扭曲這2個方面的變形需要修正，而這2種扭曲的成因截然不同，相互間也無法找到關(guān)系模型進行聯(lián)系，因此必須分別對這2種扭曲進行單獨修正。鑒于自身扭曲為織物結(jié)構(gòu)固有而攝影扭曲為后期疊加形成，所以需先行完成攝影扭曲修正后再進行自身扭曲修正。結(jié)合實際操作，整個緯編針織物圖像扭曲修正流程如圖5所示。

3.1 預(yù)設(shè)修正模板

計算機對圖像進行修正主要通過計算未變形的標(biāo)準(zhǔn)樣品上的特征點與已變形的測試樣品上的對應(yīng)特征點之間的關(guān)系，根據(jù)測量、推算出來的關(guān)系對已變形的圖像進行修正，因此修正的精度除依賴于轉(zhuǎn)換模型、算法外，也會受到標(biāo)準(zhǔn)模板影響，選擇合適的標(biāo)準(zhǔn)樣品作為修正模板可以提高修正的速度和準(zhǔn)確度。根據(jù)圖5所示修正流程，預(yù)設(shè)快速透視修正模板、鏡頭畸變修正模板和線圈修正模板這3種修正模板。快速透視修正模板可以為規(guī)整的點、線圖案或網(wǎng)格圖，如圖6所示。

相對快速透視修正模板，用于緯編針織面料圖像鏡頭畸變修正的標(biāo)準(zhǔn)模板則需要更貼近實物情況，這樣做的目的是在提供準(zhǔn)確的畸變修正參考之外，同時通過將織物圖像與標(biāo)準(zhǔn)模板圖像進行匹配檢查，確定更多的織物組織信息，為后續(xù)的自動識別織物組織做準(zhǔn)備。本文研究采用德國Stoll公司的M1_puls軟件繪制的織物效果圖來作為鏡頭畸變修正模板，如圖7所示。

線圈標(biāo)準(zhǔn)模板則采用芒登的三維線圈模型生成，具體效果如圖8所示。由于此模板僅用于快速修正織物圖像中發(fā)生自身扭曲的線圈，因此僅保留圈柱和針編弧，忽略沉降弧。

各模板會根據(jù)實際織物檢測樣品的具體情況作出調(diào)整，以上列出模板僅為較有代表性的。

3.2 修正攝影扭曲

3.2.1 投影變換修正透視變形

緯編針織物圖像中的攝影扭曲主要為透視變形和鏡頭畸變，具體表現(xiàn)如圖3、4所示。在解決透視變形方面，現(xiàn)有研究[8]一般采用仿射變換或投影變換來解決,由于手持拍攝過程有可能出現(xiàn)三維尺度上的變形，因此本文研究選擇采用投影變換，投影變換的關(guān)系模型見式(4)，轉(zhuǎn)換后效果如圖9所示。

從圖9可看到，經(jīng)過處理后，面料中線圈大小基本均勻一致，橫列與縱行分布平均，整體效果滿足后續(xù)計算機自動識別織物組織的要求。

3.2.2 局部加權(quán)平均方法修正畸變

已有研究發(fā)現(xiàn)采用一階仿射校正局部變形效果不夠理想，而局部加權(quán)平均模型在處理圖像中的具有局部化特點且分段線性條件不充分的變形時有較突出的效果。從式(6)可知其算法至少需要設(shè)置6對特征點來計算出模型的相關(guān)參數(shù)，而實際使用中多采用12對控制點進行計算。在控制點分布稀疏的區(qū)域，選取的臨近控制點可能距離當(dāng)前控制點較遠(yuǎn)，而遠(yuǎn)離該區(qū)域控制點的影響將加大，因此產(chǎn)生較大的校正誤差[9]。本文實驗采用15對控制點，根據(jù)所需修正畸變的特點，這些控制點分布在圖像接近邊緣的位置,具體如圖10所示。從圖中可看到圖像原存在的明顯桶形畸變已經(jīng)得到修正，織物橫列與縱行恢復(fù)平均分布?？刂泣c選擇及具體修正點的坐標(biāo)如表1所示。

3.3 修正織物自身扭曲

在完成了攝影扭曲修正后，大多數(shù)織物自身扭曲情況也會得到一定的改善，一般情況下已不需再對其進行修正。僅當(dāng)自身扭曲較嚴(yán)重，前期扭曲修正操作無法對其生效情況下，將對此線圈進行單獨修正。修正流程如圖11所示。

控制點坐標(biāo)修正點坐標(biāo)xyxy130116148708045614826811766014840088349148202593718497400910742729400105473484540011174888452681098349845202104613484570750103613704448533170108862184533443470833140093226148136

對線圈扭曲修正采用投影變換方式來進行，具體操作與攝影扭曲修正相同。需要注意的是，緯編針織物中許多組織中的線圈變形如移圈后產(chǎn)生的相關(guān)線圈變形是不能單純以線圈自身扭曲來判斷的，這些變形必須綜合考慮其成因。

4 結(jié) 論

圖像扭曲變形是影響計算機自動識別精度的關(guān)鍵因素，具體扭曲變形的成因也非單方面，緯編針織物圖像更是如此。本文提出了分段依次采用投影變換、基于多項式的局部加權(quán)平均變換等方法，結(jié)合依照不同變形情況設(shè)定的標(biāo)準(zhǔn)模板來修正圖像變形，取得了較好的效果。

[1] DEVERNAY F, FAUGERAS O. Straight lines have to be straight: automatic calibration and removal of distortion from scenes of structured environments[J]. Machine Vision and Applications, 2001, 13(1): 14-24.

[2] MELO R, BARRETO J P, FALCAO G. A new solution for camera calibration and real-time image distortion correction in medical endoscopy-initial technical evaluation [J]. Biomedical Engineering, IEEE

Transactions on, 2012.59(3): 634-644.

[3] LU S, TAN C L. The restoration of camera documents through image segmentation[J].Lecture Notes in Computer Science, 2006, 3872: 484-495.

[4] SWAMINATHAN R, NAYAR S K. Nonmetric calibration of wide-angle lenses and polycameras [J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2000.22(10): 1172-1178.

[5] SHAH Shishir, AGGARWAL J K. Intrinsic parameter calibration procedure for a (high distortion) fish-eye lens camera with distort ion model and accuracy estimation[J]. Pattern Recognition, 1996, 29 (11):1775-1788.

[6] MUNDEN D. The geometry and dimensional properties of plain-knit fabrics [J]. J Textile Inst, 1959, 50(6): 448-471.

[7] GOSHTASBY A. Image registration by local approximation methods [J]. Image and Vision Computing, 1988, 6(4): 255-261.

[8] FAUGERAS O, LUONG Q T. The Geometry of Multiple Images: the Laws That Govern the Formation of Multiple Images of a Scene and Some of Their Applications [M]. [S.l]: MIT Press, 2004:668.

[9] GOSHTASBY A. Piecewise linear mapping functions for image registration[J]. The Journal of the Pattern Recognition Society,1986,19(6)：459-466.

Image distortion correction on structure identification of weft knitted fabric

Lü Tangjun1,2， LONG Hairu1,2

(1.CollegeofTextiles,DonghuaUniversity，Shanghai201620，China； 2.KeyLaboratoryofTextileScience&Technology,MinistryofEducation，DonghuaUniversity，Shanghai201620，China)

10.13475/j.fzxb.20150105906

2015-01-29

2015-11-19

呂唐軍(1977—)，男，講師，博士生。主要研究方向為針織產(chǎn)品開發(fā)及計算機自動識別與控制。龍海如，通信作者，E-mail：hrlong@dhu.edu.cn。

TS 181.8

A