基于機器視覺的碳纖維編織過程纖維狀態(tài)檢測系統(tǒng)

劉小龍，孟 婥，張玉井，孫以澤

(東華大學(xué) 機械工程學(xué)院，上海 201620)

碳纖維編織是由編織錠子放線、纖維傾斜交織，最終匯聚在芯模上形成預(yù)制件的過程[1]。編織過程極易發(fā)生摩擦導(dǎo)致纖維異常：如錠子放線過程中碳纖維與編織錠子上的導(dǎo)紗輪處產(chǎn)生摩擦，形成纖維纏繞狀態(tài)；纖維長時間磨損導(dǎo)致斷纖；碳纖維單絲斷裂纏繞在纖維筒上形成纖維環(huán)狀態(tài)。若無法及時發(fā)現(xiàn)編織過程中纖維異常狀態(tài)，將嚴(yán)重干擾正常的編織生產(chǎn)。Maidl等[2]的研究表明異常狀態(tài)的出現(xiàn)導(dǎo)致編織生產(chǎn)率降低并增加了錯誤原因分析和錯誤糾正時間的額外成本。Ebel等[3]的研究表明編織缺陷的出現(xiàn)，如纖維斷裂和纖維環(huán)，可導(dǎo)致機器停機時間高達總生產(chǎn)時間的26%，極大降低了編織機的生產(chǎn)效率。因此，生產(chǎn)時需及時去除異常纖維以保證編織效率。

綜上，大都研究都不適用于編織工藝，而視覺檢測提升了生產(chǎn)效率，相對人工有更高的檢測精度。因此，本文針對斷纖、纖維纏繞及纖維環(huán)狀態(tài)分別用NCC匹配算法、基于圖像分割的二次定位和幾何特征檢測算法及積分投影算法進行檢測，以期利用視覺檢測技術(shù)實現(xiàn)編織過程的纖維檢測，從而提高檢測效率及編織質(zhì)量。

1 纖維狀態(tài)檢測系統(tǒng)硬件組成

纖維狀態(tài)檢測系統(tǒng)的任務(wù)是檢測編織過程中有無纖維異常狀態(tài)，該系統(tǒng)主要包括相機、鏡頭、光源、傳感器等，系統(tǒng)構(gòu)成如圖1所示。其中，相機芯片為CMOS類型且分辨率為1 440像素×1 080像素，光源為2個環(huán)形白色LED光源。相機1采集纖維環(huán)狀態(tài)和導(dǎo)紗輪1的纖維纏繞圖像，相機2采集斷纖狀態(tài)和導(dǎo)紗輪2的纖維纏繞圖像。

圖1 系統(tǒng)構(gòu)成Fig.1 System Components

2 檢測算法流程

檢測系統(tǒng)算法流程分為預(yù)處理階段和狀態(tài)識別階段。系統(tǒng)整體檢測流程為：相機采集到當(dāng)前位置圖像，經(jīng)過預(yù)處理階段和狀態(tài)識別階段檢測纖維狀態(tài)，當(dāng)檢測到纖維異常狀態(tài)時進行處理。預(yù)處理階段包括劃分感興趣區(qū)域和直方圖均衡化、中值濾波對圖像進行處理，預(yù)處理完成后針對產(chǎn)生斷纖、纖維纏繞及纖維環(huán)的位置分別采用NCC匹配算法、基于圖像分割的二次定位和幾何特征檢測算法及積分投影算法進行檢測。算法流程如圖2所示。

圖2 檢測系統(tǒng)算法流程Fig.2 Detection system algorithm flow

2.1 斷纖狀態(tài)檢測算法

斷纖是編織過程中常見的一種異?，F(xiàn)象，正常編織時由于張力的存在，導(dǎo)紗輪2在錠子的上部，當(dāng)斷纖時張力為0，導(dǎo)紗輪2下墜到錠子底部，從而確定此纖維已經(jīng)斷裂。纖維狀態(tài)特征如圖3所示。因此可通過導(dǎo)紗輪位置的變化作為特征間接表征斷纖，導(dǎo)紗輪2區(qū)域特征為白色，斷纖后的區(qū)域灰度變化明顯，采用NCC匹配算法可檢測斷纖狀態(tài)。

圖3 纖維狀態(tài)特征Fig.3 Fiber state characteristics.

2.1.1 基于NCC匹配算法的斷纖檢測

圖像匹配算法可以對不同時間采集到的多幅圖像進行不同程度的幾何變換，以達到各圖像中相同的區(qū)域在幾何上對準(zhǔn)，該方法分為基于區(qū)域和基于特征兩大類[12]。本文選用的NCC匹配算法是基于區(qū)域的圖像配準(zhǔn)[13]，即利用像素點的灰度信息來確定待配準(zhǔn)圖像之間的幾何變換關(guān)系。NCC匹配算法需要模板圖像和待配準(zhǔn)圖像，若模板圖像T大小為m×m，待配準(zhǔn)圖像S大小為n×n,則匹配過程如下：

①模板圖在待配準(zhǔn)圖像上進行連續(xù)平移操作，每一次平移所覆蓋的子圖區(qū)域記為P(i,j)，其中(i,j)為區(qū)域的左上角坐標(biāo)位置；

②根據(jù)歸一化相關(guān)函數(shù)計算區(qū)域P與輸入的待配準(zhǔn)圖像間的相關(guān)系數(shù)值；

③對待配準(zhǔn)圖像進行自上而下、自左而右的遍歷搜索。歸一化相關(guān)系數(shù)N(x,y)的計算通常分為去均值(見式(1))和不去均值(見式(2))2種，通過式(1)或(2)可計算區(qū)域P與輸入的待配準(zhǔn)圖像間的歸一化相關(guān)系數(shù)值，相關(guān)系數(shù)最大位置即為最佳匹配位置。本文采用式(1)進行計算。

(1)

(2)

式(1)和式(2)中：S是搜索圖像；T是模板圖像；z1和z2分別代表圖像匹配窗口內(nèi)的像素平均值；歸一化相關(guān)系數(shù)N(x,y)的取值范圍為[-1,1],其值越大代表2幅圖像的相關(guān)性越大；N(x,y)=-1時，圖像之間完全不同；N(x,y)=1時，圖像之間完全相同。

2.1.2 檢測過程分析

模板圖I、待配準(zhǔn)圖像J、歸一化相關(guān)系數(shù)最大時的匹配位置坐標(biāo)(xmax,ymax)及歸一化相關(guān)系數(shù)值N如圖4所示。

圖4 匹配數(shù)據(jù)Fig.4 Match data

由圖4可知，根據(jù)NCC算法計算得到纖維正常與斷纖2種狀態(tài)下錠子位置的歸一化相關(guān)系數(shù)N，當(dāng)歸一化相關(guān)系數(shù)N較大時，該位置的纖維為正常狀態(tài)；當(dāng)歸一化相關(guān)系數(shù)N較小時，該位置的纖維為斷纖狀態(tài)。通過多次分析正常纖維狀態(tài)圖像的歸一化相關(guān)系數(shù)，得到該值波動結(jié)果如圖5所示。

圖5 波動范圍Fig.5 Fluctuation range

由圖5可知，統(tǒng)計分析得到的歸一化相關(guān)系數(shù)取值在區(qū)間[0.8,1]的范圍內(nèi)波動，實驗設(shè)定當(dāng)歸一化系數(shù)N>0.8時，為纖維正常狀態(tài)。

2.2 纖維纏繞狀態(tài)檢測算法

正常纖維在膠料的作用下會形成一致性較強的束，如圖6(a)所示，但隨著編織過程進行，纖維與錠子上的導(dǎo)紗輪不斷摩擦且在放線過程中纖維張力交替變化，使得纖維的集束性變差導(dǎo)致纖維產(chǎn)生如圖6(b)所示的纖維分離現(xiàn)象，當(dāng)纖維產(chǎn)生一定程度的分離時會導(dǎo)致如圖6(c)所示的單絲斷裂現(xiàn)象，斷裂的單絲會纏繞在導(dǎo)紗輪上，纖維纏繞會加速正常纖維的磨損，從而加速纖維斷裂、影響編織成型效果。

圖6 纖維纏繞的形成過程Fig.6 The formation process of filament winding.(a)Normal fiber ；(b)Fiber separation；(c)Monofilament separation and fracture

針對導(dǎo)紗輪上纖維纏繞的檢測，采用粗、精定位共計二次定位確定導(dǎo)紗輪區(qū)域。二次定位過程如圖7所示，纖維纏繞檢測過程如圖8所示，具體為：

①在采集圖像上利用感興趣區(qū)域?qū)﹀V子上存在導(dǎo)紗輪的區(qū)域進行粗定位，得到如圖8纖維纏繞檢測過程所示的粗定位區(qū)域；

②得到步驟①中的區(qū)域后，利用閾值分割、形態(tài)學(xué)運算和特征提取的方式進行精定位，提取得到如圖8所示精定位的導(dǎo)紗輪區(qū)域；

③填充干擾區(qū)域。

圖7 定位過程Fig.7 Positioning process

圖8 纖維纏繞檢測過程Fig.8 Filament winding detection process

通過上述步驟得到待識別的區(qū)域，后對待識別區(qū)域進行二值化操作，計算得到該區(qū)域中黑色像素區(qū)域面積在整體區(qū)域的面積占比如表1所示。

表1 黑色區(qū)域面積占比Tab.1 The proportion of black area

由表1可知，可以根據(jù)黑色區(qū)域面積占比判別纖維正常區(qū)域和纖維纏繞區(qū)域。對導(dǎo)紗輪的纖維纏繞設(shè)定面積占比高于15%時，當(dāng)前區(qū)域有纖維纏繞，需要進行處理。

2.3 纖維環(huán)狀態(tài)檢測算法

編織過程中纖維環(huán)的形成會使纖維張力反復(fù)變化，從而造成纖維進一步磨損，導(dǎo)致纖維偏離正常位置，從而造成編織缺陷。在采集的圖像上得到感興趣區(qū)域如圖9所示，可見纖維環(huán)的存在使該區(qū)域的灰度變化明顯。

圖9 感興趣區(qū)域Fig.9 Area of interest

積分投影法得到纖維區(qū)域后進行投影，對感興趣區(qū)域中的像素按行、列分別累加求和再求均值，即

(3)

(4)

式(3)和式(4)中：(x,y)為位置坐標(biāo)；Q(x,y)代表位置像素；r為行數(shù)；c為列數(shù)；H(x)和V(y)分別代表第x行的平均像素和第y列的平均像素。

圖10 積分投影曲線Fig.10 Integral projection curve.(a)Horizontal projection；(b)Vertical projection

由式(3)(4)得如圖10所示的水平投影曲線和垂直投影曲線。由圖10可知，纖維正常和纖維環(huán)狀態(tài)在水平投影方向灰度變化區(qū)別較小，較難確定是否含有纖維環(huán)，在垂直投影方向上260～280列的灰度變化明顯，該波谷位置即為纖維環(huán)區(qū)域，由于無需確定纖維環(huán)具體位置，所以可根據(jù)垂直投影方向上的差值判別纖維正常區(qū)域和纖維纏繞區(qū)域，通過分析不同纖維環(huán)圖像垂直方向上投影的差值，得到如圖11所示的差值曲線。

圖11 差值曲線Fig.11 Difference curve

由圖11可知，A、B為高度差極值點，纖維環(huán)狀態(tài)在垂直方向上投影的差值在60以上，因此設(shè)定高度差大于60則存在纖維環(huán)。

3 纖維狀態(tài)檢測實驗

圖像采集平臺如圖12所示。圖12(a)中為環(huán)形編織機，白色框為固定相機的支架，圖12(b)為左圖框的放大圖。

圖12 圖像采集平臺Fig.12 Platform of image acquisition(a)Field installation；(b)Local location

為驗證算法的可行性，對圖像采集平臺中采集到的圖片利用前述算法進行纖維狀態(tài)檢測，同時在不同光照(圖像最大閾值分別為210、230和255)、運動模糊、密度和為0.5和0.7的椒鹽噪聲圖像的條件下進行對比實驗，實驗所用的計算機為Win10系統(tǒng)的ipc-610整機(研華科技)，編織機為環(huán)形編織機，其中實驗中的識別時間不包含增加干擾所用時間。編織機運行參數(shù)根據(jù)控制系統(tǒng)界面自主設(shè)定，界面參考如圖13所示。

圖13 控制系統(tǒng)界面Fig.13 Control system interface

3.1 斷纖狀態(tài)檢測實驗

斷纖的檢測流程圖如圖14所示。

圖14 檢測流程Fig.14 Detection process

不同環(huán)境下的識別準(zhǔn)確率及識別時間統(tǒng)計如表2所示。斷纖檢測結(jié)果如圖15所示。

圖15 不同環(huán)境下的檢測結(jié)果Fig.15 Test results in different environments

表2 對比檢測結(jié)果Tab.2 Compare test results

由表2可知，在實驗的不同環(huán)境中得到的圖像結(jié)果均顯示，所用算法對于斷纖狀態(tài)的檢測識別準(zhǔn)確率均在94%以上，識別時間在0.5 s左右，識別精度較好。

3.2 纖維纏繞狀態(tài)檢測實驗

纖維纏繞檢測流程圖如圖16所示。

圖16 檢測流程Fig.16 Detection process

纖維纏繞檢測實驗結(jié)果如圖17所示。不同環(huán)境下的識別準(zhǔn)確率及識別時間如表3所示。根據(jù)表3可以發(fā)現(xiàn)算法識別準(zhǔn)確率在94%以上，識別時間在0.4 s～0.5 s，檢測結(jié)果和檢測時間能滿足基本的應(yīng)用要求。

圖17 不同環(huán)境下的檢測結(jié)果Fig.17 Test results in different environments

表3 對比檢測結(jié)果Tab.3 Compare test results

3.3 纖維環(huán)狀態(tài)檢測實驗

纖維環(huán)狀態(tài)檢測流程圖如圖18所示。

圖18 檢測流程Fig.18 Detection process

纖維環(huán)檢測結(jié)果如圖19所示。不同環(huán)境下的識別準(zhǔn)確率及識別時間如表4所示。

圖19 不同環(huán)境下的檢測結(jié)果Fig.19 Test results in different environments

表4 對比檢測結(jié)果Tab.4 Compare test results

由表4可知，所用算法的平均識別準(zhǔn)確率為93.50%，精度較高，識別時間較短。

根據(jù)前述對不同纖維狀態(tài)檢測的實驗數(shù)據(jù)可知，纖維狀態(tài)檢測算法在不同環(huán)境下雖有所差異，但總體識別率較高。檢測時間較短。斷纖檢測所用算法的平均識別準(zhǔn)確率為95.75%，平均識別時間為0.54 s；纖維纏繞狀態(tài)所用算法的平均識別準(zhǔn)確率為95.25%，平均識別時間為0.47 s；纖維環(huán)狀態(tài)所用算法的平均識別準(zhǔn)確率為93.50%，平均識別時間為0.48 s。由此可知，算法可以克服一定的外在環(huán)境干擾，相對于人工檢測，提高了對纖維狀態(tài)的檢測效率。同時結(jié)合算法，設(shè)計了如圖20所示的纖維狀態(tài)檢測系統(tǒng)界面。

圖20 檢測系統(tǒng)軟件界面Fig.20 Detection system software interface

4 結(jié) 論

通過利用機器視覺技術(shù)，設(shè)計了一種纖維狀態(tài)檢測系統(tǒng)，分別對3種編織過程纖維狀態(tài)進行了實驗研究，得出以下結(jié)論：

①針對編織過程中出現(xiàn)的斷纖狀態(tài)，將正常纖維狀態(tài)作為匹配模板并將采集圖像作為待匹配對象，利用NCC匹配算法得到不同狀態(tài)間的相關(guān)系數(shù)以完成檢測。實驗表明，在不同環(huán)境下該算法的平均識別準(zhǔn)確率為95.75%。

②針對編織過程中出現(xiàn)的纖維纏繞狀態(tài)，采用基于圖像分割的二次定位提取區(qū)域并計算區(qū)域二值化后的黑色區(qū)域面積占比進行檢測。實驗表明，在不同環(huán)境下該算法的平均識別準(zhǔn)確率為95.25%，檢測時間在0.5 s內(nèi)。

③針對編織過程中出現(xiàn)的纖維環(huán)狀態(tài)，經(jīng)過濾波后進行積分投影實現(xiàn)了對該狀態(tài)的檢測。實驗表明，在不同環(huán)境下該算法的平均識別準(zhǔn)確率為93.50%。

基于機器視覺進行纖維狀態(tài)檢測為編織過程纖維狀態(tài)的自動化檢測提供了參考依據(jù)和方法。