基于機器視覺的筒子紗線頭識別方法

金鵬翔,劉宜勝

(浙江理工大學機械工程學院,杭州 310018)

0 引 言

智能制造是全球制造業(yè)發(fā)展的新趨勢,整經作為紡織產業(yè)鏈中的一個勞動密集型加工工序,在勞動力成本日益增加的形勢下迫切需要提升智能化水平[1]。筒子紗尋線是整經生產的重要準備環(huán)節(jié),部分工廠還延續(xù)著傳統(tǒng)的尋線方式,通過人工操作尋找整經筒子架上各個筒子紗的線頭,將線頭牽引至整經機車頭后,再進行后續(xù)的紡紗工作。但該方式費時費力、人力成本高,因此筒子紗尋線環(huán)節(jié)急需智能化改造。目前國內外應用的自動化程度較高的尋線頭方法通常依托于機械裝置,利用吸嘴產生負壓,通過特定裝置使筒子紗旋轉,通過無差別吸取,將筒子紗的線頭吸入整經機中[2-5]。該方法相比傳統(tǒng)的人工尋線提高了生產效率,但需要額外的檢測傳感器實時檢測紗線的吸取情況,存在工作效率低、裝置安裝麻煩等缺點,長時間的工作還會提高機器的維護成本。

基于機器視覺的檢測設備速度快、精度高,且可實現(xiàn)無接觸測量、定位,具有避免污染等優(yōu)點,被廣泛應用于紡織領域。目前,機器視覺大多應用于單根紗線的處理。例如,Li等[6]通過機器視覺實現(xiàn)了紗線直徑的靈活檢測;Ji等[7]設計了一種基于機器視覺和張力觀測器的紗線張力動態(tài)檢測系統(tǒng);周其洪等[8]將機器視覺應用于細紗接頭機器人的紗線斷頭定位,利用優(yōu)化的霍夫直線檢測算法可以準確提取所需紗線的位置信息;屠佳佳等[9]用圖像處理代替檢測傳感器的方式,將其應用于圓緯機自動上下料系統(tǒng)中,解決了紗線吸取狀態(tài)的檢測問題。由于紗線之間相似度高,沒有能有效區(qū)分線頭與其他紗線的圖像分割方法,因此對筒子紗上的紗線進行圖像處理的應用較少。若利用機器視覺可以準確找出線頭,再針對性吸取線頭,那么可以大幅提高工作效率,而且相較于利用機械裝置進行廣泛尋線,安裝和維護更加方便。因此,設計一種應用于筒子紗上的線頭識別方法非常必要。

為了提高整經工序中吸取線頭的效率和精度,降低裝置的安裝和維護成本,本文提出了一種基于機器視覺的筒子紗線頭識別方法。利用圖像采集裝置采集筒子紗圖像,通過圖像處理對筒子紗圖像上的紗線進行分割,提取出線頭區(qū)域圖像。使用圖像采集裝置可代替筒子紗旋轉吸線裝置,針對性吸取線頭可減少吸嘴的工作時間,為整經工序機械結構的輕量化設計與優(yōu)化提供參考。

1 線頭識別裝置及其工作流程

筒子架是整經過程中用于安置筒子的支架,按有無預備筒子可以分為復式和單式兩種。單式筒子架更換筒子時需停機,將新筒子的線頭與被摘斷的紗尾連接;復式筒子架上備有預備筒子,工作筒子的線尾與預備筒子的線頭打結相連,工作筒子的紗線用完后,預備筒子直接進入工作。不論單式還是復式筒子架,均存在大量的線頭尋找及線頭線尾對接工作。

為做好對接的準備工作,準確識別筒子紗上線頭,本文設計了線頭識別裝置,其示意圖如圖1所示。由于所需識別的筒子紗位于筒子架上,選擇筒子紗旋轉的方式需額外設置抓取裝置,且抓落筒子紗的過程中可能導致線頭的移動,不利于后續(xù)線頭吸取工作,因此選擇固定筒子紗相機旋轉的方式進行圖像采集。在該裝置中,相機與筒子紗的距離以及相機焦距固定,相機光軸始終指向筒子紗中心;為方便筒子紗圖像采集,在與相機相對位置放置一黑色背景板。

圖1 線頭識別裝置示意圖

在圖像采集過程中,旋轉軸帶動相機和背景板轉動,繞筒子紗拍攝側面靜態(tài)圖像,對采集圖像的筒子紗區(qū)域進行圖像校正,通過線頭識別方法提取紗線,并計算其曲折度判斷是否滿足線頭條件,最后輸出線頭的具體位置。筒子紗線頭識別的整體流程如圖2所示。

圖2 筒子紗線頭識別方法的整體流程

2 筒子紗圖像校正

通過線頭識別裝置采集的筒子紗圖像如圖3所示,可以發(fā)現(xiàn):筒子紗圖像產生了畸變,越是遠離圖像中央畸變程度越大。因此,為能正確找到線頭及線頭的精確位置,首先對采集圖像畸變校正。

圖3 裝置采集的原始圖像示例

圖像的成像過程是將三維坐標變換到二維坐標的投影過程,常用的投影模型有正交投影和透視投影,本文采用透視投影理論描述成像過程。透視投影是從投影中心將物體投射到另一投影面的圖形,所有的投影線通過無限小的光圈進入相機[10],但實際成像時,相機采集的圖像存在一定的非線性失真。采集筒子紗圖像時,曲面上的失真更為嚴重,存在橫向變形和軸向變形(沿紗筒方向),軸向的變形使水平直線發(fā)生彎曲,橫向的變形使遠離成像中心的直線縮短,從而加劇軸向的變形,影響對線頭的特征提取,因此在尋線前需建立模型校正畸變。柱形圖像的校正通常采用重映射的方式建立坐標對應關系,將每個坐標的像素映射到正確的坐標位置[11-12],運用最近鄰插值計算像素值,避免空白像素的產生[13]。但逐個像素進行坐標映射的方式效率很低,在處理像素值較大的圖像時,算法運行時間過長,不利于進行圖像處理。為提高校正速度,可使用區(qū)域分割逐個還原的方法[14-15],將圖像均分為數(shù)個子區(qū)域,對每個區(qū)域進行透視變換校正,但該方法沒有獲取每個坐標的真實位置,只適用于畸變程度較小的圖像校正,無法正確還原畸變較大的圖像,影響對圖像特征的提取。為提高校正效率,同時保證一定的精度,本文根據(jù)透視投影和區(qū)域還原的方法提出了一種基于局部透視變換的筒子紗校正模型,可以更高效、準確地還原筒子紗的側面展開圖像。

2.1 筒子紗畸變模型建立與校正

筒子紗的透視示意圖如圖4所示,其中:O為相機位置,相機繞筒子紗旋轉的半徑為h=OOW,筒子紗半徑為r,XO1Y為相機成像面,XWYWZW為世界坐標系。圖4中,筒子紗端面弧AC投影到成像面后,由直線畸變?yōu)榍€A′C′。為了校正畸變,首先需對相機進行標定,計算相機的內參和外參。取世界坐標系下點A(XW,YW,ZW),則與像素坐標系中對應的投影坐標(u,v)的關系可由以下方程變換得出:

圖4 筒子紗透視模型示意圖

(1)

(2)

其中:M1為相機的內部參數(shù)矩陣,(u0,v0)為圖像坐標系中的坐標原點,f/dX和f/dY為相機在X、Y軸上的尺度因子;M2為相機的外部參數(shù)矩陣,由相機與世界坐標系的相對位置決定。

圖5為筒子紗XOZ向坐標對應圖,其中:A、C為投影線與柱體相切點,物距d=OD1,圓柱面的有效視野為2l=AC。本文中相機與世界坐標系只存在一個z軸方向的平移,平移量為:

圖5 XOZ向坐標對應圖

(3)

因此,M2為:

(4)

為校正筒子紗軸向畸變,應先將筒子紗上的點投影到投影切面ZW=-r處,再進行坐標變換,便可得到校正后的理想筒子紗圖像。即:

周期分割后，每個脈搏波持續(xù)時間較短，可視單個脈搏波的基線漂移是沿一條直線產生的。在單個脈搏波信號中，本文令基線漂移方程為y(n)=an+b，n為樣本編號；a、b表示系數(shù)，其可通過該脈搏波的A點和E點求出。令A點和E點坐標分別為(x1,y1)和，則基線漂移方程為。再令單個脈搏波信號序列為Pr(n)，將Pr(n)減去y(n)的對應項，得到基線校準后的序列Po(n)，如式（3）所示。式中i=0,1,···,N-1，N表示當前脈搏波的樣本數(shù)。

(5)

在柱體圖像中,遠離圖像中央的橫向部分會逐漸減小,為校正橫向變形,需得到正確的橫向坐標映射關系。如圖5所示,A點為筒子紗與投影線相切點,A1為對應的投影切面處的投影點,切面處坐標為A點在空間坐標系中的XW,最后投影至圖像坐標系的A′處。在投影過程中,A點與圖像中心位置的距離應為弧AD1的長度。為校正圖像,應計算A點在切面處的真實坐標,即弧AD1的長度。設點A與相機光軸的夾角為θ,則:

(6)

根據(jù)弧長公式得出:

(7)

由式(7)可求出A點在投影切面與圖像坐標系下的真實投影AR與AR′點。將式(7)代入式(5)中,得到筒子紗上任意一點與投影點的映射關系為:

(8)

由式(8)可以求出校正后筒子紗圖像中所有點的坐標,將像素映射到對應的真實坐標處可獲得筒子紗無畸變的側面展開圖像。

2.2 局部透視變換

由式(8)可求出圖像中每個點的真實坐標值,但每個點都需進行一次矩陣計算,耗時較長,不適用于對圖像像素要求高的線頭識別中。為了提高圖像校正的效率,根據(jù)區(qū)域分割的方法,本文提出一種局部透視變換校正的方法。透視變換是指單一平面內的所有點投影到另一個平面,只需做一次矩陣變換和投影的空間坐標變換,可以將側視的圖像校正為正視圖,透視變換矩陣的參數(shù)由圖像中4個點的坐標和相應的實際坐標得到[16]。

本文研究的筒子紗在圖像上的呈現(xiàn)為空間曲面,根據(jù)微分思想,可將曲面看作無數(shù)個平面的組合,利用透視變換將每個平面校正為正視圖,最后組合成完整的校正圖像。為實現(xiàn)局部透視變換,需對筒子紗圖像進行區(qū)域分割。首先采用OTSU算法對圖像進行閾值分割,得到筒子紗輪廓圖像,示例圖像如圖6所示,并選取輪廓圖區(qū)域內的圖像作為ROI區(qū)域(圖像感興趣區(qū)域),對區(qū)域內的圖像進行校正。

圖6 筒子紗輪廓圖像示例

由于筒子紗圖像的左右邊界未產生彎曲變形,因此可將截取后的筒子紗輪廓豎向分割為n等分,然后將均分產生的直線分割為n等分,獲得了(n+1)×(n+1)個坐標點,以相鄰的4個坐標點為角點組成一個子區(qū)域,組成如圖7所示的n×n個區(qū)域的圖像。通過坐標映射矩陣獲得每個區(qū)域內角點的真實坐標,利用局部透視變換得到校正后的平面,直線的均等分割使校正后的區(qū)域擁有一致的軸向長度。由于橫向畸變的存在,遠離中央的區(qū)域校正后橫向寬度越大。將校正后的各個平面進行拼接,最終得到如圖8所示的筒子紗側面展開圖。

圖7 筒子紗區(qū)域分割示意圖

圖8 側面展開圖像示例

在插值方式均選擇雙線性插值的前提下,將校正方法應用于大小為2000×1400像素的圖像時,本文提出的局部透視變換校正與常見的柱面重映射校正方法的運算時間見表1,從表1中可以看出,使用局部透視變換進行校正時,均分數(shù)n和校正時間成正比例增長,但相較于逐個像素進行映射的重映射校正速度均提升近30%。筒子紗圖像的均分數(shù)n越小,校正時間越短,但過小的n會造成校正精度的下降,還原后的圖像不滿足線頭識別的要求,過大的n又使校正時間過長。為了滿足圖像的精度要求并盡可能減少區(qū)域分割,本文經過多次實驗,最終選取n=50作為區(qū)域分割數(shù)量。

表1 不同校正方法的運算時間

3 線頭識別

3.1 筒子紗曲線部分提取

筒子紗的紗線具有一定的彈性,不受外力作用的線頭會自然地保持一定的彎曲狀態(tài),因此可以曲線為識別條件找出圖像中的線頭。首先提取每幅圖像中最有可能為線頭的部分,即含曲線最多的部分。

為能對目標紗線進行有效提取,使用限制對比度自適應直方圖均衡化(Contrast limited adaptive histogram equalization, CLAHE)的方法增強圖像。增強后的圖像經過OTSU閾值分割如圖9(a)所示。常見分割直線和曲線的方法為霍夫變換,但線頭部分除了一定的彎曲外,還可能存在直線部分,簡單的霍夫變換無法實現(xiàn)對線頭的識別。因此,需要在避免線頭直線部分的干擾下,根據(jù)曲線特征提取目標。

圖9 筒子紗線頭識別過程中的示例圖像

為能提取特征,首先對閾值分割后的圖像采用像素標記法進行連通域標記,標記的目的是將每根紗線作為一個連通區(qū)域。由于本文圖像內的元素相似度高,為減少誤差,選擇4鄰域連通規(guī)則。連通區(qū)域的數(shù)量會影響線頭識別速度,因此首先對圖像中小面積區(qū)域進行濾除,這些區(qū)域是由紗線與紗線交叉重疊產生,不是本文識別目標。濾除后的示例圖像如圖9(b)所示,其剩余部分包含了線頭所在的曲線部分及直線噪聲。為濾除直線噪聲,采用概率霍夫變換對直線進行檢測,并將檢測出的直線部分像素置0,得到如圖9(c)所示的圖像。提取圖像中剩余像素最多的連通域,該連通域為圖像中含曲線最多的區(qū)域,最終得到如圖9(d)所示的曲線圖像。

3.2 曲折度計算

根據(jù)上述曲線提取流程,可對每張筒子紗圖像進行提取。為能確定提取的區(qū)域是否為線頭,需對該區(qū)域進行曲折度計算,為方便計算,首先對連通域進行骨架提取,提取示意圖如圖10所示。

圖10 連通域骨架提取示意圖

本文使用斜率鏈碼描述線頭曲折度[17-18],曲折度的計算過程示意圖如圖11所示。為計算曲線的曲折度,首先在曲線的周圍放置等長的直線段,規(guī)定曲線的其中一個端點為起點,直線段一端放在原點,另一端與曲線重合并作為下一直線段的起點,遍歷整個曲線后生成一條與原始曲線相似,由連續(xù)直線段組成的曲線,這個過程可視為一個相同半徑的圓遍歷曲線。然后對相鄰直線段之間的斜率變化進行計算,并將斜率變化歸一化到(-1,1)區(qū)間內,曲折度即為所有相鄰直線段的斜率變化的絕對值之和:

圖11 曲折度計算過程示意圖

(9)

其中:n為斜率鏈碼中的元素個數(shù),|ai|為鏈碼中元素的值。

3.3 實驗分析

為驗證本文識別筒子紗線頭方法的有效性,采用4000×3000像素的相機、5 mm焦距的鏡頭在物距d=220 mm的條件下對r=55 mm的筒子紗進行圖像采集。

使用曲線提取方法對采集的16張筒子紗圖像進行識別,含線頭圖像清晰地識別出線頭所在的位置。為濾除非線頭圖像提取的紗線區(qū)域,需設定曲折度閾值。以15個像素點為直線段長度,分別計算提取區(qū)域的曲折度,計算結果如圖12所示,其中:圖12(a)為采集的線頭圖像的曲折度,圖12(b)為非線頭圖像的曲折度。

圖12 紗線曲折度計算結果

如圖12所示,線頭的起始位置在邊界,終止位置在圖像中央,且呈現(xiàn)一定的彎曲;而非線頭的起始和終止位置不定,這是因為除最外圈紗線外,其余紗線均被外層紗線截斷,呈現(xiàn)不完整的通路。曲折度的值與視覺分析結果一致,非線頭的曲折度普遍低于1,線頭的曲折度在2附近浮動。圖13為紗線識別后的曲折度折線圖。經過多次實驗并結合實際工況,將τ=1.2設為線頭識別閾值,當識別圖像的曲折度大于閾值1.2時,該曲線即為本文所需識別的線頭。

圖13 曲折度計算結果

4 結 語

為克服整經工藝過程的筒子紗尋線環(huán)節(jié)人工和機器尋線工作效率低、裝置復雜等問題,本文提出一種低成本、非接觸式的線頭識別方法。利用機器視覺實現(xiàn)對線頭的高效率、高精度識別和提取,結合透視投影理論,采用局部透視變換的方式校正筒子紗的側面展開圖像,比傳統(tǒng)使用重映射進行校正的方法速度提升了近30%。基于線頭的彎曲特征,使用霍夫變換與連通域相結合的方式進行曲線提取,解決了因線頭包含直線部分而無法直接進行曲線提取的問題;對提取的區(qū)域進行曲折度計算,大于曲折度閾值的即為筒子紗線頭。

本文提出的基于機器視覺的線頭識別方法,可以更高效地實現(xiàn)筒子紗尋線,代替復雜的筒子紗旋轉裝置,減少吸嘴的工作范圍及時間,有助于整經工序的節(jié)能降耗、機械結構輕量化。