摘 要:為實(shí)現(xiàn)纖維紗筒的智能更換,以碳纖維紗筒為例提出了一種基于機(jī)器視覺(jué)檢測(cè)和機(jī)械臂協(xié)同操作的自動(dòng)換筒方法。首先,利用工業(yè)相機(jī)采集紗筒圖像,經(jīng)過(guò)預(yù)處理后,結(jié)合優(yōu)化的霍夫圓檢測(cè)算法,精確定位紗筒的位置。其次,通過(guò)多層感知器改進(jìn)手眼標(biāo)定算法,準(zhǔn)確獲取相機(jī)與機(jī)械臂之間的轉(zhuǎn)換關(guān)系。最后,借助機(jī)械臂完成纖維紗筒的更換操作。結(jié)果顯示:改進(jìn)的霍夫圓檢測(cè)算法能夠更準(zhǔn)確地定位紗筒位置;與隨機(jī)森林和K近鄰算法相比,多層感知器在X/Y/Z三軸上表現(xiàn)出最佳的精確度,均方差誤差控制在1.77 mm2以內(nèi)。該方法在機(jī)器視覺(jué)與機(jī)械臂協(xié)同作業(yè)中所展示的精確性和有效性,可為智能更換系統(tǒng)的實(shí)際應(yīng)用提供重要的技術(shù)支持。
關(guān)鍵詞:機(jī)器視覺(jué);多層感知器;霍夫圓檢測(cè);自動(dòng)換筒;手眼標(biāo)定
中圖分類號(hào):TS103.7
文獻(xiàn)標(biāo)志碼:A
文章編號(hào):1009-265X(2025)03-0033-09
收稿日期:2024-06-23 網(wǎng)絡(luò)出版日期:2024-08-26
基金項(xiàng)目:國(guó)家自然科學(xué)基金青年項(xiàng)目(61701384);陜西省教育廳重點(diǎn)科學(xué)研究計(jì)劃項(xiàng)目(20JS051);陜西省自然科學(xué)基礎(chǔ)研究計(jì)劃項(xiàng)目(2023JCYB288)
作者簡(jiǎn)介:陳芙蓉(1996—),女,四川綿陽(yáng)人,碩士研究生,主要從事機(jī)器視覺(jué)方面的研究
通信作者:張周強(qiáng),E-mail:zhangzhouqiang208@126.com
紡織工業(yè)作為中國(guó)制造業(yè)的重要組成部分,對(duì)經(jīng)濟(jì)發(fā)展起到了重要的推動(dòng)作用[1]。在紡織生產(chǎn)過(guò)程中,紗筒的更換是不可避免的關(guān)鍵環(huán)節(jié)。目前,多數(shù)紡織企業(yè)仍采用人工換筒的方式,然而這種方式不僅存在安全風(fēng)險(xiǎn),還伴隨著高勞動(dòng)強(qiáng)度。近年來(lái),隨著“機(jī)器換人”和智能制造政策的推進(jìn),制造業(yè)的自動(dòng)化水平顯著提升。企業(yè)愈發(fā)傾向于采用自動(dòng)化生產(chǎn)設(shè)備,以提高生產(chǎn)效率并降低成本[2-3]。在這一背景下,基于機(jī)器視覺(jué)的智能紗筒更換技術(shù)逐漸引起了廣泛關(guān)注。
碳纖維及其復(fù)合材料憑借其優(yōu)異的性能,廣泛應(yīng)用于航空航天、風(fēng)力發(fā)電、船舶等先進(jìn)領(lǐng)域,因此高性能碳纖維的紡織裝備的研發(fā)顯得尤為重要[4]。本文以碳纖維紗筒為例,探索實(shí)現(xiàn)自動(dòng)更換紗筒的方法。目前,在技術(shù)上實(shí)現(xiàn)自動(dòng)更換紗筒仍然是一個(gè)難題。由于紗架與紗筒的形態(tài)結(jié)構(gòu)特性,機(jī)器人或機(jī)械手在取下空紗筒和放上新紗筒等工序時(shí)面臨著相當(dāng)復(fù)雜的挑戰(zhàn)。此外,對(duì)于碳纖維紗筒的研究相對(duì)較少,更多的研究集中在紡織行業(yè)的其他類型上[5]。在紗筒識(shí)別處理方面,Shi等[6]采用圓形卷積核確定紗筒中心,透視變換和擬合實(shí)現(xiàn)紗筒直徑估算,進(jìn)而實(shí)現(xiàn)余紗量檢測(cè)。史偉民等[7]提出深度學(xué)習(xí)與傳統(tǒng)圖像處理相結(jié)合的定位方法,利用改進(jìn)的Yolov5模型框定紗筒口位置,再通過(guò)預(yù)處理、分割和最小二乘法擬合完成紗筒口定位。整個(gè)設(shè)計(jì)的想法很新穎但結(jié)構(gòu)過(guò)于復(fù)雜,適用性不強(qiáng)。在機(jī)器人定位研究中,機(jī)器人手眼標(biāo)定和逆運(yùn)動(dòng)學(xué)求解一直是視覺(jué)伺服領(lǐng)域的核心問(wèn)題。Tu等[8]采用單目相機(jī)和霍夫圓檢測(cè)算法,測(cè)距紗桿端面圓形標(biāo)記物,實(shí)現(xiàn)了紗架坐標(biāo)定位,但未提供機(jī)械臂運(yùn)動(dòng)測(cè)試情況。張洪等[9]研究的整經(jīng)機(jī)筒子架自動(dòng)換筒機(jī)器人利用AGV小車進(jìn)行定位換筒,提供了實(shí)驗(yàn)方案,但未提供實(shí)驗(yàn)設(shè)備和測(cè)試情況。
本文在傳統(tǒng)的紗架裝置和紡織業(yè)更換紗筒等現(xiàn)有研究基礎(chǔ)上,立足于實(shí)際需求,以碳纖維紗筒更換為例,從系統(tǒng)總體設(shè)計(jì)、實(shí)驗(yàn)室平臺(tái)搭建、圖像處理、機(jī)器學(xué)習(xí)以及實(shí)驗(yàn)測(cè)試等多個(gè)方面展開(kāi)對(duì)纖維紗筒的自動(dòng)換筒研究,以期推動(dòng)紡織行業(yè)朝著更加智能、高效的方向發(fā)展,為纖維產(chǎn)業(yè)的升級(jí)提供技術(shù)支持。
1 系統(tǒng)總體設(shè)計(jì)
在實(shí)驗(yàn)室環(huán)境中,本文采用縮比模型的研究方法來(lái)模擬和代表工廠實(shí)際情況。設(shè)計(jì)的碳纖維紗筒更換系統(tǒng)主要分為兩個(gè)部分:硬件部分和軟件部分。硬件部分包括圖像采集模塊、紗架裝置模塊、上位機(jī)模塊以及機(jī)械臂控制模塊。圖像采集模塊主要由COMS相機(jī)、光學(xué)鏡頭和D65標(biāo)準(zhǔn)光源組成。軟件部分負(fù)責(zé)對(duì)圖像中的目標(biāo)物進(jìn)行識(shí)別,使用多層感知器(Multilayer Perceptron,MLP)進(jìn)行手眼標(biāo)定并控制機(jī)械臂進(jìn)行抓取。圖1展示了基于視覺(jué)引導(dǎo)的機(jī)械臂更換碳纖維紗筒平臺(tái)的示意圖。
本系統(tǒng)采用了MER-031型工業(yè)數(shù)字相機(jī),具備640×480的分辨率和860 fps的高幀率。同時(shí)選擇了焦距為2.8 mm、光圈范圍從F2.8至F22的LM8XC型號(hào)鏡頭。這些參數(shù)確保系統(tǒng)能夠在動(dòng)態(tài)環(huán)境下實(shí)現(xiàn)高精度的圖像采集能力。在實(shí)驗(yàn)中,選取長(zhǎng)100 mm、外徑36 mm、內(nèi)徑30 mm的圓柱筒,采集的效果如圖2所示。
2 紗筒識(shí)別與定位算法
本文采用優(yōu)化的霍夫圓檢測(cè)與MLP算法相結(jié)合的方法來(lái)實(shí)現(xiàn)紗筒的自動(dòng)更換,整個(gè)研究重點(diǎn)在兩部分:一是基于圖像處理完成紗筒的識(shí)別任務(wù);二是根據(jù)具體的機(jī)械臂完成目標(biāo)的定位任務(wù)。
2.1 優(yōu)化的霍夫圓檢測(cè)算法
OpenCV中的圓檢測(cè)基于霍夫梯度法,其檢測(cè)原理是:假設(shè)圖像上的每個(gè)像素點(diǎn)可能是一個(gè)潛在的圓上的一部分,通過(guò)分析這些點(diǎn)的模向量的交點(diǎn)來(lái)確定潛在的圓心[10]。式(1)為二維函數(shù)f(x,y)的梯度計(jì)算:
(1)
圓上邊緣點(diǎn)的梯度方向指向圓心(a,b),如圖3所示。
根據(jù)這些圓心的支持程度(即邊緣非零像素的數(shù)量),可以確定圓的半徑r。
r=(x-a)2+(y-b)2(2)
然而,圓檢測(cè)會(huì)導(dǎo)致多個(gè)潛在的圓心坐標(biāo),因此最終的圓定位需要結(jié)合半徑檢測(cè)才能完成。在霍夫圓檢測(cè)算法中,需要手動(dòng)設(shè)定梯度線相交點(diǎn)累加器閾值S、最小半徑閾值Rmin、最大半徑閾值Rmax以及半徑閾值T。這些參數(shù)會(huì)影響最終檢測(cè)結(jié)果的穩(wěn)定性和準(zhǔn)確性。特別是圖像中存在同心圓的情況下,算法可能會(huì)選擇其中一個(gè)圓并且偏向于保留最大的圓[10]。
針對(duì)上述問(wèn)題,本文在霍夫圓檢測(cè)的基礎(chǔ)上進(jìn)行了改進(jìn),引入了LM算法和單目測(cè)距原理來(lái)限制紗筒的半徑范圍,并且增加了同心圓檢測(cè)機(jī)制,從而實(shí)現(xiàn)了更精確的紗筒定位。這些改進(jìn)彌補(bǔ)了原算法在計(jì)算量大、對(duì)硬件資源要求高以及難以有效檢測(cè)同心圓等方面的缺點(diǎn)。優(yōu)化后的霍夫圓檢測(cè)算法的主要流程如圖4所示。
整個(gè)圖像處理算法的具體步驟如下:
a)對(duì)原始圖像進(jìn)行預(yù)處理(包括圖像灰度化和高斯濾波)。
b)利用Levenberg-Marquardt(LM)優(yōu)化算法,獲取相機(jī)到物體的距離D。
LM優(yōu)化算法是一種常用的優(yōu)化算法,適用于在三維測(cè)量中進(jìn)行簡(jiǎn)單曲線或曲面的擬合[11]。在初始值足夠接近的情況下,LM算法具有快速而準(zhǔn)確的收斂性。其迭代公式描述如式(3)所示:
x(k+1)=x(k)-ak(JTkJk+uI)-1JTkFk(3)
式中:x(k)為當(dāng)前迭代點(diǎn),I為單位矩陣,u為阻尼系數(shù),Jk為雅可比矩陣,ak為迭代步長(zhǎng),F(xiàn)k為殘差向量。將棋盤格圖像放置與紗筒同一平面并進(jìn)行拍照,獲取棋盤格上三維空間點(diǎn)在相機(jī)圖像中的對(duì)應(yīng)投影點(diǎn),計(jì)算出相機(jī)的姿態(tài),從而獲取相機(jī)到物體的距離D。
c)獲取限制半徑R1。
得到目標(biāo)紗筒筒口到相機(jī)的距離D,根據(jù)小孔成像原理可得筒口外徑在圖像上的像素?cái)?shù),公式如式(4)所示:
D=R2fμR1(4)
式中:R2為已知的紗筒口外徑限制尺寸,mm;D為筒口到相機(jī)的距離,mm;f為相機(jī)焦距,mm;R1為獲取的限制半徑,像素;μ為相機(jī)像元尺寸,mm/像素。
d)調(diào)用cv2.houghcircles()函數(shù)檢測(cè)圓心坐標(biāo)和對(duì)應(yīng)的半徑。
e)根據(jù)圓筒內(nèi)外徑差,設(shè)置內(nèi)圓限制半徑r1,r2。
f)篩選滿足要求的半徑,計(jì)算同心圓圓心距離D1。
D1=(xi-xj)2+(yi-yj)2(5)
式中:(xi,yi),(xj,yj)為檢測(cè)到的圓心點(diǎn)坐標(biāo),D1為圓心之間的歐式距離。
g)判斷是否為同心圓,輸出滿足條件的圓心和半徑(x,y,r)。
針對(duì)具體的研究對(duì)象,采用的紗筒是具有壁厚3 mm的一個(gè)圓柱體,通過(guò)相機(jī)拍攝后在圖像上表示為一組同心圓,整個(gè)算法的檢測(cè)結(jié)果如圖5所示。
2.2 MLP神經(jīng)網(wǎng)絡(luò)
準(zhǔn)確抓取紗筒的關(guān)鍵在于獲取紗筒圓心在相機(jī)坐標(biāo)系下的位置,并將其轉(zhuǎn)換到機(jī)械臂坐標(biāo)系下。為實(shí)現(xiàn)這一目標(biāo),本文采用MLP神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)手眼標(biāo)定。MLP神經(jīng)網(wǎng)絡(luò)是一種前饋神經(jīng)網(wǎng)絡(luò),其特征是包含至少一層隱藏層,神經(jīng)元之間單向連接。模型具有出色的非線性匹配和泛化能力,能夠有效地描述機(jī)械臂與相機(jī)之間復(fù)雜的空間變換[12-13]。其結(jié)構(gòu)如圖6所示。
輸入層輸入數(shù)據(jù),通過(guò)隱含層進(jìn)行處理。數(shù)據(jù)經(jīng)過(guò)一系列的非線性變換,最終產(chǎn)生數(shù)據(jù)經(jīng)輸出層輸出。在網(wǎng)絡(luò)的訓(xùn)練過(guò)程中,每個(gè)樣本都包含明確的輸入量和期望的輸出量。為了優(yōu)化網(wǎng)絡(luò)的性能,模型通過(guò)不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值,使得網(wǎng)絡(luò)的實(shí)際輸出與期望輸出之間的偏差沿著梯度下降的方向逐漸減小,直至實(shí)際輸出與期望輸出之間的差異在預(yù)定的可接受范圍內(nèi)[14]。設(shè)輸出層有m個(gè)神經(jīng)元,MLP網(wǎng)絡(luò)的實(shí)際輸出是Y,期望輸出是Y′,損失函數(shù)ε為:
ε=12∑mj=1(Yj-Y′j)2(6)
每個(gè)權(quán)重的修正值為:
Δwij=-η?ε?wij=-η?ε?fj?fj?wij(7)
式中:Δwij為輸入單元i到j(luò)個(gè)隱含層的權(quán)重;η為學(xué)習(xí)速率;fj為中間第j個(gè)隱含層的傳輸函數(shù)。一般現(xiàn)在用的激活函數(shù)是ReLU,公式如式(8)所示:
(8)
圖像中靶標(biāo)的坐標(biāo)(x,y,z)及其對(duì)應(yīng)機(jī)械臂的姿態(tài)(α,β,θ) 作為網(wǎng)絡(luò)的輸入,靶標(biāo)在機(jī)械臂坐標(biāo)系下的相應(yīng)位置(rx,ry,rz)作為輸出,建立MLP神經(jīng)網(wǎng)絡(luò)模型。本文設(shè)計(jì)的MLP神經(jīng)網(wǎng)絡(luò)共包含5層:輸入層、輸出層及3層全連接層。輸入層負(fù)責(zé)接收外部輸入數(shù)據(jù),并將其傳遞到后續(xù)的全連接層進(jìn)行處理。前兩個(gè)全連接層后都加入了ReLU激活函數(shù),以增加模型的非線性度。第3個(gè)全連接層直接連接到輸出層,輸出層的節(jié)點(diǎn)數(shù)量根據(jù)具體的機(jī)械臂抓取任務(wù)設(shè)置為3個(gè)。
3 實(shí)驗(yàn)測(cè)試與分析
本文硬件設(shè)備的選擇如下:相機(jī)采用MER-031型工業(yè)數(shù)字相機(jī),鏡頭為TEC-M55 MPW型55 mm鏡頭;補(bǔ)光燈選用2LINS180-W型線性光源;機(jī)械臂使用Mycobot280 M5。整個(gè)實(shí)驗(yàn)的軟件部分采用VS Code編譯環(huán)境,基于Windows操作系統(tǒng),利用OpenCV視覺(jué)庫(kù)和Python語(yǔ)言進(jìn)行代碼編寫(xiě)和實(shí)現(xiàn)。系統(tǒng)實(shí)物圖如圖7所示。
3.1 圖像處理算法檢測(cè)
采用程序生成一系列隨機(jī)分布的圓和同心圓的圖片,并使用修改過(guò)的算法進(jìn)行驗(yàn)證,整個(gè)結(jié)果如圖8所示。在生成的圖片中,已知生成圓的半徑和圓心坐標(biāo),通過(guò)與檢測(cè)結(jié)果的比對(duì),客觀地評(píng)估檢測(cè)算法的準(zhǔn)確性。
圖8(a)—(d)展示的是經(jīng)過(guò)軟件算法隨機(jī)生成的一系列圓,包括單圓,同心圓以及兩圓位置的不同。圖8(e)—(h)展示的實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn)本算法可以檢測(cè)到同心圓。檢測(cè)到的坐標(biāo)與生成時(shí)的圓心數(shù)據(jù)對(duì)比驗(yàn)證整個(gè)算法可以準(zhǔn)確判斷同心圓,檢測(cè)結(jié)果如表1所示。
為了提高機(jī)器視覺(jué)系統(tǒng)在復(fù)雜環(huán)境中的魯棒性,對(duì)紗筒圖像進(jìn)行了數(shù)據(jù)增強(qiáng)處理。具體而言,針對(duì)環(huán)境光線和背景噪聲的敏感性,本文對(duì)采集到的原圖像添加了高斯噪聲,并進(jìn)行了亮度調(diào)整。以原圖為基準(zhǔn),亮度調(diào)整參數(shù)值分別設(shè)置為50、20和-50。通過(guò)這些數(shù)據(jù)增強(qiáng)操作,本文驗(yàn)證了系統(tǒng)在不同條件下的檢測(cè)性能。表2顯示了部分增強(qiáng)圖像及其對(duì)應(yīng)的檢測(cè)結(jié)果。
由表2的檢測(cè)結(jié)果可以看出,增加噪聲和調(diào)整亮度對(duì)圓心的檢測(cè)結(jié)果沒(méi)有顯著影響。優(yōu)化后的霍夫圓檢測(cè)算法在不同的噪聲和亮度條件下,仍然能夠準(zhǔn)確地檢測(cè)出圓心。這表明,使用優(yōu)化后的霍夫圓檢測(cè)算法檢測(cè)經(jīng)過(guò)數(shù)據(jù)增強(qiáng)后圖像仍然具有較強(qiáng)的魯棒性和可靠性,能夠在復(fù)雜環(huán)境下保持較高的檢測(cè)精度。
3.2 MLP模型標(biāo)定結(jié)果分析
建立MLP神經(jīng)網(wǎng)絡(luò)的第一步是進(jìn)行數(shù)據(jù)采集。首先在標(biāo)定靶貼上靶標(biāo),使機(jī)械臂末端運(yùn)動(dòng)到指定靶標(biāo),然后相機(jī)拍攝靶標(biāo)圖片,處理后得到靶標(biāo)在相機(jī)坐標(biāo)系下的坐標(biāo),與機(jī)械臂坐標(biāo)系下的坐標(biāo)組成一組對(duì)應(yīng)坐標(biāo)。重復(fù)此過(guò)程得到65組坐標(biāo)值,作為網(wǎng)絡(luò)學(xué)習(xí)樣本。為降低實(shí)驗(yàn)數(shù)據(jù)的隨機(jī)誤差,各實(shí)驗(yàn)樣本組盡量選取線性無(wú)關(guān)的點(diǎn)。表3是手眼標(biāo)定部分樣本數(shù)據(jù)的示例表。
將全部采集的數(shù)據(jù)輸入到建立的MLP神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練,選擇均方差誤差(即預(yù)測(cè)值與真實(shí)值之差的平方和的平均值)作為損失函數(shù)。圖9展示的是MLP預(yù)測(cè)結(jié)果的詳細(xì)數(shù)據(jù)。
圖9(a)—(c)展示了X/Y/Z三個(gè)軸上預(yù)測(cè)值與真實(shí)值之間的差異??傮w來(lái)看,手眼標(biāo)定的結(jié)果非常理想。同時(shí),本算法也與隨機(jī)森林模型、K近鄰算法做對(duì)比,采用均方差(MSE)作為評(píng)價(jià)指標(biāo),公式如式(9)所示:
MSE=1m∑mi(yi-f(xi))2(9)
式中:m為樣本數(shù)量,yi是實(shí)際值,f(xi)是模型預(yù)測(cè)值。MSE為預(yù)測(cè)結(jié)果的誤差大小,值越小表明模型的預(yù)測(cè)精度越高。
在相同的數(shù)據(jù)集上進(jìn)行訓(xùn)練后,得到的結(jié)果如下:MLP的均方誤差為1.77 mm2,隨機(jī)森林模型的均方誤差為14.24 mm2,而K近鄰算法的均方誤差為26.02 mm2。通過(guò)實(shí)驗(yàn)數(shù)據(jù)發(fā)現(xiàn)MLP的均方誤差值最小,這表明MLP模型的預(yù)測(cè)效果非常好。
圖10(a)—(c)分別顯示了MLP、隨機(jī)森林算法和K近鄰算法的預(yù)測(cè)結(jié)果與真實(shí)值在X、Y、Z三個(gè)軸上的誤差。MLP在X軸上的預(yù)測(cè)誤差基本都保持在0.5 mm左右;Y軸和Z軸的誤差也基本沒(méi)有超過(guò)4 mm。對(duì)比發(fā)現(xiàn),MLP預(yù)測(cè)最為穩(wěn)定,且誤差值最小。需要注意的是,機(jī)械臂在運(yùn)動(dòng)過(guò)程中會(huì)存在一定的誤差,但即使在這種情況下,模型依然能夠?qū)崿F(xiàn)如此高精度的標(biāo)定,這進(jìn)一步證明了多層感知器在手眼標(biāo)定任務(wù)中的有效性和可靠性。
4 結(jié)論與展望
本文為了解決碳纖維自動(dòng)化生產(chǎn)線中換筒機(jī)器人在更換紗筒時(shí)定位和精準(zhǔn)抓取空筒的問(wèn)題,提出了一種結(jié)合優(yōu)化的霍夫圓檢測(cè)和MLP神經(jīng)網(wǎng)絡(luò)的智能更換紗筒方法。經(jīng)過(guò)搭建實(shí)物模型與實(shí)驗(yàn)驗(yàn)證,得到以下結(jié)論:
a)優(yōu)化后的霍夫圓檢測(cè)算法與霍夫圓相比,引入了同心圓判斷機(jī)制,能夠更精確地識(shí)別圖像中的同心圓。
b)優(yōu)化后的霍夫圓檢測(cè)算法在不同的噪聲和亮度條件下,仍然能夠準(zhǔn)確地檢測(cè)出紗筒外圓,并準(zhǔn)確定位其坐標(biāo),具有較強(qiáng)的魯棒性和可靠性,能夠在復(fù)雜環(huán)境下保持較高的檢測(cè)精度。
c)建立MLP神經(jīng)網(wǎng)絡(luò)完成了手眼標(biāo)定,使得在X/Y/Z三個(gè)軸上的誤差控制在實(shí)驗(yàn)允許的范圍內(nèi)(超過(guò)4 mm)。
本文方法基本滿足了換筒機(jī)器人空筒定位的需求,為工廠中的相同類型紗筒的自動(dòng)換筒技術(shù)提供了有益的參考。目前,系統(tǒng)尚未包括紗筒換紗功能,未來(lái)的工作將集中于完善機(jī)械臂的換紗操作。
參考文獻(xiàn):
[1]游佳泉.筒紗換運(yùn)復(fù)合機(jī)器人作業(yè)效率提升方法研究[D]. 上海:東華大學(xué),2023.
YOU Jiaquan. Research on the Method of Improving the Operation Efficiency of Cylinder Yarn Changing and Transporting Compound Robot[D]. Shanghai:Donghua University,2023.
[2]蔣高明,高哲,高梓越.針織智能制造研究進(jìn)展[J]. 紡織學(xué)報(bào),2017,38(10):177-183.
JIANG Gaoming, GAO Zhe, GAO Ziyue. Research advance of knitting intelligent manufacturing[J]. Journal of Textile Research,2017,38(10):177-183.
[3]胡旭東,沈春婭,彭來(lái)湖,等.針織裝備的智能制造及互聯(lián)互通標(biāo)準(zhǔn)驗(yàn)證[J]. 紡織學(xué)報(bào),2017,38(10):172-176.
HU Xudong, SHEN Chunya, PENG Laihu, et al. Intelligent manufacturing and standard about interoperability verification of knitting machine[J]. Journal of Textile Research,2017,38(10):172-176.
[4]胡雙虎.碳纖維多層織機(jī)織邊機(jī)構(gòu)優(yōu)化設(shè)計(jì)及工藝研究[D]. 天津:天津工業(yè)大學(xué),2014.
HU Shuanghu. Optimal Design and Process Research of Weaving Edge Mechanism of Carbon Fiber Multilayer Loom [D]. Tianjin:Tianjin Polytechnic University,2014.
[5]屠佳佳,孫磊,毛慧敏,等.圓緯機(jī)紗架自動(dòng)換筒技術(shù)[J]. 紡織學(xué)報(bào),2022,43(7):178-185.
TU Jiajia, SUN Lei, MAO Huimin, et al. Automatic bobbin changing technology for circular weft knitting machines[J]. Journal of Textile Research,2022,43(7):178-185.
[6]SHI Z, SHI W, WANG J. The detection of thread Roll's margin based on computer vision[J]. Sensors,2021,21(19):6331.
[7]史偉民,韓思捷,屠佳佳,等.基于機(jī)器視覺(jué)的空紗筒口定位方法[J]. 紡織學(xué)報(bào),2023,44(11):105-112.
SHI Weimin, HAN Sijie, TU Jiajia, et al. Empty yarn bobbin positioning method based on machine vision[J]. Journal of Textile Research,2023,44(11):105-112.
[8]TU J, HAN S, SUN L, et al. The method of creel positioning based on monocular vision[J]. Sensors,2022,22(17):6657.
[9]張洪,魏毅,陳瑞,等.整經(jīng)機(jī)筒子架自動(dòng)換筒機(jī)器人系統(tǒng)研發(fā)[J]. 上海紡織科技,2020,48(6):10-13.
ZHANG Hong, WEI Yi, CHEN Rui, et al. Research and development of automatic barrel changing robot system for warping machine's barrel frame[J]. Shanghai Textile Sci-ence amp; Technology,2020,48(6):10-13.
[10]李小磊.基于數(shù)字圖像處理的高速公路能見(jiàn)度檢測(cè)系統(tǒng)設(shè)計(jì)[D]. 杭州:杭州電子科技大學(xué),2019.
LI Xiaolei. Design of Expressway Visibility Detection System Based on Digital Image Processing[D]. Hang-zhou:Hangzhou Dianzi University,2019.
[11]鄧建南,王晗,姚洪輝,等.基于修正Levenberg-Marquardt算法的非球面面形誤差校正[J]. 光學(xué)學(xué)報(bào),2022,42(5):0512004.
DENG Jiannan, WANG Han, YAO Honghui, et al. Aspheric surface shape error correction based on modified levenberg-marquardt algorithm[J]. Acta Optica Sinica,2022,42(5):0512004.
[12]李光,章曉峰,楊加超,等.基于殘差BP神經(jīng)網(wǎng)絡(luò)的6自由度機(jī)器人視覺(jué)標(biāo)定[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào),2021,52(4):366-374.
LI Guang, ZHANG Xiaofeng, YANG Jiachao, et al. Vision calibration of six degree of freedom robot based on residual BP neural network[J]. Transactions of the Chinese Society for Agricultural Machinery,2021,52(4):366-374.
[13]ZOU Y, MA W, TANG Q, et al. A high-precision method evaluating color quality of Sichuan Dark Tea based on colorimeter combined with multi-layer perceptron[J]. Journal of Food Process Engineering,
2020,43(8):e13444.
[14]丁雷鳴,徐海明,呂品,等.基于遺傳BP神經(jīng)網(wǎng)絡(luò)的雙目相機(jī)手眼標(biāo)定研究[J]. 合肥工業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版),2020,43(9):1159-1163.
DING Leiming, XU Haiming, Lü Pin, et al. Research on hand-eye calibration method based on genetic BP neural network for binocular camera[J]. Journal of Hefei University of Technology (Natural Science),2020,43(9):1159-1163.
An automatic replacement method of yarn bobbin based on machine vision
CHEN Furong, ZHANG Zhouqiang, LI Cheng, CUI Fangbin
(School of Mechanical and Electrical Engineering, Xi'an Polytechnic University, Xi'an 710613, China)
Abstract: In textile production, the replacement of bobbins is an unavoidable key process. Currently, most textile enterprises still employ manual bobbin replacement methods, which poses safety risks and is labor-intensive. The carbon fiber, known as the \"black gold\" of the 21st century, is a new type of fiber material with a carbon content exceeding 90%. Because of its light weight, high strength, and corrosion resistance, the carbon fiber has been widely used in various fields. In recent years, the government has been actively promoting the development of the carbon fiber industry. Both the \"13th Five-Year Plan\" and the \"14th Five-Year Plan\" have explicitly called for the strengthening of research and application of high-performance fibers and composite materials like carbon fibers. In carbon fiber weaving and production, the replacement of carbon fiber bobbins is a critical step. This paper explores methods to achieve automatic bobbin replacement, using carbon fiber bobbin replacement as a case study. To achieve the intelligent replacement of carbon fiber yarn bobbins, this paper proposes an automatic bobbin-changing method based on machine vision detection and robotic arm collaborative operation, and establishes a corresponding intelligent bobbin-changing system. The system is mainly divided into hardware and software parts. The hardware part includes an image acquisition module, a yarn rack device module, an upper computer module, and a robotic arm control module. The software part is responsible for recognizing the target object in the image and controlling the robotic arm. This paper mimics the yarn rack design of an actual factory and designs a yarn rack device suitable for laboratory settings. First, the image acquisition module is responsible for capturing and saving images; then, the upper computer module integrates the software programs of the entire system, which are used to monitor and determine the status of the yarn bobbin and transmit information to the robotic arm; finally, the robotic arm control module receives signals from the upper computer and completes the bobbin replacement according to the planned path. The image processing part of the system is based on an optimized Hough circle detection algorithm, incorporating the LM algorithm and monocular distance measurement principles to limit the radius range of the yarn bobbin, and adding a concentric circle detection mechanism to achieve more accurate bobbin positioning. In addition, a multi-layer perceptron(MLP)model is used to complete hand-eye calibration, determining the relationship between the image coordinates and the robotic arm base coordinates, thus obtaining the precise position of the robotic arm's end.
In the experimental tests, this paper addresses the sensitivity to ambient light and background noise by adding Gaussian noise to the captured raw images and adjusting the brightness (with parameter values of -50, 20, and 50). Through these data augmentation operations, it is verified that the optimized Hough circle detection algorithm possesses strong robustness and reliability, maintaining high detection accuracy in complex environments. Compared with the Random Forest and K-nearest Neighbor algorithms, MLP shows the best accuracy on the X/Y/Z axes, with mean square error controlled within 1.77 mm2. The results indicate that this study achieves high precision and effectiveness in the collaborative work of machine vision and robotic arms, providing important technical support for the practical application of intelligent replacement systems.
Keywords:machine vision; multilayer perceptron; Hough circle detection; automatic bobbin replacement; hand-eye calibration