基于機(jī)器視覺的光纖智能碳纖維構(gòu)件路徑識(shí)別方法

謝嘯博 朱萍玉 黃孟姣 李永敬

?

基于機(jī)器視覺的光纖智能碳纖維構(gòu)件路徑識(shí)別方法

謝嘯博 朱萍玉 黃孟姣 李永敬

（廣州大學(xué)機(jī)械與電氣工程學(xué)院）

為獲取布設(shè)在碳纖維預(yù)浸料內(nèi)的光纖路徑，提出一種基于機(jī)器視覺的光纖路徑提取方法。首先，利用Forstner特征提取算子提取各分段圖像上的光纖特征點(diǎn)，并對(duì)相鄰的圖像進(jìn)行逐次拼接；然后，獲得構(gòu)件全景圖像，并采用最大類間方差法分別提取所需區(qū)域圖像；最后，通過快速傅立葉變換去除紋理噪音，并利用線條提取算子獲得光纖完整路徑。實(shí)驗(yàn)表明：運(yùn)用該方法獲得的完整光纖路徑與實(shí)際吻合。

機(jī)器視覺；光纖；碳纖維預(yù)浸料；圖像拼接；邊緣提取

0　引言

光纖傳感器具有靈敏度高、動(dòng)態(tài)范圍大、抗電磁干擾等特點(diǎn)，且光纖本身纖柔輕細(xì)，使得光纖傳感器體積小、重量輕、幾何形狀可塑，不僅便于布設(shè)安裝，并對(duì)埋設(shè)部位的材料性能和力學(xué)參數(shù)影響甚小，可實(shí)現(xiàn)無損埋設(shè)，與待測(cè)材料有著良好的相容性，能以網(wǎng)絡(luò)鋪設(shè)實(shí)現(xiàn)全方位監(jiān)測(cè)，提高安全監(jiān)測(cè)的有效性。而碳纖維增強(qiáng)復(fù)合材料具有比強(qiáng)度高、比模量高、耐疲勞和尺寸穩(wěn)定性好等特點(diǎn)，將光纖埋入碳纖維復(fù)合材料中可制作成光纖智能碳纖維構(gòu)件。該構(gòu)件屬薄板類結(jié)構(gòu)，可粘貼于所需監(jiān)測(cè)的零部件表面，如海上風(fēng)電的風(fēng)葉上。光纖被碳纖維復(fù)合材料包裹后，具體分布位置難以確定，需提前將光纖內(nèi)部的分布位置確定，以保證監(jiān)測(cè)的準(zhǔn)確性。對(duì)于相機(jī)視野范圍內(nèi)的光纖智能碳纖維構(gòu)件，只需進(jìn)行簡單的拍照取樣即可獲得光纖的具體分布位置；但對(duì)于超過相機(jī)視野范圍的光纖智能碳纖維構(gòu)件，則需通過圖像拼接技術(shù)來確定分布位置[1]。本文提出一種基于機(jī)器視覺的光纖智能碳纖維構(gòu)件路徑識(shí)別方法。經(jīng)驗(yàn)證，可有效解決超過相機(jī)視野范圍的光纖智能碳纖維構(gòu)件圖像拼接問題。

1　基于機(jī)器視覺的光纖智能碳纖維構(gòu)件路徑識(shí)別

光纖智能碳纖維構(gòu)件內(nèi)部結(jié)構(gòu)如圖1所示，光纖由2塊碳纖維預(yù)浸料夾在中間。

基于機(jī)器視覺的光纖智能碳纖維構(gòu)件路徑識(shí)別主要由光纖智能碳纖維構(gòu)件路徑圖像采集和圖像處理2部分組成。

圖1　光纖智能碳纖維構(gòu)件內(nèi)部結(jié)構(gòu)圖

1.1　光纖智能碳纖維構(gòu)件路徑圖像采集

1.1.1 硬件組成

照明方式是影響圖像質(zhì)量的關(guān)鍵因素，其設(shè)計(jì)直接影響解決方法的成敗。因此，為凸顯光纖的形狀特征，本方法采用方形光源照明的圖像采集方式，其硬件組成如圖2所示。圖像采集系統(tǒng)主要包括支架、工業(yè)相機(jī)、鏡頭、光纖智能碳纖維構(gòu)件、方形無影光源、計(jì)算機(jī)以及顯示器。其中，方形無影光源位于光纖智能碳纖維構(gòu)件上方；工業(yè)相機(jī)位于光纖智能碳纖維構(gòu)件的正上方；鏡頭為定焦鏡頭。

1.1.2 路徑提取方法

目前針對(duì)光纖智能碳纖維構(gòu)件中光纖路徑提取的方法較少。本文基于Halcon平臺(tái)提出一種針對(duì)光纖智能碳纖維構(gòu)件的光纖路徑提取方法：1）以方形無影光源照明的方式凸顯光纖特征，并采集張圖像；2）利用Forstner特征提取算子[2]提取特征點(diǎn)進(jìn)行圖像拼接；3）采用最大類間方差法（Otsu）提取所需區(qū)域圖像[3]；4）利用快速傅立葉變換去除碳纖維的紋理噪聲[4]；5）利用線條提取算子提取光纖路徑。圖像處理流程如圖3所示。

圖2　 采集系統(tǒng)整體結(jié)構(gòu)

圖3 　圖像處理流程

1.2　光纖智能碳纖維構(gòu)件路徑圖像處理

1.2.1 圖像采集與圖像配準(zhǔn)

利用實(shí)驗(yàn)平臺(tái)采集張圖像，然后對(duì)所采集的圖像進(jìn)行圖像配準(zhǔn)。

圖像配準(zhǔn)是整個(gè)圖像拼接的核心，本文采用Forstner算子提取特征點(diǎn)。Forstner算子基本思想是：對(duì)最佳窗口內(nèi)通過每個(gè)像元的邊緣直線（垂直于梯度方向）進(jìn)行加權(quán)中心化，得到角點(diǎn)的定位坐標(biāo)；對(duì)最佳窗口內(nèi)通過每個(gè)像元的梯度直線進(jìn)行加權(quán)中心化，得到圓心的坐標(biāo)。

1.2.2 圖像拼接

特征點(diǎn)完成提取后，通過重疊區(qū)域的特征點(diǎn)對(duì)比關(guān)系可求得投影變換矩陣；然后經(jīng)過特征點(diǎn)匹配，采用Ransac算法[5]進(jìn)行魯棒性匹配，剔除不合適特征點(diǎn)；最后根據(jù)合適的特征點(diǎn)，完成圖像配準(zhǔn)及圖像拼接，得到所需的光纖智能碳纖維構(gòu)件全景圖。

1.2.3 圖像預(yù)處理與線條提取

對(duì)光纖智能碳纖維構(gòu)件全景圖進(jìn)行圖像處理步驟：1）獲取圖像區(qū)域，利用圖像腐蝕縮小圖像區(qū)域；2）采用最大類間方差法Otsu，對(duì)所采集的圖像進(jìn)行自動(dòng)閾值，選取感興趣區(qū)域作為檢測(cè)ROI；3）去除檢測(cè)ROI的其他區(qū)域像素。

利用正弦?guī)V波器增強(qiáng)區(qū)域內(nèi)光纖路徑；再利用快速傅立葉變換去掉紋理噪聲；最后對(duì)全景圖進(jìn)行光纖輪廓提取，獲得光纖在智能構(gòu)件內(nèi)部的分布圖。

2　實(shí)驗(yàn)驗(yàn)證

實(shí)驗(yàn)采用型號(hào)為MER-500-14GM的工業(yè)相機(jī)；200 mm×300 mm的方形無影光源；長、寬為450 mm×100 mm的光纖智能碳纖維構(gòu)件作為實(shí)驗(yàn)對(duì)象。

2.1 圖像采集

在實(shí)驗(yàn)平臺(tái)采集12張圖像，采集順序由小到大序號(hào)，如1,2,3,4,…,12進(jìn)行排序，每張圖像均有一定的重疊部分，重疊部分以灰色顯示如圖4所示。采集圖像效果如圖5所示，可以看出圖中光纖路徑清晰可見，但也帶有一定的紋理噪音。

圖4　圖像采集順序示意圖

圖5 　源圖像

2.2 圖像配準(zhǔn)

兩兩圖像進(jìn)行特征點(diǎn)的提取與配對(duì)，12張圖像的配準(zhǔn)如圖6所示。其中，位于圖形內(nèi)的斜紋及短的密集線條為2個(gè)特征點(diǎn)直接的配對(duì)線?？梢钥闯觯卣鼽c(diǎn)主要位于圖像的邊緣。由于圖像采集過程中操作的誤差，導(dǎo)致圖像重疊部分特征點(diǎn)配準(zhǔn)過程中存在一定的角度偏差，但由圖像紋理可知圖像配準(zhǔn)正確。

圖6 　特征點(diǎn)匹配圖

2.3 圖像融合

圖像融合得到檢測(cè)的全景圖如圖7所示。由圖7可見，圖像間無明顯的拼接線，融合效果良好。根據(jù)碳纖維與光纖圖像紋路特征匹配，確認(rèn)圖像融合的正確性。

圖7　圖像融合效果

2.4　邊緣提取

對(duì)得到的全景圖進(jìn)行正弦?guī)V波，然后提取圖像邊緣，最后經(jīng)過篩選得到光纖的路徑分布。如圖8所示，粗線條為光纖路徑（為使得光纖的路徑分布更容易觀察，增加了所提取路徑的線寬）。

圖8 　光纖路徑提取圖

實(shí)驗(yàn)結(jié)果表明：圖像經(jīng)處理后，光纖路徑能完整呈現(xiàn)，可實(shí)現(xiàn)光纖智能碳纖維構(gòu)件內(nèi)部光纖路徑的識(shí)別。

3 結(jié)語

光纖智能碳纖維構(gòu)件結(jié)合碳纖維復(fù)合材料以及光纖傳感器的優(yōu)點(diǎn)，其內(nèi)部封裝的光纖路徑的識(shí)別有利于構(gòu)件實(shí)現(xiàn)在線監(jiān)測(cè)。本文基于Halcon平臺(tái)提出一種光纖路徑的提取方法，通過工業(yè)相機(jī)采集圖像后，利用計(jì)算機(jī)圖像處理技術(shù)實(shí)現(xiàn)了光纖路徑的提取。實(shí)驗(yàn)表明：該算法能穩(wěn)定提取光纖智能碳纖維構(gòu)件的光纖路徑，具有一定的理論及實(shí)用價(jià)值。

[1] Zhu Pingyu, Xie Xiaobo, Sun Xiaopeng, et al. Distributed modular temperature-strain sensor based on optical fiber embedded in laminated composites[J]. Composites Part B, 2019,168:267-273.

[2] 李天碩.基于改進(jìn)的FORSTNER算子特征點(diǎn)提取方法[J].江西測(cè)繪,2017(1):30-32.

[3] 李永敬,朱萍玉,孫孝鵬,等.基于形狀模板匹配的沖壓件外形缺陷檢測(cè)算法研究[J].廣州大學(xué)學(xué)報(bào)(自然科學(xué)版),2017, 16(5): 62-66.

[4] 王蕾,厲征鑫,劉建立,等. FFT和Hough變換在織物紋理方向檢測(cè)上的應(yīng)用[J].計(jì)算機(jī)工與應(yīng)用,2014,50(18):39-43.

[5] Schnabel R, Wahl R, Klein R. Efficient RANSAC for point-cloud shape detection[J]. Computer Graphic, 2007, 26: 214-226.

Path Recognition Method for Optical Fiber Smart Carbon Fiber Components Based on Machine Vision

Xie Xiaobo Zhu Pingyu Huang Mengjiao Li Yongjing

(School of Mechanical and Electric Engineering, Guangzhou University)

An optical fiber path extraction method based on machine vision was proposed to obtain the fiber path of carbon fibre prepreg surface. Firstly, forstner operator was used to extract the segmented image optical feature points, then successive in stitching the adjacent image, and then got the panoramic images, and respectively OSTU method to extract the needed area image, at last, by fast Fourier transform to remove texture noise, and using fiber line extraction operator to obtain the full path. Examples show that the proposed method can obtain the complete optical path which has better tally with the experimental object, and lay a foundation about how to locate the sensing optical fiber in the intelligent structure.

Machine Vision; Optical Fiber; Carbon Fibre Prepreg; Image Mosaic; Edge Extraction

謝嘯博，男，1994年生，碩士研究生，主要研究方向：測(cè)試技術(shù)與儀器。

朱萍玉（通信作者），女，1971 年生，博士、教授，主要研究方向：光纖傳感技術(shù)、智能制造與維護(hù)。E-mail：pyuzhu@gzhu.edu.cn