面向熒光滲透檢測(cè)的小型管件圖像展開拼接方法*

蔡柳依婷 梁敏健 劉桂雄

特約論文

面向熒光滲透檢測(cè)的小型管件圖像展開拼接方法*

蔡柳依婷1梁敏健2劉桂雄1

（1.華南理工大學(xué)機(jī)械與汽車工程學(xué)院，廣東 廣州 510640 2.廣東省特種設(shè)備檢測(cè)研究院珠海檢測(cè)院，廣東 珠海 519002）

針對(duì)采用熒光滲透法檢測(cè)小型管件表面缺陷需人工翻找并肉眼觀察的不足，提出面向熒光滲透檢測(cè)的小型管件圖像展開拼接方法。首先，利用機(jī)器視覺技術(shù)從多角度采集小型管件熒光滲透處理后的表面圖像，通過建立小型管件成像展開模型將其側(cè)表面圓柱曲面轉(zhuǎn)換為平面成像；然后，利用改進(jìn)單應(yīng)性變換實(shí)現(xiàn)多角度小型管件圖像拼接配準(zhǔn)；最后，基于區(qū)域融合與明度調(diào)節(jié)實(shí)現(xiàn)多角度小型管件圖像拼接融合。試驗(yàn)結(jié)果表明：該拼接方法的特征匹配正確率達(dá)到86.78%，相對(duì)于原始匹配單應(yīng)性模型適配率提高了12.43%，能較有效整合各角度熒光滲透處理后的小型管件表面缺陷信息，為小型管件圖像處理二次定性檢測(cè)提供優(yōu)質(zhì)輸入。

熒光滲透；小型管件；柱面展開；圖像拼接

0 引言

工業(yè)生產(chǎn)中常使用小型管件作為運(yùn)輸元件，其表面質(zhì)量是安全運(yùn)行的重要保障之一[1]。小型管件典型缺陷主要有裂紋、焊瘤、凹陷和氣孔等，常采用熒光滲透法進(jìn)行檢測(cè)[2]。該方法使用熒光物質(zhì)作為滲透劑，噴涂于清洗后的小型管件表面；再在暗室條件下人工手動(dòng)翻轉(zhuǎn)管件表面，并使用紫外燈對(duì)其表面照射，使其表面缺陷顯像。傳統(tǒng)熒光圖像缺陷識(shí)別依靠人工尋找缺陷位置，判斷缺陷類型，再用測(cè)量工具判定缺陷質(zhì)量等級(jí)，得出小型管件表面缺陷質(zhì)量評(píng)價(jià)結(jié)果[1]0?；跈C(jī)器視覺的檢測(cè)方法能較完整地呈現(xiàn)管件側(cè)表面圖像，方便后續(xù)圖像處理，減少人工成本，提高檢測(cè)效率。

基于機(jī)器視覺的缺陷檢測(cè)方法通過圖像處理算法提取管件表面圖像典型特征缺陷并識(shí)別。文獻(xiàn)[3]（2013）針對(duì)產(chǎn)品表面線狀、條紋和塌邊等類型缺陷研究圖像濾波去噪、缺陷分割等處理手段，并取得工業(yè)應(yīng)用效果；文獻(xiàn)[4]（2016）改進(jìn)復(fù)雜背景下經(jīng)典目標(biāo)分割算法，通過工件表面缺陷圖像庫實(shí)驗(yàn)，驗(yàn)證算法在工件表面缺陷特征提取與識(shí)別方面的有效性。這些方法主要通過改善經(jīng)典算法計(jì)算流程、二次設(shè)計(jì)計(jì)算參數(shù)等方式優(yōu)化表面缺陷檢測(cè)方案，常應(yīng)用于多缺陷共平面大型管件表面缺陷檢測(cè)，難以適用于小型管件柱狀表面曲成像結(jié)構(gòu)。

為此，本文提出面向熒光滲透檢測(cè)的小型管件圖像展開拼接方法，在原有小型管件表面缺陷檢測(cè)流程中引入小型管件表面柱狀成像展開模型，并通過單應(yīng)性變換實(shí)現(xiàn)多角度小型管件圖像拼接，在一個(gè)平面上較完整地呈現(xiàn)小型管件表面全貌特征。

1 整體設(shè)計(jì)

面向熒光滲透檢測(cè)的小型管件圖像展開拼接方法設(shè)計(jì)框圖如圖1所示，包括成像展開模型和圖像拼接模型。

通過對(duì)小型管件多角度圖像采集，建立面向熒光滲透檢測(cè)的小型管件成像展開模型，求取展開前后像素坐標(biāo)變化關(guān)系；再利用圖像拼接模型，整合不同角度下的小型管件側(cè)圓柱面缺陷信息。

2 小型管件成像展開模型

小型管件展開成像模型將小型管件近似為圓柱體，本文以其中任意側(cè)表面成像為例，分析展開前后管件側(cè)表面任一點(diǎn)世界坐標(biāo)變換關(guān)系。

圖1 面向熒光滲透檢測(cè)的小型管件圖像展開拼接方法設(shè)計(jì)框圖

圖2 小型管件圖像展開成像示意圖

令式(1)坐標(biāo)縮放矩陣為，結(jié)合式(1)、式(2)、式(3)，可得小型管件展開前像素坐標(biāo)-展開后像素坐標(biāo)轉(zhuǎn)換關(guān)系為

再從方向進(jìn)行二次插值，得到

由此得到多角度小型管件成像展開效果。

通過建立小型管件成像展開模型，研究展開前后像點(diǎn)坐標(biāo)變換關(guān)系，可將管件側(cè)表面成像曲面近似轉(zhuǎn)換為平面，從而恢復(fù)其原始形貌特征。但為完整呈現(xiàn)管件側(cè)柱狀表面整體外觀，還需拼接多角度小型管件成像展開圖片。

3 圖像拼接模型

小型管件圖像拼接融合示意圖如圖3所示。

圖3 小型管件圖像拼接融合示意圖

由于多角度熒光滲透的小型管件圖像成像效果受其表面缺陷集中情況、種類和尺寸等因素影響，往往會(huì)呈現(xiàn)亮度差異，故需事先借助XYZ顏色空間將RGB圖像轉(zhuǎn)至Lab顏色空間，用以均衡亮度通道分量，從而均衡各角度配準(zhǔn)結(jié)果圖像質(zhì)量[12]。

通過基于單應(yīng)性的圖像拼接配準(zhǔn)方法，利用白光條件下特征匹配對(duì)獲取多角度小型管件幾何變換路徑；再通過基于顏色特征的圖像拼接融合方法整合熒光滲透處理后的表面成像圖片，改善基于機(jī)器視覺方式進(jìn)行表面缺陷檢測(cè)的質(zhì)量。

4 實(shí)驗(yàn)結(jié)果與分析

小型管件圖像采集效果如圖4所示，其中圖4(a)、圖4(b)為白光光源條件下采集的不同角度1號(hào)管件成像；圖4(c)、圖4(d)為紫外光源條件下采集的不同角度2號(hào)管件熒光滲透處理后成像。為集中處理小型管件表面成像，可提取圖像中管件主體用于后續(xù)操作。

圖4 小型管件圖像采集效果

根據(jù)式(4)對(duì)小型管件主體進(jìn)行成像展開，將小型管件側(cè)柱面按成像展開模型近似轉(zhuǎn)變?yōu)檠啬妇€展開的平面。小型管件成像展開效果如圖5所示，其中圖5(a)、圖5(b)為白光光源條件下1號(hào)管件展開主體；圖5(c)、圖5(d)為紫外光源條件下熒光滲透處理后2號(hào)管件展開主體。圖5(a)、圖5(b)、圖5(c)、圖5(d)均與圖4拍攝角度依次對(duì)應(yīng)，可對(duì)比看出管件邊緣得到明顯拉伸，原始曲面的特征也有相應(yīng)恢復(fù)。

利用白光條件下多角度小型管件展開圖進(jìn)行圖像拼接配準(zhǔn)，為熒光滲透處理后的展開圖提供單應(yīng)性幾何變換路徑。小型管件圖像拼接配準(zhǔn)結(jié)果如圖6所示。由于小型管件展開使其側(cè)邊緣特征有所恢復(fù)，相對(duì)原始管件區(qū)域全局surf[13]特征提取時(shí)特征數(shù)平均增長(zhǎng)了73.24%。同時(shí)，由于優(yōu)化配準(zhǔn)區(qū)域，只拍攝冗余區(qū)域，改善了RANSAC[14]特征匹配修正時(shí)2圖特征匹配正確率。小型管件單應(yīng)性配準(zhǔn)正確率對(duì)比表如表1所示，展開后2圖特征匹配正確率達(dá)到86.78%，相對(duì)于原始匹配單應(yīng)性模型適配率提高了12.43%。

圖5 小型管件成像展開效果圖

表1 小型管件單應(yīng)性配準(zhǔn)正確率對(duì)比表

最后在單應(yīng)性配準(zhǔn)基礎(chǔ)上使用熒光處理后的小型管件展開圖像作為圖像拼接融合輸入，按式(7)、式(8)調(diào)整多角度圖像亮度并進(jìn)行漸入漸出融合，得到熒光滲透多角度圖像拼接融合效果，如圖7所示?？梢钥闯觯浩浔砻嫘畔⒇S富度，灰度變化跨度、整體自然度都有所提升，可用于后續(xù)熒光滲透缺陷定位、識(shí)別和提取，甚至進(jìn)行定量尺寸計(jì)算及測(cè)量。

圖7 小型管件圖像拼接融合結(jié)果

5 結(jié)語

根據(jù)小型管件幾何特征、成像原理構(gòu)建小型管件成像展開模型，并推導(dǎo)像素層面小型管件展開前后坐標(biāo)變換關(guān)系，從而一定程度地恢復(fù)小型管件曲面特征。通過改進(jìn)單應(yīng)性自由度求解方式，簡(jiǎn)化小型管件圖像拼接配準(zhǔn)計(jì)算過程，并通過改進(jìn)漸入漸出圖像拼接融合方法，得到熒光滲透小型管件側(cè)表面拼接圖像，有效整合各角度熒光滲透處理后的小型管件表面缺陷信息，相對(duì)于原始匹配單應(yīng)性模型適配率提高了12.43%，提高小型管件表面缺陷檢測(cè)圖像準(zhǔn)確率和處理效率。

下一步將研究熒光滲透小型管件圖像表面缺陷提取與定位算法，全面實(shí)現(xiàn)小型管道的自動(dòng)化檢測(cè)。

[1] 余達(dá)海.油氣管道運(yùn)輸業(yè)的發(fā)展與安全思考[C]//中國(guó)石油石化健康,安全與環(huán)保.中國(guó)石油學(xué)會(huì),2015.

[2] 全國(guó)鍋爐壓力容器標(biāo)準(zhǔn)化技術(shù)委員會(huì).NB/T 47013.5―2015 承壓設(shè)備無損檢測(cè)第5部分：滲透檢測(cè)[S].北京:新華出版社,2015.

[3] 李玉寶.基于機(jī)器視覺的表面缺陷檢測(cè)算法研究[D].長(zhǎng)沙:中南大學(xué),2013.

[4] 趙君愛.基于圖像處理的工件表面缺陷檢測(cè)理論與方法研究[D].南京:東南大學(xué),2016.

[5] VAGHELA D, NAINA P. A review of image mosaicing techniques[J]. arXiv preprint arXiv:1405.2539, 2014.

[6] ZITOVA B, FLUSSER J. Image registration methods: a survey[J]. Image and Vision Computing, 2003, 21(11): 977-1000.

[7] Debabrata Ghosh, Naima Kaabouch. A survey on image mosaicing techniques[J]. Journal of Visual Communication and Image Representation,2016,34:1-11.

[8] 劉桂雄,蔡柳依婷,王博帝.機(jī)器視覺檢測(cè)圖像拼接配準(zhǔn)技術(shù)研究進(jìn)展[J].激光雜志,2019,40(11):1-6.

[9] ANDREW A M. Multiple view geometry in computer vision[J]. Kybernetes, 2001, 30(9/10): 1333-1341.

[10] 劉桂雄,張瑜,蔡柳依婷.機(jī)器視覺檢測(cè)圖像拼接融合技術(shù)研究進(jìn)展[J].中國(guó)測(cè)試,2020,46(1):1-6.

[11] HILLMAN P, HANNAH J, RENSHAW D. Alpha channel estimation in high resolution images and image sequences[C]//Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. CVPR 2001. IEEE, 2001, 1: I-I.

[12] 王可,陸長(zhǎng)德,樂萬德.色彩相似性度量的研究與應(yīng)用[J].計(jì)算機(jī)應(yīng)用研究,2005(10):168-170.

[13] BAY H, TUYTELAARS T, VAN GOOL L. Surf: speeded up robust features[C]//European conference on computer vision. Springer, Berlin, Heidelberg, 2006:404-417.

[14] FISCHLER M A , BOLLES R C . Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography[J]. Communications of the ACM, 1981,24(6):381-395.

A Stitching Method for Unfolding Small Tube Images for Fluorescent Penetration Detection

Cai Liuyiting1Liang Minjian2Liu Guixiong1

(1. School of Mechanical and Automotive Engineering, South China University of Technology,Guangzhou 510640, China 2. Guangdong Institute of Special Equipment Inspection and Research Zhuhai Branch, Zhuhai 519002, China)

Fluorescence penetrating detection of small pipe surface defects usually needed to be manually searched and observed with the naked eye. We used machine vision to collect the surface pictures of mall pipe after fluorescent penetration from multiple angles. By establishing a small pipe imaging expansion model, the side surface of the cylindrical surface was converted into planar imaging. We then proposed an improved homography transformation to realize the registration of multi-angle small pipe images, and realized the multi-angle small pipe image fusion based on regional fusion and brightness adjustment. Experiments showed that the accuracy of feature matching of the splicing method reached 86.78%, which was 12.43% higher than that of the original matching homography model. It can effectively integrate the surface defect information of small pipe after fluorescent penetration treatment at various angles. The secondary qualitative inspection of the image processing of small pipe provided high-quality input.

fluorescent penetration; small pipe; cylindrical expansion; image stitching

TN911.73

A

1674-2605(2021)02-0001-06

10.3969/j.issn.1674-2605.2021.02.001

廣州市產(chǎn)業(yè)技術(shù)重大攻關(guān)計(jì)劃(2018020300006)；廣東省特檢院科研項(xiàng)目(2020CY14)。

蔡柳依婷，女，1996年生，研究生，主要研究方向：先進(jìn)傳感與儀器研究。E-mail:1076050814@qq.com