基于角點(diǎn)檢測(cè)的裂紋瓷圖像拼接及裂紋重建

張衛(wèi)正，崔俊杰，任建軍，張偉偉，李燦林

(1.鄭州輕工業(yè)大學(xué) 計(jì)算機(jī)與通信工程學(xué)院，河南 鄭州 450002;2.鄭州輕工業(yè)大學(xué) 藝術(shù)設(shè)計(jì)學(xué)院，河南 鄭州 450002)

0 引 言

裂紋瓷的釉面布滿小裂紋，紋路線條不規(guī)則，呈塊狀分布，形成了獨(dú)具風(fēng)格的裝飾[1]。裂紋釉與窯變花釉的產(chǎn)生具有偶然性，釉面龜裂原是燒成瓷器的一種缺陷，但匠人總結(jié)規(guī)律、經(jīng)驗(yàn)，調(diào)節(jié)釉和坯的膨脹系數(shù)，制作紋路清晰、獨(dú)居美感的裂紋釉[2]。裂紋一般分為釉填充型與覆蓋型兩大類型。前者是在已燒成的釉的裂紋中填充煤煙、墨汁等物質(zhì)，使紋路呈現(xiàn)棕、褐、黑等色調(diào)。后者是先將制品施上底色釉，燒成后再在上面覆蓋顏色釉，經(jīng)煅燒，覆蓋色釉呈現(xiàn)裂紋，露出底釉的顏色[3]。

圖像處理技術(shù)可實(shí)現(xiàn)快速、無損的陶瓷器檢測(cè)與分析，降低了人工勞動(dòng)強(qiáng)度。隨著計(jì)算機(jī)技術(shù)的發(fā)展，逐漸應(yīng)用于陶瓷的器型及紋飾的數(shù)字化檢測(cè)與分析。張靜[4]分析了瓷器放置位置及圖像采集間隔角度，并進(jìn)行圖像去噪和圖像修正；采用SIFT 和MSER 算法提取特征點(diǎn)并進(jìn)行特征匹配，通過改進(jìn)的多波段融合算法對(duì)配準(zhǔn)后的圖像進(jìn)行無縫拼接，最終獲得立體瓷器的完整清晰的二維平面圖案。王明哲[5]提出了基于局部幾何特征學(xué)習(xí)的碎片斷面提取和碎片拼接重組方法，這種基于學(xué)習(xí)的框架在提取器皿碎片的關(guān)鍵幾何數(shù)據(jù)方面優(yōu)于常用的經(jīng)典方法。

胡世國(guó)[6]采用邊緣檢測(cè)和圖像增強(qiáng)等方法對(duì)陶瓷面磚的紋飾進(jìn)行處理，通過Matlab 軟件編程來實(shí)現(xiàn)，具有速度快、精度高等優(yōu)點(diǎn)。肖夢(mèng)輝等[7]對(duì)陶瓷瓶?jī)?nèi)壁圖像進(jìn)行光照和去噪處理，利用圖像增強(qiáng)提高內(nèi)壁圖像的對(duì)比度，通過圖像分割和連通域算法標(biāo)記檢測(cè)裂紋，能準(zhǔn)確地檢測(cè)出條形、橫向和縱向的內(nèi)壁裂紋。張力等[8]通過圖像處理技術(shù)和Matlab 軟件搭建了檢測(cè)陶瓷瓶裂紋的仿真系統(tǒng)，快速準(zhǔn)確地檢測(cè)陶瓷瓶?jī)?nèi)壁缺陷。李強(qiáng)[9]對(duì)陶瓷瓦的紅色通道圖像進(jìn)行預(yù)處理，然后采用主成分分析法重構(gòu)陶瓷瓦圖像，將兩者進(jìn)行插值處理，最后通過二值化和形態(tài)學(xué)處理提取裂紋的參數(shù)，可檢測(cè)復(fù)雜背景干擾的陶瓷瓦裂紋。邱永德[10]采用空域和小波域混合濾波對(duì)陶瓷制品圖像進(jìn)行去噪處理，提取微缺陷裂紋區(qū)域，描述模型LoG 梯度加權(quán)Haar-like 特征，訓(xùn)練裂紋檢測(cè)分類器實(shí)現(xiàn)了微缺陷裂紋目標(biāo)無損檢測(cè)。

采用圖像處理方法分析陶瓷器圖像的顏色、紋理特征，輔助實(shí)現(xiàn)對(duì)古陶瓷的瓷片分類、釉色分析、瓷釉識(shí)別、氣泡分析及古瓷器鑒定，提高了檢測(cè)和分類的準(zhǔn)確率，彌補(bǔ)了傳統(tǒng)檢測(cè)方法的不足。但在基于顏色和紋理等信息進(jìn)行陶瓷器開片方面的實(shí)驗(yàn)研究很少；結(jié)合瓷器器型進(jìn)行圖像采集和處理獲取平面展開圖，可更好地用于紋飾等外部特征的分析與鑒別。

本文以具有裂紋釉的龍泉青瓷茶杯為研究對(duì)象，提取瓷器的多個(gè)側(cè)面圖像。采用Harris 角點(diǎn)檢測(cè)方法提取圖像中的角點(diǎn)，然后進(jìn)行圖像配準(zhǔn)和拼接，將多側(cè)面圖像拼接為一個(gè)完整的展開圖像；通過圖像灰度化、二值化及形態(tài)學(xué)細(xì)化處理，將裂紋進(jìn)行三維顯示，為裂紋的形態(tài)學(xué)展示和拓?fù)浞治鎏峁┝酥危岣吡俗詣?dòng)化程度，為開片陶瓷器的檢測(cè)分析提供了技術(shù)支持，具有較強(qiáng)的創(chuàng)新性和實(shí)用性。

1 圖像采集與預(yù)處理

為了獲得多視角的龍泉青瓷茶杯的柱面圖像，搭建采集箱。采集箱內(nèi)部的頂面裝有兩條平行的LED 燈帶，燈帶亮度可調(diào)節(jié)，由移動(dòng)電源通過USB 端口供電，背面和底面鋪設(shè)黑色背景布。茶杯放置在由深圳康信技術(shù)有限公司生產(chǎn)的旋轉(zhuǎn)臺(tái)MT200RLxx 上，旋轉(zhuǎn)臺(tái)直徑為20 cm，轉(zhuǎn)速為20—68 s/圈，最大承重20 kg，電源輸入電壓為110—220 V。通過優(yōu)質(zhì)的無刷程控電機(jī)和精密的齒輪結(jié)構(gòu)可遙控控制旋轉(zhuǎn)臺(tái)轉(zhuǎn)動(dòng)的順逆方向、轉(zhuǎn)速及轉(zhuǎn)動(dòng)角度，旋轉(zhuǎn)臺(tái)采用工業(yè)級(jí)ABS 材質(zhì)，不易變形。

圖1 圖像采集裝置Fig.1 Image acquisition device

將華為Mate10 Pro 手機(jī)夾持在相機(jī)三腳架(品牌為嘉華彩 3520)上，調(diào)整高度和朝向，對(duì)放置于旋轉(zhuǎn)臺(tái)中心的茶杯進(jìn)行視頻錄制，如圖1 所示。視頻的幀速率設(shè)定為30 fps，每幀大小為1920×1080像素，設(shè)定旋轉(zhuǎn)臺(tái)的轉(zhuǎn)速為20 s/圈。通過Matlab軟件將視頻的前600 幀分別轉(zhuǎn)存為JPG 格式的圖像，如圖2(a)所示。將每個(gè)茶杯圖像的中心線向左右兩側(cè)延伸70 像素，并作為感興趣區(qū)域進(jìn)行裁剪，如圖2(b)所示。

圖2 圖像采集及剪切Fig.2 Image acquisition and cutting

2 角點(diǎn)檢測(cè)與特征匹配

2.1 角點(diǎn)檢測(cè)

角點(diǎn)在圖像處理領(lǐng)域常為兩條邊緣的交點(diǎn)或鄰域內(nèi)具有兩個(gè)主方向的特征點(diǎn)；角點(diǎn)檢測(cè)用于特征提取、目標(biāo)匹配和三維重建等[11-12]。Harris 角點(diǎn)檢測(cè)是特征點(diǎn)檢測(cè)的基礎(chǔ)，采用移動(dòng)窗口計(jì)算鄰近像素點(diǎn)灰度差值判斷角點(diǎn)、邊緣及平滑區(qū)域。其中，關(guān)鍵流程包括圖像灰度化、計(jì)算差分圖像、高斯平滑、計(jì)算局部極值及確認(rèn)角點(diǎn)[13-14]。

Harris 算法通過計(jì)算點(diǎn)的曲率及梯度來檢測(cè)角點(diǎn)，對(duì)亮度和對(duì)比度的變化不敏感，具有旋轉(zhuǎn)不變性、尺度不變性、較高的魯棒性和計(jì)算效率。Harris 算法的核心是利用局部窗口在圖像上進(jìn)行移動(dòng)判斷灰度發(fā)生的變化，兩個(gè)方向具有較大變化的點(diǎn)即為角點(diǎn)；沒有發(fā)生變化就不存在角點(diǎn)；如果窗口只在某一個(gè)方向移動(dòng)時(shí)發(fā)生較大的變化，則該點(diǎn)可能位于一條直線上。通過公式1 判斷角點(diǎn)。

其中，[u,v]是窗口的偏移量；M為協(xié)方差矩陣，如公式2 所示。

其中，(x,y)是像素坐標(biāo)；w(x,y)是窗口函數(shù)，最簡(jiǎn)單情形就是窗口內(nèi)的所有像素所對(duì)應(yīng)的權(quán)重系數(shù)均為1；Ix為在x方向的梯度；Iy為在y方向的梯度。M 的特征值都比較大時(shí)，即窗口中含有角點(diǎn)；特征值一個(gè)較大，一個(gè)較小，窗口中含有邊緣；特征值都比較小，窗口處在平坦區(qū)域。

采用Matlab 中的rgb2gray()函數(shù)將RGB 圖像轉(zhuǎn)換為灰度圖像，便于計(jì)算灰度圖像中的梯度變化。通過函數(shù)語句[xp,yp,value]=harris(input_image,sigma,thd,r)檢測(cè)Harris 角點(diǎn)。其中，輸入?yún)?shù)input_image 表示輸入灰度圖像；sigma 表示平滑高斯的標(biāo)準(zhǔn)偏差；r 表示非極大值抑制中考慮的區(qū)域半徑；輸出參數(shù)xp 表示角點(diǎn)的x 坐標(biāo)；yp表示角點(diǎn)的y 坐標(biāo)；value 表示角點(diǎn)處的R 值。如圖3 所示，即為對(duì)相鄰的兩個(gè)圖像幀進(jìn)行角點(diǎn)檢測(cè)的效果。

2.2 特征匹配

由于通過Harris 算法檢測(cè)得到的關(guān)鍵點(diǎn)較多，直接計(jì)算會(huì)增加運(yùn)算量和誤差。需要相對(duì)均勻的篩選出特征明顯的關(guān)鍵角點(diǎn)。Matthew 提出了自適應(yīng)非極大值抑制 (Adaptive Non-Maximal Suppression,ANMS)的方法來擇優(yōu)選取特定數(shù)量的關(guān)鍵點(diǎn)[15-16]。先選取評(píng)分較高的候選點(diǎn)組成集合S。對(duì)S中的每個(gè)點(diǎn)xi，尋找它的響應(yīng)能作為區(qū)域最大值的區(qū)域半徑ri，即

其中，xj∈S。將找到的ri降序排列，選取前50 個(gè)元素對(duì)應(yīng)的點(diǎn)，即為自適應(yīng)非極大值濾波后得到的關(guān)鍵點(diǎn)。xi是上一步得到的關(guān)鍵點(diǎn)的2 維坐標(biāo)，S 是所有關(guān)鍵點(diǎn)的集合，如圖4 所示。

圖3 角點(diǎn)檢測(cè)Fig.3 Corner detection

圖4 篩選關(guān)鍵角點(diǎn)Fig.4 Screen key corners

3 圖像拼接

對(duì)圖像做適度的高斯模糊，以關(guān)鍵角點(diǎn)為中心，取40×40 像素的區(qū)域。將該區(qū)域降采樣至8×8的大小，生成一個(gè)64 維的向量。對(duì)向量做歸一化處理，每個(gè)關(guān)鍵點(diǎn)都用一個(gè)64 維的向量表示，于是每幅圖像分別得到了一個(gè)500×64 的特征矩陣。

從兩個(gè)圖像的50 個(gè)特征點(diǎn)中篩選出配對(duì)的點(diǎn)。篩選的方法是先計(jì)算50 個(gè)特征點(diǎn)兩兩之間的歐氏距離，按照距離由小到大排序。通常情況下，選擇距離最小的一對(duì)特征向量配對(duì)。僅僅觀察最小距離并不能有效篩選配對(duì)特征點(diǎn)，而用最小的距離r1和第二小的距離r2的比值可以很好地進(jìn)行篩選。使用的閾值是r1/r2<0.5。經(jīng)過篩選后的配對(duì)特征點(diǎn)如圖5 所示。

圖5 篩選后的配對(duì)特征點(diǎn)Fig.5 Matching feature points after screening

關(guān)鍵點(diǎn)的匹配使用Random Sample Consensus(RANSAC)算法。以一幅圖像為基準(zhǔn)，每次從中隨機(jī)選擇8 個(gè)點(diǎn)，在另一幅圖像中找出配對(duì)的8 個(gè)點(diǎn)。用8 對(duì)點(diǎn)計(jì)算得到一個(gè)單應(yīng)性變矩陣，將基準(zhǔn)圖中剩余的特征點(diǎn)按照單應(yīng)性矩陣變換投影到另一幅圖像，統(tǒng)計(jì)配對(duì)點(diǎn)的個(gè)數(shù)。

重復(fù)上述步驟2000 次，得到準(zhǔn)確配對(duì)最多的一個(gè)單應(yīng)性矩陣。至此，兩幅圖像的投影變換關(guān)系已經(jīng)找到。

在做圖像投影前，要先新建一個(gè)空白畫布。比較投影后兩幅圖像的2 維坐標(biāo)的上下左右邊界，選取各個(gè)方向邊界的最大值作為新圖像的尺寸。同時(shí)，計(jì)算得到兩幅圖像的交叉區(qū)域。在兩幅圖像的交叉區(qū)域，按照交叉溶解(cross-dissolve)的方法制作兩塊如圖6 所示的蒙版，3 個(gè)通道的像素值再次區(qū)間內(nèi)遞減(遞升)。效果如圖6 所示。

將相鄰的圖像依次進(jìn)行拼接，最終合成茶杯完整的側(cè)面圖像，如圖7 所示。

4 裂紋重建

圖6 相鄰兩個(gè)圖像拼接的效果圖Fig.6 The effect of stitching two adjacent images

圖7 依次拼接形成的完整的側(cè)面圖像Fig.7 The complete side image formed by successive stitching

借鑒張衛(wèi)正等[17]所提出的通過統(tǒng)計(jì)像素值進(jìn)行圖像裁剪方法，對(duì)完整的茶杯拼接圖像進(jìn)行裁剪并保留裂紋區(qū)域。采用Matlab 中的rgb2gray()函數(shù)進(jìn)行圖像灰度化，通過直方圖分析發(fā)現(xiàn)圖像的灰度值較多的集中在中間區(qū)域，將該區(qū)域的灰度值通過灰度插值的方式擴(kuò)展為0—255 的值域。增強(qiáng)了動(dòng)態(tài)顯示范圍，更有利于后續(xù)的二值化處理。采用Matlab 工具箱中的函數(shù)im2bw 結(jié)合閾值(threshold)變換法把灰度圖像轉(zhuǎn)換成二值圖像，其中threshold 由graythresh 函數(shù)獲得。

采用bwmorph(BW,operation,n)對(duì)二值圖像進(jìn)行數(shù)學(xué)形態(tài)學(xué)中的細(xì)化處理。其中，BW 為二值化圖像；形態(tài)學(xué)處理類型operation 為 'thin'(即細(xì)化算子)；n 為Inf(無窮大)，將一直對(duì)該圖像做形態(tài)學(xué)細(xì)化處理直到圖像不再細(xì)化，如圖8 所示。

圖8 裂紋的骨架細(xì)化Fig.8 Frame detailing of porcelain cracks

保存該細(xì)化圖像。細(xì)化線由裂紋的像素點(diǎn)構(gòu)成，將組成細(xì)化線的像素點(diǎn)進(jìn)行圓柱面卷曲，從不同的視角對(duì)裂紋點(diǎn)進(jìn)行顯示，如圖9 所示。從而實(shí)現(xiàn)裂紋點(diǎn)的三維顯示及重建。

圖9 瓷器裂紋的三維顯示Fig.9 Three-dimensional display of porcelain cracks

5 結(jié)果與分析

為了評(píng)價(jià)測(cè)量精度，采用人工拼接方法，通過Matlab 將所采集的旋轉(zhuǎn)平臺(tái)上的茶杯視頻轉(zhuǎn)換成圖像幀(600 幀)，分析旋轉(zhuǎn)平臺(tái)的轉(zhuǎn)速為20 S/周及手機(jī)視頻的幀速率為30 fps。分析得到，相鄰兩幀之間的位移為3 個(gè)像素，從第一幀圖像開始，截取圖像中茶杯的中部的第602—604 列，作為合成圖像的第 1—3 列；依次截取下一幀圖像的第602—604 列，順序連接到合成圖像中，直至第600幀圖像，完成合成圖像的拼接，如圖10 所示。

圖10 人工拼接的茶杯側(cè)面圖像Fig.10 The side image of the artificially stitched teacup

圖像幀中圓柱形茶杯直徑約為508 像素，周長(zhǎng)應(yīng)為1596 像素；而采用手工拼接的方法得到的茶杯圓柱面拼接圖像長(zhǎng)度為1800 像素，其拼接精度可以簡(jiǎn)單的衡量為88.67 %(即1596 與1800 的比值)。本文所提出的圖像拼接方法得到的拼接圖像的長(zhǎng)度為1697 像素，其拼接精度為94.05 %(即1596 與1697 的比值)。

為確定該算法的泛化能力，使用同類型但釉色有差異的10 個(gè)樣本裂紋瓷杯進(jìn)行圖像采集和拼接，如圖11 所示。

對(duì)本文所提出的拼接方法效果做評(píng)估，如表1所示。拼接精度達(dá)到93 %以上，具有較高的精度和有效性。

圖11 采用本文所提出的方法得到裂紋瓷杯的拼接圖像Fig.11 Mosaic image of the cracked porcelain cup using the method proposed in this article

表1 圖像拼接的精度評(píng)定Tab.1 Accuracy evaluation of image mosaic

將彩色裂紋圖像轉(zhuǎn)換為黑白細(xì)化圖像，少數(shù)的細(xì)化線存在斷裂的現(xiàn)象。究其原因，應(yīng)該是采集視頻的光線有頂部的兩個(gè)LED 燈帶提供，使得底部照明強(qiáng)度略低于頂部。雖經(jīng)過圖像二值化及擴(kuò)展動(dòng)態(tài)顯示范圍，光照不均還是產(chǎn)生了影響。后續(xù)要采用自適應(yīng)校正算法處理光照不均勻的問題，也要結(jié)合濾波算法在盡量保留圖像細(xì)節(jié)特征的條件下對(duì)圖像的噪聲進(jìn)行抑制。

通過視頻幀的裁剪及Harris 角點(diǎn)檢測(cè)及圖像拼接，獲得了完整的茶杯側(cè)面拼接圖像，為后續(xù)的釉色分析及瓷器紋理建模及識(shí)別提供了基礎(chǔ)。通過常用的圖像灰度化及二值化處理獲得。裂紋的二值化圖像，由于圖像較大及裂紋像素點(diǎn)較多(十多萬個(gè)像素點(diǎn))不便于三維顯示及分析。本文采用形態(tài)學(xué)中的細(xì)化算法對(duì)裂紋進(jìn)行骨架細(xì)化，便于后續(xù)進(jìn)行裂紋的形態(tài)學(xué)顯示和拓?fù)浞治?。本文?duì)裂紋圖像的處理及分析所需時(shí)間短，具有實(shí)時(shí)性和魯棒性，應(yīng)用于茶杯等裂紋瓷的分析具有一定的實(shí)用價(jià)值。

6 結(jié)論

本文以具有裂紋釉的龍泉青瓷茶杯為研究對(duì)象，提取瓷器的多個(gè)側(cè)面圖像。采用Harris 角點(diǎn)檢測(cè)、圖像配準(zhǔn)和拼接，將多側(cè)面圖像拼接為一個(gè)完整的展開圖像。精度達(dá)到了93 %以上，高于手工拼接的精度。通過圖像灰度化、二值化及形態(tài)學(xué)細(xì)化處理，將裂紋進(jìn)行三維顯示，可為后續(xù)的裂紋形態(tài)學(xué)顯示和拓?fù)浞治鎏峁┲?。本文的處理流程提高了裂紋瓷圖像拼接的自動(dòng)化程度，為裂紋瓷及其他開片瓷器的圖像拼接、紋理檢測(cè)及裂紋三維分析提供支持，具有較強(qiáng)的創(chuàng)新性和實(shí)用性。