基于機器視覺技術的古陶瓷器型三維還原算法

張瑞瑞，周 強，王 瑩，羅宏杰，張 靜，王 芬

(1.陜西科技大學電氣與控制工程學院，西安 710021；2.陜西科技大學材料科學與工程學院，西安 710021； 3.上海大學材料科學與工程學院，上海 200444)

0 引 言

我國陶瓷歷史源遠流長，文物資源豐富。隨著我國人民物質生活的不斷提高，愈來愈多的人對陶瓷文物產生了興趣，古陶瓷的鑒定、保護和傳承日益重要。在古陶瓷的鑒定過程中，產品的斷源斷代最為關鍵[1]，其技術難度也最高。自古以來主要的斷源斷代方法是利用“眼緣”[2]，即依靠鑒定人員長期積累下來的經驗來判斷，不可避免地融入主觀因素的影響，更重要的是缺乏多元信息數(shù)據(jù)管理與大數(shù)據(jù)分析，致使隱藏在其中的許多有用信息被忽略或誤讀，這嚴重影響到古陶瓷技術的傳承與發(fā)揚光大。

在多元的陶瓷產品信息中，產品器型具有鮮明的時代和地域特征，因此古陶瓷器型在鑒定中發(fā)揮著無可比擬的作用[3]。尤其是在當今的信息化時代，數(shù)字化的古陶瓷器型能夠通過特征提取和分析，總結各個歷史時期與不同窯口器物的結構特征，發(fā)現(xiàn)古陶瓷器型演變規(guī)律，為古陶瓷斷源斷代和真?zhèn)握鐒e提供參考依據(jù)，且對于深入研究陶瓷器型藝術特征與文化、審美之間的關系，甚至陶瓷器型與金屬、玻璃器型之間的關系等，都十分重要。

但是由于古陶瓷產品器型的多樣性和復雜性，使得精確提取陶瓷器型難度大，效率低，常規(guī)的測量方法通常難以獲得器型的真實參數(shù)。而且大多古陶瓷真品保存在各大博物館及私人收藏家之手，出于安全或隱私的考慮，這些陶瓷產品的擁有者或單位一般不愿意將其價格昂貴的古陶瓷接受儀器設備的掃描和數(shù)據(jù)采集，即使勉強同意也必須經過繁瑣復雜的手續(xù)，使得古陶瓷數(shù)據(jù)三維掃描舉步維艱。這些都造成了在當今信息膨脹的大數(shù)據(jù)時代，古陶瓷器型數(shù)字化資料嚴重欠缺的問題，從而嚴重制約了器型大數(shù)據(jù)研究的進程。

近年來，利用機器視覺技術將二維圖像信息精確地還原為三維器型模型，已經成為古陶瓷研究的一個新方向。吳雋等[4]在撇口碗的曲線擬合方面做了一定工作，熊露等[5]對撇口碗的邊緣特征進行了一定研究。雖然已經有不少研究者嘗試利用各種圖像處理方法獲得古陶瓷器型，但是由于二維圖像不同程度地存在圖像畸變、圖像背景復雜以及圖像質量差別大等問題，使得提取到的器型模型誤差大，還原出的三維器型變形嚴重。這些問題長期難以突破已經成為古陶瓷器型三維還原技術發(fā)展的桎梏。

為此，本文在解決復雜背景下輪廓提取、圖像畸變校正等技術瓶頸的前提下，研制了一套基于機器視覺技術的古陶瓷器型三維還原算法，該算法能夠通過圖像增強、畸變補償及曲線非線性擬合等機器視覺和模式識別技術構建古陶瓷器型的精確模型，以少量的參數(shù)獲取完整的古陶瓷器型信息。

1 三維還原算法的結構

古陶瓷器型三維還原算法主要包括器型圖像增強、圖像畸變校正、古陶瓷器型建模和古陶瓷器型三維重現(xiàn)等模塊。算法流程框圖如圖1所示。

圖1 古陶瓷器型三維還原算法工作原理圖Fig.1 Working principle diagram of 3D reduction algorithm for ancient ceramic vessel type

2 器型三維還原技術

2.1 低質量圖像的器型邊緣輪廓圖像增強

從二維圖像中精確提取古陶瓷器物輪廓是器型三維還原的第一步，但是由于目前形式多樣、版本眾多的古陶瓷圖像普遍存在圖像像素低、成像模糊、陶瓷器物與背景對比度低等圖像質量問題，由這樣的圖像還原出來的三維模型與真實古陶瓷器型相差甚遠，精度極低，甚至根本無法獲得三維模型。為此，本算法先使用小波變換對圖像進行邊緣增強，提高古陶瓷邊緣可辨識度，對古陶瓷邊緣輪廓實現(xiàn)清晰提取和準確定位，具體過程為：

(1)原始圖像的小波分解。

利用式(1)、式(2)對原始圖像大小為M×N的圖像f(x,y)進行二維離散小波變換，將原始圖像分解成為含有圖像輪廓信息的低頻子圖像帶和以背景噪聲為主的高頻子圖像帶。

(1)

(2)

(2)濾除圖像中的背景噪聲成分

(3)

最后利用公式(3)的小波逆變換公式合成邊緣增強后的圖像[8]，可實現(xiàn)對圖像邊緣增強，達到突出陶瓷器物圖像邊緣輪廓的目的[9]。

2.2 基于二維透視變換的二維圖像自適應視角校正

相機在二維成像時，由于拍攝角度、距離以及鏡頭差異等問題所造成的圖像畸變現(xiàn)象，給器型的三維還原精度帶來巨大的影響。為此本文提出一種利用橢圓霍夫變換的圖像拍攝角度估計方法，精確估計相機相對于圖像各個區(qū)域的拍攝角度，并在此基礎上利用透視變換方法實現(xiàn)二維圖像分區(qū)畸變補償。具體步驟如下：

(1)根據(jù)古陶瓷的輪廓圖像，提取其頂部和底足部分輪廓曲線；

(2)使用基于霍夫變換的橢圓輪廓檢測算法[10]，擬合輪廓圖像頂部和底足橢圓模型[11]；

(3)根據(jù)橢圓計算出該圖像的拍攝角度。角度計算過程如圖2所示。

圖2 拍攝角度幾何模擬圖Fig.2 Geometric simulation of shooting Angle

在理想條件下，假設相機為平行入射光線，相機以θ角度拍攝半徑為m的陶瓷器型時，該器型頂部pqvw面在ABCD平面成像為一橢圓，拍攝角度可由式(4)計算得到，同理根據(jù)輪廓線提取器物下邊沿輪廓線同樣可以得出對于古陶瓷下邊緣的拍攝角度θ下。

θ≈arcsin(b/a)

(4)

式中：a與b由圖2中模型測量得到。

(4)圖像縱向畸變矯正。根據(jù)上下兩個角度θ上和θ下，可以估計古陶瓷二維平面每一水平截面的成像角度θi，利用式(5)對原始圖像進行縱向的畸變矯正，式(5)中，l和l' 分別為矯正前后縱向尺寸。

l'=l/cos(arcsinθi)

(5)

(5)圖像水平方向的畸變校正。采用透視變換算法[12]，根據(jù)畸變圖像所在空間與標準圖像空間線性對應的思想，通過透視變換矩陣，對圖像鏡頭所造成的橫向畸變進行校正，如式(6)所示。

(6)

2.3 基于神經網絡技術的古陶瓷器形側邊緣建模

對經過畸變矯正后的古陶瓷邊緣輪廓圖像提取側邊緣輪廓基線，構建該基線的數(shù)學模型。該側邊緣輪廓模型的準確性，直接影響三維建模的效果。由于神經網絡在原則上可以逼近任意非線性曲線，因此本文利用BP(Back Propagation)神經網絡實現(xiàn)對古陶瓷側邊緣輪廓基線的精確建模。

構建輸入層、隱藏層和輸出層3層神經網絡[17]。其中網絡的輸入層和輸出層均為1個節(jié)點，即輸入層接收為1×1的側邊緣曲線橫坐標數(shù)據(jù)，輸出層對應生成1×1的側邊緣曲線預測的縱坐標數(shù)據(jù)。隱藏層激活函數(shù)選用非線性的Sigmoid函數(shù)對輸入輸出數(shù)據(jù)進行非線性映射。在構建網絡隱層節(jié)點個數(shù)時，為了保證在網絡的誤差收斂到盡可能小的前提下，能夠減少網絡的訓練時間，同時避免網絡對樣本的過擬合現(xiàn)象，經多次實驗調整網絡參數(shù)，最終選定使用30個神經元節(jié)點用于隱藏層神經網絡結構搭建。為了保證訓練精度，設定網絡迭代次數(shù)為500次，訓練過程中均為誤差(MSE)收斂到0.001為止。

將樣本和標簽不斷送入構建的BP網絡中，通過對信號的正向傳播和基于誤差的參數(shù)反饋修改，網絡根據(jù)偏差不斷向梯度下降的方向，迭代調整各神經元節(jié)點的權值和閾值，直至誤差降到目標范圍內。這里直接給出本文神經網絡傳遞公式，如式(7)、(8)所示。

y'l=f(w1lxi),l=1,2,…,L

(7)

(8)

式中:xi表示輸入數(shù)據(jù)，這里表示i個橫坐標;y'l表示隱藏層中L個神經元對應的輸出;yi表示輸出結果，這里表示i個由橫坐標獲取的縱坐標;w表示權值，f表示網絡的激活函數(shù)。

圖3 算法流程框圖Fig.3 Flow diagram of algorithm

BP網絡建模的關鍵是訓練樣本和標簽的獲取。本文使用的樣本和標簽為側邊緣輪廓線對應的橫縱坐標。將古陶瓷原始圖像進行輪廓線提取和畸變矯正等處理后，根據(jù)輪廓邊緣曲率變化對校正后的古陶瓷輪廓圖像分別提取其左上、右上、左下和右下端點作為兩條側邊緣輪廓線的起止端點，以此獲取其準確的側邊緣曲線。之后再通過四個端點獲取對稱的中心軸線并以其為x軸，提取任意一條側邊緣輪廓線上的每一個像素點，映射其對應x軸的橫縱坐標值，作為BP網絡的訓練樣本，用于本文BP網絡的樣本及標簽訓練。

2.4 古陶瓷三維重現(xiàn)

BP神經網絡建立的古陶瓷側邊緣輪廓曲線模型包含著旋轉體古陶瓷器型的完整信息，可以作為器型的原始數(shù)據(jù)保存，因此可以通過該曲線模型，繞器型中心軸線旋轉獲取器型三維模型，即為最終古陶瓷器型三維重現(xiàn)模型。

2.5 古陶瓷器型三維重建算法流程

本文算法完整的流程圖如圖3所示。流程中k用來表示圖像增強算法的使用次數(shù)，而交互式提取模塊則是屬于自動曲線提取不夠精確時的輔助手段。其具體步驟如下：

(1)對讀取的原始圖像使用小波變換，在銳化增強輪廓的同時對圖像降噪，再使用邊緣檢測算法提取圖像邊緣輪廓，圖像增強算法可重復使用達到最佳效果，這里設定上限最多為三次，超出上限后使用交互式提取算法輔助提??；

(2)對提取的輪廓圖像執(zhí)行視角畸變校正算法，獲取矯正之后的古陶瓷輪廓圖像；

(3)對校正后的圖像提取側邊緣輪廓基線，同時在程序中使用交互式操作輔助提取算法對其進行增強；

(4)將提取的側邊緣輪廓線使用神經網絡建模，之后對其繞中軸線旋轉，獲取該旋轉體古陶瓷圖像的三維模型。

3 計算機實驗與分析

使用上海大學文物器型非接觸數(shù)字化掃描測量設備(SDGTC-2017)對古陶瓷器物進行三維模型掃描，以所獲得的古陶瓷實物標準的點云數(shù)據(jù)作為標準尺寸，用于驗證本文方法的準確性。

3.1 三維還原算法工作過程

本實驗以常見的玉壺春瓶和采桑葡罐的二維圖像作為還原對象，詳細展示古陶瓷從二維圖像到三維模型的完整還原過程。通過對二維圖像的輪廓增強、視角畸變矯正、側邊緣輪廓曲線建模和器型三維重現(xiàn)等步驟完成對陶瓷器型的三維還原。還原步驟如圖4和圖5所示。Sample 1與Sample 2分別代指玉壺春瓶與采桑葡罐。

圖4 玉壺春瓶三維還原步驟Fig.4 Steps of 3D restoration of the sample 1

圖5 采桑葡罐三維還原步驟Fig.5 Steps of 3D restoration of the sample 2

3.2 對本算法關鍵技術作用的分析

3.2.1 自適應視角矯正技術對提高三維還原精度的作用

通過仿真實驗，分別采用本文的自適應視角矯正算法和傳統(tǒng)畸變矯正算法提取古陶瓷側邊緣輪廓，然后對比二者的精度。實驗結果如圖6所示，圖中的左右兩條紅色曲線為標準的玉壺春瓶側邊緣輪廓曲線，它是根據(jù)三維掃描儀獲取的實物標準點云數(shù)據(jù)由插值函數(shù)擬合而成；左邊的藍色曲線為采取傳統(tǒng)的視角矯正方法對二維圖像進行處理后獲得的玉壺春瓶側邊緣輪廓曲線；右側的藍色曲線為采用本文的視角矯正算法對二維圖像進行處理后獲取的玉壺春瓶側邊緣輪廓曲線。

對比發(fā)現(xiàn)：本文算法對于提高曲線擬合誤差較大區(qū)域(圖6中圈出部分)的擬合精度作用十分顯著，使得整個陶瓷邊緣輪廓曲線的擬合誤差由原來2.6%下降為0.8%。

3.2.2 神經網絡技術提高三維還原精度

為了驗證BP神經網絡擬合曲線的精度，通過實驗對比本文的神經網絡算法與傳統(tǒng)多項式插值函數(shù)，比較兩種方法在構建古陶瓷側邊緣模型上的精度差別。圖7(a)為使用古陶瓷側邊緣曲線的樣本數(shù)據(jù)訓練BP網絡時，MSE誤差隨迭代訓練的收斂曲線。圖7(b)為使用以上兩種方法構建的采桑葡罐側邊緣輪廓曲線建模的效果圖。

由圖7(a)可知，500次迭代后，曲線MSE誤差只有5.12×10-3左右，而由圖7(b)可以看出，兩種方法對采桑葡罐側邊緣建模的整體效果都比較好，但通過圖8構建的采桑葡罐側邊緣局部輪廓細節(jié)模型效果圖可看出，本文方法構建的曲線模型更為逼近采桑葡罐的頸部、尾部以及底座等形狀較為奇異部分的輪廓細節(jié)，數(shù)據(jù)表明，其模型擬合精度的均方誤差(MSE)僅為5.12×10-3，遠小于傳統(tǒng)方法的均方誤差(MSE)1.82×10-2，為實現(xiàn)古陶瓷的三維精確還原打下堅實基礎。

圖6 對玉壺春二維圖像側邊緣輪廓線畸變校正效果對比Fig.6 Compares of distortion correction effect of side edge contour curve of the 2D image of sample 1

圖7 BP網絡訓練過程誤差曲線(a)和采用2種方法構建的采桑葡罐側邊緣輪廓曲線模型的效果圖(b)Fig.7 Error curve of BP network training process (a) and effect diagrams of side edge contour curve model of sample 2 with two methods

圖8 采用本文及傳統(tǒng)方法構建的采桑葡罐側邊緣局部輪廓細節(jié)模型的效果圖Fig.8 Effect diagrams of side edge contour local detail model of sample 2 by using this paper's method and traditional method

3.3 三維還原算法精度實驗

3.3.1 黑底紅紋小嘴瓶和采桑葡罐圖像三維還原實驗

對黑底紅紋小嘴瓶和采桑葡罐二維圖像構建器型模型和器型三維重現(xiàn)的過程分別如圖9與圖10所示。為了驗證算法還原精度，從三維掃描儀掃描實物獲得的點云坐標數(shù)據(jù)中等間距提取50個點作為標準數(shù)據(jù)，用于檢驗算法構建器型模型的精度。Sample 3代指黑底紅紋小嘴瓶。

圖9 黑底紅紋小嘴瓶三維還原對照圖Fig.9 3D reduction control diagram of sample 3

圖10 采桑葡罐三維還原對照圖Fig.10 3D reduction control diagram of sample 2

3.3.2 黑底紅紋小嘴瓶和采桑葡罐圖像三維還原的魯棒性和精確性實驗

通過改變拍攝角度、拍攝距離獲得不同古陶瓷二維圖像，用以驗證該算法三維還原的精確性和魯棒性。

具體測試數(shù)據(jù)如表1所示。其中測試距離為相機鏡頭距離古陶瓷中心距離，測試角度為鏡頭中心對準古陶瓷器物中心時鏡頭與水平地面之間的夾角，使用可取度表述不同條件圖片的成像質量，H_NRMSD為縱向正規(guī)化均方根誤差百分數(shù)，W_NRMSD為水平方向正規(guī)化均方根誤差百分數(shù)。

將拍攝的不同距離、不同角度下的兩種器型圖像，使用本文算法流程獲取其三維還原模型與標準模型數(shù)據(jù)對比，分析發(fā)現(xiàn)本算法在H_NRMSD和W_NRMSD指標下的誤差均在1.7%以內，可知本算法利用二維圖像還原三維器物的還原精度高，其適應拍攝條件變化的魯棒性強，克服了傳統(tǒng)三維還原方法中無法徹底解決的圖像畸變、輪廓模型非線性等技術難題。

表1 黑底紅紋小嘴瓶和采桑葡罐測試數(shù)據(jù)Table 1 Test data of the sample 3 and sample 2

續(xù)表

3.3.3 玉壺春瓶圖像三維還原的精度實驗

為了進一步檢驗該算法的還原精度，使用上海大學文物器型非接觸數(shù)字化掃描測量設備和市面上的先進三維掃描儀EinScan-SP兩種三維掃描儀分別對玉壺春瓶進行掃描，下文分別記為1號和2號掃描儀，綜合兩組點云數(shù)據(jù)提取的高度數(shù)據(jù)和側邊緣輪廓數(shù)據(jù)并與本文算法提取的數(shù)據(jù)進行對比分析，實驗測試數(shù)據(jù)如表2所示，以1號獲得的數(shù)據(jù)為標準值檢驗并對比本文方法和2號三維掃描儀的精度。表2中H1、W1表示本文算法構建的陶瓷器型輪廓模型在豎直和水平兩個方向的精度，H2、W2表示2號三維掃描儀獲取數(shù)據(jù)在豎直和水平兩個方向的精度。

表2 玉壺春瓶測試數(shù)據(jù)Table 2 Test data of the sumple 1

根據(jù)表2測試數(shù)據(jù)可知，本文算法對器型側邊緣建模精度相比2號掃描儀更逼近1號標準數(shù)據(jù)，由圖11能更直觀地看到這一結論。

圖11 玉壺春瓶側邊緣三組對照數(shù)據(jù)Fig.11 Comparison data of three groups of side edges of the sample 1

4 結 論

通過對器型圖像增強、圖像畸變校正、古陶瓷器型建模和古陶瓷三維重現(xiàn)等一系列算法的研究，獲得了完整的古陶瓷器型三維還原算法。實驗表明當拍攝角度從-10°～10°范圍內，分辨率在4萬像素以上時，本算法能以低于1.7%的誤差精確還原陶瓷器物的三維模型。大大方便了古陶瓷的分析研究和復原展示工作，為古陶瓷器型研究提供了一種新方法。