基于紋理的三維書(shū)籍模型單側(cè)頁(yè)面提取方法

童立靖，王鳳鶴，李 斌

基于紋理的三維書(shū)籍模型單側(cè)頁(yè)面提取方法

童立靖，王鳳鶴，李 斌

(北方工業(yè)大學(xué)計(jì)算機(jī)學(xué)院，北京 100144)

模型分割在實(shí)際工程中有重要的應(yīng)用價(jià)值。針對(duì)三維書(shū)籍模型的點(diǎn)云分割，提出了一種基于紋理的單側(cè)書(shū)籍頁(yè)面提取方法。對(duì)于獲取的三維書(shū)籍模型以及散亂紋理圖像，首先將模型的散亂紋理轉(zhuǎn)化為有序紋理，將像素值從RGB空間轉(zhuǎn)換到HSI空間，根據(jù)H(色調(diào))和I(亮度)去掉模型背景點(diǎn)云；然后根據(jù)書(shū)脊線像素在有序紋理圖像中的分布特性，計(jì)算紋理圖像中的書(shū)脊線，再利用最小二乘法擬合出書(shū)脊線的三維空間方程，進(jìn)而求出分割左右頁(yè)面的空間平面，最終完成單側(cè)頁(yè)面的提取。實(shí)驗(yàn)結(jié)果表明，該方法針對(duì)三維書(shū)籍模型能夠快速穩(wěn)定地提取出單側(cè)頁(yè)面，具有較高的準(zhǔn)確性。

頁(yè)面提??；點(diǎn)云分割；HSI色彩空間；書(shū)籍模型；最小二乘法

三維書(shū)籍模型的單側(cè)頁(yè)面提取，是三維圖書(shū)模型進(jìn)行光學(xué)字符識(shí)別(optical character recognition，OCR)的關(guān)鍵一步，主要依據(jù)點(diǎn)云分割的方法對(duì)三維模型進(jìn)行切分[1]。

目前提出的點(diǎn)云分割算法[2]主要分為：基于區(qū)域增長(zhǎng)的、基于屬性的和基于模型的分割方法等?；趨^(qū)域增長(zhǎng)的分割算法[3-4]實(shí)質(zhì)上是將鄰近區(qū)域內(nèi)有相似性質(zhì)的點(diǎn)連接起來(lái)構(gòu)成獨(dú)立的分割區(qū)域，并認(rèn)為不同區(qū)域間有較大差異。該方法以種子曲面作為起點(diǎn)，通過(guò)測(cè)試某一未被分類的點(diǎn)，判斷該點(diǎn)是否能構(gòu)成種子表面，對(duì)能夠形成曲面的點(diǎn)擬合出一個(gè)平面方程，再判斷該點(diǎn)是否能夠納入平面。該方法抗噪聲能力強(qiáng)，但過(guò)于依賴種子的選取策略，很難得到確定的分割模型?；趯傩缘姆指钏惴╗5-6]中每個(gè)點(diǎn)都與一個(gè)特征向量相關(guān)，在特征空間中通過(guò)聚類分割點(diǎn)云模型。此方法對(duì)性能和時(shí)間的要求較高，不適合處理大量數(shù)據(jù)，因此在實(shí)際的應(yīng)用范圍受到局限。基于模型的分割算法根據(jù)幾何模型將具有相同數(shù)學(xué)表達(dá)式的點(diǎn)云歸類到同一區(qū)域，較為經(jīng)典的方法是隨機(jī)抽樣一致性估計(jì)算法(random sample consensus，RANSAC)[7]，這是用來(lái)檢測(cè)數(shù)學(xué)特征的一種魯棒性算法，但此算法只能處理規(guī)則幾何形狀的人造物體或場(chǎng)景，不適用于點(diǎn)云數(shù)量較多、形狀較為復(fù)雜的模型分割。

針對(duì)以上問(wèn)題，本文對(duì)三維書(shū)籍模型的單側(cè)頁(yè)面提取，提出了一種結(jié)合書(shū)籍模型紋理圖像的單側(cè)頁(yè)面點(diǎn)云分割方法。實(shí)驗(yàn)表明，該算法能夠穩(wěn)定地提取單側(cè)書(shū)籍頁(yè)面，且具有較好的準(zhǔn)確度。

1 算法的思路

三維掃描儀掃描的三維模型包括點(diǎn)云數(shù)據(jù)和紋理圖像。點(diǎn)云數(shù)據(jù)通常包含點(diǎn)云的三維坐標(biāo)、紋理映射點(diǎn)對(duì)[8]和組成模型網(wǎng)格的三角形頂點(diǎn)索引；紋理圖像描述的是紋理映射的像素信息，在紋理圖像中是散亂的。某書(shū)籍的三維模型如圖1所示。

圖1 某書(shū)籍的三維模型

本文的算法思路為：首先將書(shū)籍模型的散亂紋理轉(zhuǎn)變?yōu)橛行蚣y理。先確定要轉(zhuǎn)變的有序紋理的大小，初始化為灰色，找到每個(gè)三角面片上3個(gè)頂點(diǎn)及面片中的點(diǎn)在散亂紋理中的像素值，填充得到有序紋理圖像；然后，掃描有序紋理圖像找到背景的像素點(diǎn)，從而去掉模型背景點(diǎn)云；最后，根據(jù)有序紋理圖像中脊線像素點(diǎn)位置，使用最小二乘法擬合出空間書(shū)脊線進(jìn)而求解分割左右頁(yè)面的空間平面方程，完成書(shū)籍模型的單側(cè)頁(yè)面提取。本文的算法流程如圖2所示。

圖2 算法流程圖

2 三維模型的背景去除

2.1 有序紋理的獲取

在進(jìn)行頁(yè)面提取之前，先將書(shū)籍模型的散亂紋理圖像轉(zhuǎn)變?yōu)橛行虻亩S紋理圖像。三維模型由空間網(wǎng)格及其附屬于網(wǎng)格的紋理圖像構(gòu)成，在三維模型文件中，存有網(wǎng)格各端點(diǎn)的空間三維坐標(biāo)、其在二維無(wú)序紋理圖像中的平面坐標(biāo)、及其對(duì)應(yīng)關(guān)系數(shù)據(jù)。將三維模型網(wǎng)格進(jìn)行平面投影，根據(jù)模型文件中端點(diǎn)的三維坐標(biāo)與二維無(wú)序紋理坐標(biāo)的對(duì)應(yīng)關(guān)系，可以得到投影圖像各端點(diǎn)的紋理坐標(biāo)，并可將無(wú)序紋理圖像中端點(diǎn)構(gòu)成的三角形區(qū)域的像素信息映射到投影端點(diǎn)的三角形區(qū)域，從而獲取有序的投影紋理圖像。對(duì)于兩個(gè)三角形內(nèi)部像素的映射，可依紋理映射關(guān)系進(jìn)行計(jì)算，具體步驟為：

步驟1.有序紋理大小的確定和圖像初始化。

為方便計(jì)算，首先將模型點(diǎn)云的空間坐標(biāo)平移到第一象限，然后根據(jù)、坐標(biāo)軸方向的最大、最小值，選取一定的比例關(guān)系，確定生成的有序紋理圖像大小，即

確定了有序紋理圖像的大小后將圖像初始化為灰色(128,128,128)。

步驟2. 點(diǎn)云模型三角形面片頂點(diǎn)對(duì)應(yīng)的紋理圖像像素的信息提取。

計(jì)算三角形面片頂點(diǎn)在有序的二維紋理圖像中的位置，即

其中，?、?為計(jì)算后頂點(diǎn)像素信息需要保存在有序紋理圖像中的位置，、為點(diǎn)云橫縱坐標(biāo)上的位置。存儲(chǔ)的像素位置為整數(shù)值，因此在計(jì)算像素位置時(shí)四舍五入。

步驟3.點(diǎn)云模型三角形面片內(nèi)部像素信息的提取與保存。

由式(3)可得如下映射矩陣

于是有：

對(duì)于符合條件(1)和(3)情況的像素點(diǎn)，根據(jù)映射矩陣和式(3)即可更新有序紋理圖像中的像素信息。遍歷各三角形網(wǎng)格，完成整幅有序紋理圖像的像素填充。

某書(shū)籍模型獲取的有序紋理圖像如圖3所示。

圖3 有序紋理圖像

2.2 基于HSI空間的模型背景去除

受照度、陰影等因素的影響，有序紋理圖像中模型背景各像素點(diǎn)的RGB值并不完全一致，為了去除三維模型的背景點(diǎn)云，本文將紋理圖像從RGB顏色空間轉(zhuǎn)換到HSI顏色空間[9]，根據(jù)書(shū)籍與背景紋理的H和I的不同特性，完成對(duì)背景點(diǎn)云的切分。具體步驟為：

步驟1.遍歷模型的三角面片，對(duì)于式(5)確定在三角面片投影圖像中的像素點(diǎn)，獲取其RGB信息，通過(guò)式(6)~(8)將其轉(zhuǎn)換到HSI顏色空間，即

步驟2.根據(jù)每一個(gè)三角面片投影圖像中像素轉(zhuǎn)換到HSI空間后的值和值，當(dāng)滿足式(9)時(shí)判定此點(diǎn)為背景點(diǎn)云，并刪除該點(diǎn)所在面片，完成書(shū)籍模型的背景去除，即

3 單側(cè)頁(yè)面的分割

為將書(shū)籍模型的左右頁(yè)面分開(kāi)，保留單側(cè)頁(yè)面，首先需要獲取二維紋理圖像中書(shū)脊線的像素位置；然后將二維圖像的像素位置映射到三維模型中，擬合出一條空間上的書(shū)脊線；最后確定分割書(shū)籍左右頁(yè)面的空間平面方程，切割單側(cè)頁(yè)面。

3.1 紋理圖像中書(shū)脊線的獲取

本文根據(jù)紋理圖像中像素點(diǎn)顏色特征來(lái)計(jì)算書(shū)脊線在有序紋理圖像上的位置。在三維掃描儀實(shí)際掃描過(guò)程中，由于曲面凹陷較深，會(huì)出現(xiàn)空間網(wǎng)格的空缺，并且在從三維模型提取有序紋理圖像的過(guò)程中，除書(shū)籍本身外，其余區(qū)域均被設(shè)置為灰色，使書(shū)脊線處出現(xiàn)較為明顯的灰色條帶狀紋理。為了減少計(jì)算復(fù)雜度，掃描有序紋理圖像的中心區(qū)域，尋找灰色像素點(diǎn)，若其后跟隨有個(gè)連續(xù)的灰色像素點(diǎn)，則該點(diǎn)為書(shū)脊線位置。

3.2 二維書(shū)脊線的三維映射

其中，0、0、0為直線上的某一點(diǎn)坐標(biāo)值；(,,1)為方向矢量，具體待求。

令

則式(11)可以寫(xiě)成

考慮空間直線的平面投影為最佳估計(jì)，則其對(duì)和的偏導(dǎo)數(shù)為0，可解出和，即

同理，式(17)對(duì)和求偏導(dǎo)，式(18)對(duì)和求偏導(dǎo)，可依次解出其值。

式(13)~(15)的兩兩組合可構(gòu)成3條直線，選取離書(shū)脊線各點(diǎn)距離平方和最小的直線作為書(shū)脊線的空間擬合直線，其方法為：

將式(20)代入式(21)中，化簡(jiǎn)可得

則垂點(diǎn)的軸上的值為

將式(23)代入式(20)可得x,y。

同理可計(jì)算書(shū)脊線各點(diǎn)到另外兩條空間直線的距離平方和2、3。

3.3 左右頁(yè)面的分割

根據(jù)點(diǎn)法式方程，平面p可得

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)環(huán)境為：Inter(R) Core(TM) i7-3770 CPU @ 3.4 GHz，8 GB內(nèi)存，Windows 7 32位操作系統(tǒng)，Microsoft Visual Studio 2005。使用語(yǔ)言為C++和OpenGL。本實(shí)驗(yàn)所使用的三維書(shū)籍模型由美國(guó)Artec 3D EVA手持式三維彩色掃描儀和美國(guó)Artec Spider手持式高精度三維掃描儀掃描得到。

4.2 結(jié)果分析

4.2.1 功能性實(shí)驗(yàn)

圖4顯示了使用本文的基于紋理特征的分割算法進(jìn)行的三維書(shū)籍模型單側(cè)頁(yè)面提取的分割步驟，圖4(a)為未處理過(guò)的原始模型，包括一些不均勻的背景。圖4(b)為根據(jù)紋理特征去掉背景之后的書(shū)籍模型。圖4(c)為根據(jù)紋理特征找到的模型書(shū)脊線，圖4(d)為切割后的書(shū)籍單側(cè)頁(yè)面。從圖4(d)中可以看出，通過(guò)使用本文算法能夠比較準(zhǔn)確地提取出單側(cè)頁(yè)面。

圖5為多個(gè)模型對(duì)背景的去除，圖6展示了本文算法求得的去除背景后的模型書(shū)脊線。圖6中的直線為基于紋理特征的分割算法尋找到的直線，通過(guò)這條直線，可以求解切割書(shū)籍模型左右頁(yè)面的切割平面。

由表1可知，本文方法能夠穩(wěn)定而正確地找到書(shū)脊線所在位置，且偏差值較小。

圖5 去除背景后的模型

圖6 書(shū)脊線的直線

表1 本文算法求得的書(shū)脊線與真實(shí)值的對(duì)比

4.2.2 對(duì)比性實(shí)驗(yàn)

為了進(jìn)一步客觀評(píng)價(jià)本文提出的基于紋理的單側(cè)頁(yè)面分割算法，并與其他分割算法進(jìn)行了相關(guān)對(duì)比。文獻(xiàn)[13]給出了一種基于矢量的點(diǎn)云分割方法，并與本文算法進(jìn)行了對(duì)比。實(shí)驗(yàn)?zāi)Ｐ头譃橄蜃髢A斜和向右傾斜，模型傾斜角度從10°到90°每隔20°進(jìn)行一次實(shí)驗(yàn)。這兩個(gè)算法在相同配置的Windows 7操作系統(tǒng)下，對(duì)比發(fā)現(xiàn)本文算法的分割效果較好。分割誤差統(tǒng)計(jì)見(jiàn)表2、3，其百分比數(shù)據(jù)為分割結(jié)果中無(wú)效的頁(yè)面點(diǎn)云區(qū)域占手動(dòng)準(zhǔn)確分割結(jié)果的點(diǎn)云區(qū)域的比例。

對(duì)于文獻(xiàn)[13]提出的基于矢量的點(diǎn)云分割方法，在三維圖書(shū)模型的掃描環(huán)境中，由于背景平面與書(shū)脊處均不能做到絕對(duì)光滑，所以計(jì)算三角面片的向量過(guò)程中，一部分背景的點(diǎn)云并不能全部去掉，對(duì)書(shū)脊處的位置判斷也不能完全精準(zhǔn)，影響了一定的分割精度。本文提出的基于紋理的分割方法是按照模型中圖書(shū)的紋理特征進(jìn)行分割，分割精度較高，且誤差較小，具有一定的實(shí)用性。

表2 向左傾斜分割誤差結(jié)果統(tǒng)計(jì)(%)

表3 向右傾斜分割誤差結(jié)果統(tǒng)計(jì)(%)

5 結(jié)束語(yǔ)

本文針對(duì)三維掃描儀所采集的書(shū)籍模型，從模型的紋理角度，將散亂紋理轉(zhuǎn)變?yōu)橛行蚣y理，再?gòu)挠行蚣y理中分析出模型的背景與脊線位置，進(jìn)而去除背景和求出分割左右頁(yè)面的空間平面方程，提出了一種穩(wěn)定的提取書(shū)籍模型單側(cè)頁(yè)面的方法。實(shí)驗(yàn)表明，本文算法降低了處理復(fù)雜度，提高了精度。根據(jù)模型的紋理信息，能夠去除書(shū)籍的背景點(diǎn)云；根據(jù)掃描書(shū)脊處的紋理特征，運(yùn)用空間直線的線性擬合，能夠較為準(zhǔn)確地計(jì)算分割左右頁(yè)面的空間平面方程，對(duì)提取三維模型單側(cè)頁(yè)面書(shū)籍有較好地處理效果。

[1] 吳建勝, 祖旭良, 薛涵今. 基于特征字符識(shí)別的文本圖像方向判定[J]. 計(jì)算機(jī)工程與設(shè)計(jì), 2015, 36(8): 2260-2263, 2296.

[2] 劉進(jìn), 武仲科, 周明全. 點(diǎn)云模型分割及應(yīng)用技術(shù)綜述[J]. 計(jì)算機(jī)科學(xué), 2011, 38(4): 21-24, 71.

[3] TóVáRI D, PFEIFER N. Segmentation based robust interpolation–a new approach to laser data filtering [C]// International Society for Photogrammetry and Remote Sensing (ISPRS). Amsterdam: Elsevier Press, 2005: 79-84.

[4] WANG Z, LIU H, QIAN Y, et al. Real-time plane segmentation and obstacle detection of 3D point clouds for indoor scenes [C]//IEEE International Workshop on Consumer Depth Cameras for Computer Vision. New York: IEEE Press, 2012: 22-31.

[5] FILIN S. Surface clustering from airborne laser scanning data [J]. International Archives of Photogrammetry and Remote Sensing, 2002, XXXII(3A): 119-124.

[6] ZHAN Q, YU L, LIANG Y. A point cloud segmentation method based on vector estimation and color clustering [C]// International Conference on Information Science and Engineering. New York: IEEE Press, 2011: 3463-3466.

[7] SCHNABEL R, WAHL R, KLEIN R. Efficient RANSAC for point-cloud shape detection [J]. Computer Graphics Forum, 2007, 26(2): 214-226.

[8] 姜翰青, 王博勝, 章國(guó)鋒, 等. 面向復(fù)雜三維場(chǎng)景的高質(zhì)量紋理映射[J]. 計(jì)算機(jī)學(xué)報(bào), 2015(12): 2349-2360.

[9] 李慧慧, 秦品樂(lè), 梁軍. 基于HSI亮度分量和RGB空間的圖像去霧算法[J]. 計(jì)算機(jī)應(yīng)用, 2016, 36(5): 1378-1382.

[10] 孫忱, 奚宏生, 高榮. 鄰域線性最小二乘擬合的推薦支持度模型[J]. 西安交通大學(xué)學(xué)報(bào), 2015, 49(6): 77-83.

[11] 汪奇生, 楊德宏, 楊騰飛. 空間直線的結(jié)構(gòu)總體最小二乘擬合[J]. 大地測(cè)量與地球動(dòng)力學(xué), 2015, 35(3): 433-435.

[12] 李寶, 程志全, 黨崗, 等. 三維點(diǎn)云法向量估計(jì)綜述[J].計(jì)算機(jī)工程與應(yīng)用, 2010, 46(23): 1-7.

[13] 張強(qiáng), 李朝奎, 李俊曉, 等. 一種改進(jìn)的基于法矢方向調(diào)整的平面點(diǎn)云分割方法[J]. 地理與地理信息科學(xué), 2015, 31(1): 45-48.

Single Side Page Extracting Method for 3D Book Model Based on Texture

TONG Lijing, WANG Fenghe, LI Bin

(School of Computer Science and Technology, North China University of Technology, Beijing 100144, China)

Model segmentation has important application value in practical engineering. For the point cloud segmentation of 3D book model, a single page extraction method based on texture is proposed. For the 3D model books and disordered texture image acquired, the disordered texture of the model is transformed into orderly texture firstly. Then the pixel values are converted from RGB color space to HSI space. According to H (hue) and I (intensity), the point cloud of background model is removed. Next, the spine line is analyzed from the distribution characteristics of the spine pixels in an orderly texture image. The three-dimensional space equation of spine is calculated by the least squares method, so that the space equation can be solved for the single side page extracting. Experimental results show that the method can extract the single page stably for the 3D book model, and has higher accuracy.

page extraction; point cloud segmentation; HSI color space; book model; least square method

TP 391

10.11996/JG.j.2095-302X.2018020179

A

2095-302X(2018)02-0179-07

2017-07-20；

2017-08-28

國(guó)家自然科學(xué)基金項(xiàng)目(61371142)

童立靖(1972–)，男，安徽馬鞍山人，副教授，博士，碩士生導(dǎo)師。主要研究方向?yàn)橛?jì)算機(jī)圖形學(xué)、數(shù)字圖像處理。E-mail：tong_lijing@163.com