基于圖像識(shí)別的虛擬翻書系統(tǒng)＊

李 煒 ，李 志 ，郭 星 ，吳建國(guó)

(1.安徽大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，安徽 合肥 230039；2.安徽大學(xué) 計(jì)算智能與信號(hào)處理教育部重點(diǎn)實(shí)驗(yàn)室，安徽 合肥 230039；3.安徽大學(xué) 軟件學(xué)院，安徽 合肥 230039)

虛擬翻書系統(tǒng)是一種虛擬電子書，又稱感應(yīng)翻書、互動(dòng)翻書等，它如同一本打開的書籍，里面可以記載豐富的資料(包括動(dòng)畫、視頻、圖片)。參觀者可以自左向右或者自右向左揮動(dòng)手臂“翻閱”書籍，還可以選擇章節(jié)，快速翻閱相關(guān)內(nèi)容，如翻閱一本普通的雜志一般。新穎的模式，強(qiáng)烈的視覺沖擊，讓虛擬翻書成為越來越不可或缺的創(chuàng)新產(chǎn)品，具有廣泛的應(yīng)用前景。目前的虛擬翻書系統(tǒng)主要利用紅外感應(yīng)或光電感應(yīng)的方式獲取參觀者的動(dòng)作，實(shí)現(xiàn)前后翻書效果。但是其存在只能進(jìn)行簡(jiǎn)單的前后翻頁操作，如果要增加點(diǎn)擊播放視頻、目錄選頁等功能需要在電子書模型上設(shè)置按鈕，這樣既不美觀也不便于操作，并存在紅外感應(yīng)器的磨損和對(duì)翻書動(dòng)作范圍的限制等問題。

本文提出的基于圖像識(shí)別的虛擬翻書系統(tǒng)主要是通過攝像頭采集人手圖像，然后對(duì)序列圖像進(jìn)行分析，識(shí)別出人手動(dòng)作，發(fā)送指令給計(jì)算機(jī)，并利用計(jì)算機(jī)視覺技術(shù)顯示電子書頁面內(nèi)容從而達(dá)到虛擬翻書效果。

1 系統(tǒng)概述

系統(tǒng)的主要構(gòu)成如圖1所示。

圖1 系統(tǒng)主要構(gòu)成

(1)書形投影臺(tái)面：顯示投影內(nèi)容，包括文字、圖像、聲音、動(dòng)畫、視頻等。

(2)底座：長(zhǎng)方體框架結(jié)構(gòu)，用于支撐書形投影臺(tái)面，將計(jì)算機(jī)主機(jī)和音響設(shè)備放入其中。

(3)計(jì)算機(jī)主機(jī)系統(tǒng)：用于存儲(chǔ)展示內(nèi)容，并進(jìn)行圖像識(shí)別控制。

(4)音響設(shè)備：用于播放視頻、語音等形式的內(nèi)容。

(5)支架：2根長(zhǎng)管，用于支撐照明燈、圖像采集裝置、投影儀及圖像反射裝置。

(6)圖像采集裝置(左右)：可以是普通攝像頭，用于采集人手運(yùn)動(dòng)圖像。

(7)照明燈(左右)：用于照亮?xí)瓮队芭_(tái)面。

(8)投影儀：用于把展示內(nèi)容通過計(jì)算機(jī)投影到書形投影臺(tái)面上。

(9)圖像反射裝置(鍍膜高反射鏡)：將投影儀投影圖像反射到書形投影臺(tái)面上。

(10)控制板：控制整個(gè)系統(tǒng)供電、斷電。

本系統(tǒng)中運(yùn)用的算法主要包括：序列圖像處理算法、仿真書邊沿識(shí)別和系統(tǒng)標(biāo)定、手指定位算法、計(jì)算機(jī)視覺算法等。其中仿真書邊沿識(shí)別是獲取算法所關(guān)注的興趣區(qū)域，區(qū)域以外的部分不需要處理。系統(tǒng)標(biāo)定的目的是獲取攝像頭的成像平面和計(jì)算機(jī)顯示平面的映射關(guān)系。這樣可計(jì)算出攝像頭拍攝的圖像中任一像素點(diǎn)在計(jì)算機(jī)屏幕平面的對(duì)應(yīng)位置。手指定位算法實(shí)現(xiàn)人手在仿真書屏幕的準(zhǔn)確定位，并根據(jù)虛擬電子書設(shè)置的參數(shù)實(shí)現(xiàn)翻頁、點(diǎn)擊等動(dòng)作。計(jì)算機(jī)視覺算法是利用電影播放原理在電子書前后2頁頁面內(nèi)容更換的過程中插入24幀更換過程畫面，此時(shí)參觀者就會(huì)看到翻頁的動(dòng)畫效果。系統(tǒng)實(shí)現(xiàn)原理框圖如圖2所示。

圖2 系統(tǒng)實(shí)現(xiàn)原理框圖

2 序列圖像處理

利用Windows的DirectShow技術(shù)采集攝像頭拍攝的序列圖像，并對(duì)圖像進(jìn)行濾波處理去除噪聲，得到圖像細(xì)節(jié)。中值濾波是眾多圖像濾波器中既能很好地抑制噪聲，又能很好保護(hù)圖像細(xì)節(jié)的一個(gè)濾波器，本研究方法即采用此濾波器對(duì)得到的序列圖像進(jìn)行處理。普通的中值濾波對(duì)圖像進(jìn)行全局中值濾波處理時(shí)，可能導(dǎo)致圖像邊緣模糊，本算法采用判斷圖像上的該像素是否為邊緣點(diǎn)的方法：(1)邊緣判斷以(x，y)為中心的 3×3像素區(qū)域，并選取8種代表性邊緣，如圖3所示。以中心畫十字，得到4個(gè)鄰近像素，設(shè)閾值為T，鄰近像素灰度值與中心像素灰度值的差為 d，當(dāng) d＜T 時(shí)，s自動(dòng)加 1；當(dāng) a＜s＜b時(shí)，可確定該像素為邊緣點(diǎn)(a、b為常數(shù)，s為鄰近像素與中心像素灰度相似的個(gè)數(shù))；(2)該像素點(diǎn)是邊緣點(diǎn)則不進(jìn)行任何變換，直接將該像素值 f(x，y)輸出；(3)不是邊緣則進(jìn)行中值濾波。

圖3 3×3像素區(qū)域的8種代表性邊緣

3 仿真書邊沿識(shí)別和系統(tǒng)標(biāo)定

仿真書的邊沿識(shí)別是為了找到算法關(guān)注的興趣區(qū)域。本實(shí)驗(yàn)中的計(jì)算機(jī)顯示器分辨率為1 024×768。首先調(diào)整投影儀的投影區(qū)域，將其剛好完全覆蓋電子書系統(tǒng)上的書模型；然后在屏幕上顯示1個(gè)1 024×768的白色像素圖像，則在攝像頭捕獲的序列圖像中書模型區(qū)域?yàn)榘咨?，其他區(qū)域?yàn)楹谏鐖D4(a)所示。通過本文的序列圖像處理算法對(duì)序列圖像進(jìn)行濾波處理，并對(duì)處理過的序列圖像進(jìn)行基于亮度的信息抽取，獲取圖像中像素點(diǎn)為白色的區(qū)域，從而可以找到圖像中書模型的形狀，其結(jié)果如圖4(b)所示。邊框線包圍了整個(gè)仿真書的書面，該區(qū)域內(nèi)即為本文算法所關(guān)注的興趣區(qū)域，區(qū)域以外的部分不做處理。

圖4 仿真書的邊沿識(shí)別

系統(tǒng)標(biāo)定是確定攝像頭的圖像坐標(biāo)與計(jì)算機(jī)屏幕坐標(biāo)系之間的映射關(guān)系。這里的屏幕坐標(biāo)系是指仿真書模型上的坐標(biāo)系。將計(jì)算機(jī)屏幕劃分出16×18個(gè)點(diǎn)，并以這些點(diǎn)為中心畫 3×3的矩形框棋盤格，第1次在書模上這些點(diǎn)顯示為白色，如圖5(a)所示，其他顯示黑色，通過基于亮點(diǎn)的信息抽取方法逐行掃描圖像確定這些亮點(diǎn)在攝像頭圖像中的坐標(biāo)；接著將這些點(diǎn)為中心的棋盤格小方塊顯示為黑色，其他像素點(diǎn)顯示為白色，通過找如圖5(b)所示的圖像中的暗點(diǎn)校正之前所找到的這些點(diǎn)在攝像頭中的位置，從而確定屏幕上指定的這16×18個(gè)點(diǎn)的屏幕坐標(biāo)對(duì)應(yīng)的攝像頭坐標(biāo)。

圖5 系統(tǒng)標(biāo)定

4 人手定位算法

在本系統(tǒng)中，利用圖像采集裝置監(jiān)控人手的動(dòng)作，故圖像采集裝置是靜止的，而目標(biāo)即人手是運(yùn)動(dòng)的。本系統(tǒng)采用基于幀間差分的方法來實(shí)現(xiàn)人手的定位。

幀間差分法就是將之前處理過的圖像序列，通過逐個(gè)像素比較可直接求取前后2幀圖像或者相鄰幾幀圖像之間的差別。假設(shè)前后圖像之間光線不變化，那么差分后圖像不為零的像素表示該像素發(fā)生了移動(dòng)；如果前后圖像之間的光線有稍許變化，可以采用1個(gè)閾值來判斷變化。幀間差分法就是利用圖像序列中連續(xù)2幀或幾幀圖像的差異來進(jìn)行運(yùn)動(dòng)物體的檢測(cè)，即對(duì)圖像序列中時(shí)間相鄰的2幅或幾幅圖像求絕對(duì)差，然后用1個(gè)閾值來判斷變化的區(qū)域。

假設(shè)第 k幀和第k-1幀圖像的灰度分別為 Ik(i，j)和Ik-1(i，j)，則其他的差分圖像為：

對(duì)式(1)得到的差分圖像，通過1個(gè)閾值T來判斷圖像中的各個(gè)像素點(diǎn)是運(yùn)動(dòng)目標(biāo)還是背景，從而提取出運(yùn)動(dòng)區(qū)域的圖像 Mk(i，j)：

為處理方便，本文將差分的結(jié)果二值化，這種二值化圖像稱為掩模，并對(duì)掩模圖像進(jìn)行連通性分析和數(shù)學(xué)形態(tài)濾波。當(dāng)某一連通區(qū)域面積大于某1個(gè)給定的閾值時(shí)，則檢測(cè)到目標(biāo)，并認(rèn)為該區(qū)域就是目標(biāo)區(qū)域。在本算法中一般情況下將閾值T設(shè)置為30左右。

利用幀間差分法，通過前后2幀的圖像分析人手運(yùn)動(dòng)方向，并利用系統(tǒng)標(biāo)定將人手在攝像頭中的坐標(biāo)轉(zhuǎn)化為屏幕坐標(biāo)。設(shè)前1幀中人手的位置為P1(x，y)，后1幀中 人 手 的 位 置 為 P2(x，y)(P1(x，y)、P2(x，y)均 為 屏 幕 坐標(biāo))。根據(jù)人手在前后2幀的位置比較可得出人手動(dòng)作。

(1)前后翻頁動(dòng)作：根據(jù)X方向的位移大小來判斷人手左右方向移動(dòng)如下：

(2)點(diǎn)擊判斷動(dòng)作：設(shè) P1，P2…Pn為 n幅序列圖像中人手的位置，若點(diǎn) P1，P2…Pn的 X、Y坐標(biāo)相等，則認(rèn)為人手在此位置產(chǎn)生點(diǎn)擊動(dòng)作，此時(shí)電子書完成預(yù)先在此設(shè)置好的動(dòng)作，如播放語音、視頻等。

5 計(jì)算機(jī)視覺和圖像合成算法

因人眼在某個(gè)視像消失后，仍可使該物像在視網(wǎng)膜上滯留0.1～0.4 s左右。電影膠片以每秒24格畫面勻速轉(zhuǎn)動(dòng)，一系列靜態(tài)畫面就會(huì)因視覺暫留作用而造成一種連續(xù)的視覺印象，產(chǎn)生逼真的動(dòng)感。所以本系統(tǒng)根據(jù)此原理在前后2頁內(nèi)容更換的過程中插入24幀更換過程畫面，則參觀者就會(huì)看到翻頁的動(dòng)畫效果。

圖6是向后翻頁過程圖像示意圖。數(shù)字1所在框?yàn)闀淖箜?，?shù)字2所在框?yàn)闀挠翼?，?shù)字3所在的三角形為翻上來的左頁部分，而數(shù)字4則是翻上來的右頁露出來的部分。P為書的右下角翻上來的位置。若整個(gè)翻頁過程點(diǎn)P做弧形運(yùn)動(dòng)若干步，則由此會(huì)形成若干幅翻上來的畫面，根據(jù)計(jì)算機(jī)視覺原理，如果在短時(shí)間內(nèi)將這若干幅畫面依照點(diǎn)P的移動(dòng)順序依次顯示出來，則就會(huì)給人產(chǎn)生翻頁的動(dòng)畫效果。

圖6 動(dòng)畫產(chǎn)生示意圖

利用計(jì)算機(jī)視覺算法顯示翻頁過程中的圖像，需要對(duì)翻頁中產(chǎn)生的圖像進(jìn)行實(shí)時(shí)的圖像合成處理，該算法如下：

(1)假定翻頁過程動(dòng)畫數(shù)為N，每次翻動(dòng)相同的角度θ0，每頁電子書頁面的寬度為W，高度為H，以屏幕左上角為坐標(biāo)原點(diǎn)(0，0)。翻頁的圓心角為 θ，如圖 6所示，則可得到P點(diǎn)運(yùn)動(dòng)軌跡所形成的圓弧半徑R=W/sinθ。圖中，OO′=W/tanθ，每次翻頁角度 θ0=2θ/N，則圖中的 θ′=θi×θ0。 由此得到每次翻頁動(dòng)畫中的 Pi(x，y)(i=1，2，3…N)的坐標(biāo)：

式中，k1表示斜率，b1表示截距。由Pi、V0可求得直線斜率以斜率k、點(diǎn)V的坐標(biāo)代入直線方11程y=k1x+b1求出截距 b1。因?yàn)?V2縱坐標(biāo)也為 0，V3橫坐標(biāo)為0，利用V2V3直線方程可求出 V2、V3對(duì)應(yīng)的坐標(biāo)。再利用兩點(diǎn)確定一條直線，可求出直線PiV2、PiV3的直線方程。

(3)利用第 2 步求 出 的 直 線 V2V3、PiV2、PiV3，翻 頁 過程中P點(diǎn)每向前移動(dòng)1次，判斷每一個(gè)像素點(diǎn)屬于圖6所示的1、2、3、4四部分的所屬部分并進(jìn)行 1次圖像合成，從而得到若干幅合成的圖像，同時(shí)依次顯示到電子書模型上，通過計(jì)算機(jī)視覺原理使人產(chǎn)生翻頁的動(dòng)畫效果。圖7是人手在書模型上揮動(dòng)手臂電子書向后翻頁過程中的1幅動(dòng)畫。

圖7 仿真書向后翻頁過程動(dòng)畫

本文介紹了一種新的基于圖像識(shí)別算法的虛擬翻書系統(tǒng)的設(shè)計(jì)，實(shí)驗(yàn)所使用的計(jì)算機(jī)主頻為2.0 GHz，圖像采集設(shè)備為普通的網(wǎng)絡(luò)攝像頭，投影設(shè)備為日立投影儀。本系統(tǒng)運(yùn)行時(shí)，攝像頭近似同步地采集分辨率為640×480像素的圖像序列，視覺翻書處理部分以每秒24幀的速度顯示圖像。本系統(tǒng)的特點(diǎn)在于利用圖像采集裝置(攝像頭)獲取圖像數(shù)據(jù)來確定人的手勢(shì)動(dòng)作從而完成虛擬翻頁效果，同時(shí)準(zhǔn)確定位人手位置，具有虛擬觸摸功能，實(shí)現(xiàn)點(diǎn)擊播放視頻等。系統(tǒng)樣機(jī)已成功運(yùn)用于第四屆中國(guó)中部博覽會(huì)，取得了良好的展示效果。但存在光線太強(qiáng)，人手定位不理想等問題，有待進(jìn)一步改進(jìn)。

[1]HALL D，GAL C L.Magicboard:a contribution to an intelligent office environment[J].Robotics and Antonomous Systems， 1999，35(3-4):211-220.

[2]ZHANG Z， WU Y.Visual panel:virtual mouse， keyboard，and 3D controller with an ordinary piece of paper[A].Proc.ACM WorkshoponPerceptiveUserInterfaces[C].New York:ACM Press，2001:219-226.

[3]徐一華，李善青，賈云得.一種基于視覺的手指屏幕交互方法[J].電子學(xué)報(bào)，2007，35(11):2236-2240.

[4]黨韌.一種多點(diǎn)觸摸屏：中國(guó)，101271372A[P].2008-09-24.

[5]何斌，馬天予，王運(yùn)堅(jiān)，等.Visual C++數(shù)字圖像處理[M].北京：人民郵電出版社，2001.