虛擬眼鏡試戴中鏡片染色算法的設(shè)計(jì)與實(shí)現(xiàn)

陳清華

（溫州職業(yè)技術(shù)學(xué)院 信息技術(shù)系，浙江 溫州 325035）

虛擬眼鏡試戴中鏡片染色算法的設(shè)計(jì)與實(shí)現(xiàn)

陳清華

（溫州職業(yè)技術(shù)學(xué)院 信息技術(shù)系，浙江 溫州 325035）

虛擬眼鏡試戴以計(jì)算機(jī)為輔助工具，實(shí)現(xiàn)眼鏡佩戴效果的預(yù)覽。結(jié)合鏡片染色的虛擬試戴方法，通過人像拍攝、鏡架幾何變換、鏡框圖像分割、鏡片染色、圖像合成等步驟，以Sobel邊緣檢測(cè)、掃描線填充、漸變混色合成算法為核心，實(shí)現(xiàn)集成于E-galsses在線眼鏡購(gòu)物系統(tǒng)的眼鏡試戴模塊的開發(fā)。實(shí)踐證明，鏡片試戴效果提升了用戶購(gòu)物體驗(yàn)，提高了在線購(gòu)買率。

虛擬眼鏡試戴；鏡片染色；圖像處理；顏色填充；混色

0 引 言

隨著生活水平的提高，人們對(duì)眼鏡產(chǎn)品的要求也從單一的視力保健朝著多樣化、時(shí)尚性、個(gè)性化轉(zhuǎn)變，開始更注重眼鏡的品牌、款式、顏色、材料等[1-2]。然而，一些眼疾患者在眼鏡店挑選鏡架時(shí)難以看清自身的試戴效果，更不能預(yù)先看到各種鏡片顏色的試戴效果，在鏡架、鏡片的選擇上產(chǎn)生了一定的困難[3-4]。虛擬眼鏡試戴以計(jì)算機(jī)為輔助工具，在原有業(yè)務(wù)邏輯的基礎(chǔ)上，利用數(shù)字圖像處理技術(shù)，包括圖像合成、分割等關(guān)鍵技術(shù)，實(shí)現(xiàn)眼鏡佩戴效果的預(yù)覽[5-6]。開發(fā)的交互式虛擬眼鏡試戴網(wǎng)購(gòu)系統(tǒng)具有方便、友好、直觀的特點(diǎn)[1]，開啟了一種全新的眼鏡在線定制模式，滿足了用戶需求。

虛擬眼鏡試戴系統(tǒng)采用圖像疊加技術(shù)，通過幾何變換，將鏡架投到人像上繪制合成效果展現(xiàn)給用戶。但試戴過程并未對(duì)眼鏡中的重要組成部分—鏡片進(jìn)行色彩處理，特別是對(duì)鏡片顏色有多樣化需求的消費(fèi)者無法滿足預(yù)覽鏡片染色效果的需求。針對(duì)消費(fèi)需求的變化，在虛擬眼鏡試戴基礎(chǔ)上，使用鏡架邊緣識(shí)別、漸變色填充技術(shù)，提出結(jié)合鏡架圖像分析的鏡片試戴過程，結(jié)合中小企業(yè)網(wǎng)站營(yíng)銷的現(xiàn)狀與趨勢(shì)[7]，將該過程應(yīng)用于E-galsses在線眼鏡購(gòu)物系統(tǒng)。虛擬眼鏡試戴功能允許用戶以照片為原型，通過選擇品牌、鏡架款式、鏡片顏色等，進(jìn)行全方位虛擬試戴，加深了用戶體驗(yàn)。

1 虛擬眼鏡試戴系統(tǒng)設(shè)計(jì)

1.1 系統(tǒng)結(jié)構(gòu)

系統(tǒng)設(shè)計(jì)時(shí)將鏡片顏色試戴需求集成于現(xiàn)有的E-glasses在線眼鏡購(gòu)物系統(tǒng)。集成后的虛擬眼鏡試戴模塊結(jié)構(gòu)設(shè)計(jì)如圖1所示。用戶可通過U I界面對(duì)頭像、試戴數(shù)據(jù)等信息進(jìn)行管理；當(dāng)存在購(gòu)物前的試戴需求時(shí)，用戶可通過試戴信息處理功能將選購(gòu)的物品與用戶頭像相結(jié)合，呈現(xiàn)試戴效果；用戶通過效果分享功能，邀請(qǐng)好友提出購(gòu)物建議，分享成果。

圖1 虛擬眼鏡試戴模塊結(jié)構(gòu)設(shè)計(jì)

1.2 試戴過程

結(jié)合系統(tǒng)結(jié)構(gòu)設(shè)計(jì)與用戶鏡片顏色的選購(gòu)需求，在原有虛擬眼鏡試戴系統(tǒng)的選擇信息中添加鏡片顏色的選擇。改進(jìn)后鏡片染色的虛擬試戴過程如圖2所示。在整體試戴效果輸出前，對(duì)輸入的鏡架事先做邊緣識(shí)別，并在識(shí)別出的鏡框內(nèi)進(jìn)行漸變色顏色填充，最后再做圖像合成與效果輸出。

圖2 鏡片染色的虛擬試戴過程

1.3 鏡片染色處理方案

在鏡片試戴信息處理過程中，系統(tǒng)需要在識(shí)別出的人臉圖像中找到瞳孔位置，計(jì)算瞳孔間距離得出適當(dāng)?shù)溺R架比例；按照比例對(duì)標(biāo)準(zhǔn)鏡架圖像進(jìn)行平移與縮放；通過對(duì)縮放后的鏡架圖像進(jìn)行邊緣檢測(cè)得到二值鏡架圖像，并掃描找出鏡片對(duì)應(yīng)的位置，對(duì)區(qū)域內(nèi)的鏡片進(jìn)行染色處理。鏡片染色技術(shù)方案如圖3所示。為提高系統(tǒng)的圖片處理效率，在實(shí)際過程中顏色填充與混色過程合二為一。

圖3 鏡片染色技術(shù)方案

2 主要算法設(shè)計(jì)

2.1 邊緣識(shí)別算法

邊緣識(shí)別算法主要有Sobel算子、Canny算子、Difference邊緣檢測(cè)和均勻度方法[1]。通過不同鏡架實(shí)驗(yàn)結(jié)果比較發(fā)現(xiàn)，Sobel算子應(yīng)用于鏡架識(shí)別效果最佳，因而輸出二值鏡架圖像采用Sobel算子。

Sobel算子針對(duì)鏡架數(shù)字圖像的每個(gè)像素，計(jì)算像素點(diǎn)周邊各個(gè)鄰點(diǎn)的顏色加權(quán)差，離像素點(diǎn)最近的點(diǎn)權(quán)值最大。Sobel邊緣檢測(cè)算子如圖4所示。

圖4 Sobel邊緣檢測(cè)算子

依據(jù)Sobel邊緣檢測(cè)算子，得出像素點(diǎn)(i,j)水平邊緣的計(jì)算值Sx(i,j)為：

Sx(i,j)=[RGB(i-1,j+1)+2×RGB(i,j+1)+RGB(i+1, j+1)]-[RGB(i-1,j-1)+2×RGB(i,j-1)+RGB(i+1,j-1)]

垂直邊緣的計(jì)算值Sy(i,j)為：

Sy(i,j)=[RGB(i-1,j-1)+2×RGB(i-1,j)+RGB(i-1, j+1)]-[RGB(i+1,j-1)+2×RGB(i+1,j)+RGB(i+1, j+1)]

將水平檢測(cè)值與垂直檢測(cè)值相加得到S(i,j)，即：S(i,j)= Sx(i,j)+Sy(i,j)

比較S(i,j)與設(shè)定的閾值Y：當(dāng)S(i,j)的值大于Y時(shí)，則像素點(diǎn)(i,j)為邊界點(diǎn)，令其顏色值為白色，否則該點(diǎn)為黑色。此處，Y值設(shè)為經(jīng)驗(yàn)值1 6。

2.2 鏡架圖像生成

根據(jù)解析出的二值鏡架圖像，與鏡架原圖像進(jìn)行合成，當(dāng)二值鏡架圖像中像素點(diǎn)(i,j)的值為白色時(shí)，生成的鏡架圖像在該點(diǎn)的值為原圖像的RG B值，否則為白色。解析后的輸出結(jié)果為獨(dú)立的純鏡架圖像。

2.3 鏡片遍歷填充

在對(duì)鏡架圖像進(jìn)行填充過程中，采用遍歷的掃描線方法進(jìn)行。掃描過程中，像是有一條從左至右的掃描線穿過得到的鏡架圖像，當(dāng)該位置的二值鏡架圖像由白變黑時(shí)，說明要進(jìn)入鏡片的不規(guī)則區(qū)域，開始填充鏡片色彩；當(dāng)該位置的二值鏡架圖像由黑變白時(shí)，走出鏡片區(qū)域，停止填充鏡片色彩。因此，在這相鄰配對(duì)的黑白變換的交點(diǎn)間的所有像素都應(yīng)在鏡片區(qū)域內(nèi)，需要進(jìn)行鏡片顏色填充。

2.4 鏡片染色算法

系統(tǒng)使用的鏡片染色模式根據(jù)實(shí)際需求分為均勻染色和漸變?nèi)旧?。均勻染色鏡片每處顏色均相同，因而均勻染色的處理過程只要將識(shí)別的鏡框內(nèi)的顏色設(shè)置為統(tǒng)一的GColor值即可。漸變?nèi)旧R片根據(jù)工學(xué)設(shè)計(jì)原理，其漸變規(guī)律是從底端到頂端顏色逐漸加深。漸變?nèi)旧懈鱾€(gè)像素點(diǎn)的顏色深淺隨位置的變化而變化。一般情況下，當(dāng)縱坐標(biāo)數(shù)值變大時(shí)，顏色也隨之變淺。

假設(shè)鏡框中最高點(diǎn)縱坐標(biāo)的值為y1，最低點(diǎn)值縱坐標(biāo)的值為y2，則像素點(diǎn)(i,j)的漸變率為grdient=(jy1)/(y2-y1)。相應(yīng)地，該像素點(diǎn)(i,j)的顏色值RGBij(r, g, b)中的r=backij.r×grdient+GColor.r×(1-grdient)，其中backij為背景圖片中像素點(diǎn)(i,j)的顏色值RGB。以此類推，可得出g和b的值。同一水平位置的像素點(diǎn)，顏色相同。

2.5 圖像合成

試戴效果生成時(shí)，需要將人臉與按瞳孔距離縮放的鏡架進(jìn)行合成。合成處理過程為：一是圖片疊加處理。鏡架部分合成時(shí)，人臉作為背景，鏡架為前景，進(jìn)行疊加。二是均勻混色處理。為體現(xiàn)真實(shí)性，鏡片上應(yīng)透出人眼鏡片部分。因此，鏡片區(qū)域需要的是混色處理，而不是簡(jiǎn)單的疊加?；焐珪r(shí)，系統(tǒng)將透明度alpha值設(shè)為30%。

當(dāng)頭像像素點(diǎn)(i,j)的顏色值為f(i,j).color時(shí)，該像素的顏色合成結(jié)果值RGBij(r, g, b)中的r值為：

r=f(i, j).Color.R+GColor.R×alpha

以此類推，可得出g和b的值。

3 應(yīng)用實(shí)例

在后續(xù)研發(fā)過程中，將算法應(yīng)用于E-glasses在線眼鏡購(gòu)物系統(tǒng)，完成了眼鏡銷售系統(tǒng)的鏡片虛擬試戴功能的開發(fā)、測(cè)試與應(yīng)用，并獲得1項(xiàng)實(shí)用新型專利[8]。該試戴方法主要通過人像拍攝、鏡架幾何變換、鏡框圖像分割、鏡片染色、圖像合成等步驟完成鏡片虛擬試戴算法的應(yīng)用，滿足了消費(fèi)者對(duì)鏡架、鏡片的個(gè)性化、多樣化的試戴需求。

選用棕色系鏡片為測(cè)試效果，以白色為背景，展現(xiàn)染色鏡片與鏡架結(jié)合效果及與人像合成后試戴效果的alpha值為30%。均勻染色鏡片試戴效果、漸變?nèi)旧R片試戴效果如圖5~圖6所示。

圖5 均勻染色鏡片試戴效果

圖6 漸變?nèi)旧R片試戴效果

虛擬眼鏡試戴功能，對(duì)于各種不同類型的鏡框、不同顏色的鏡片，均能取得較好的試戴體驗(yàn)效果。2014年E-glasses在線眼鏡購(gòu)物系統(tǒng)數(shù)據(jù)顯示，成功購(gòu)買鏡架與鏡片的用戶中9 2%都嘗試使用虛擬眼鏡試戴功能；同時(shí)，較之前的11%的鏡片購(gòu)買率提高了8%，鏡片試戴功能間接促進(jìn)了鏡片在線消費(fèi)和鏡架購(gòu)買。實(shí)踐證明，虛擬眼鏡試戴功能得到消費(fèi)者的一致好評(píng)，特別是對(duì)于試戴效果的分享提高了網(wǎng)站的互動(dòng)性，加深了用戶體驗(yàn)。

4 結(jié)束語(yǔ)

鏡片染色算法在原有鏡架試戴的基礎(chǔ)上，利用圖像邊緣識(shí)別和漸變色填充技術(shù)，實(shí)現(xiàn)了基于鏡架邊緣檢測(cè)的鏡片試戴體驗(yàn)，解決了在真實(shí)環(huán)境中鏡片顏色無法試戴的難題，提高了試戴效果的逼真度。該算法在現(xiàn)有的E-glasses在線眼鏡購(gòu)物系統(tǒng)中取得了良好的應(yīng)用。然而，隨著硬件技術(shù)的逐漸發(fā)展，人們不再拘泥于2 D靜態(tài)效果的試戴，為滿足人們的消費(fèi)需求，下一步研究將嘗試將鏡片染色算法應(yīng)用于動(dòng)態(tài)人像跟蹤和3 D虛擬試戴環(huán)境。

[1]劉麗余.基于虛擬試戴技術(shù)的眼鏡銷售系統(tǒng)的研究與實(shí)現(xiàn)[D].成都:電子科技大學(xué)軟件工程學(xué)院，2 0 1 1.

[2]盧洋，王世剛，趙文婷，等.基于人臉姿態(tài)估計(jì)的虛擬眼鏡試戴技術(shù)[J].中國(guó)光學(xué)，2015(4):582-588.

[3]童天添，張振國(guó).眼鏡零售業(yè)計(jì)算機(jī)虛擬試戴方法研究[J].計(jì)算機(jī)工程與設(shè)計(jì)，2008(4):1011-1012，1015.

[4]劉成，汪豐，祁長(zhǎng)紅，等.一種基于增強(qiáng)現(xiàn)實(shí)的虛擬眼鏡試戴的方法[J].工業(yè)控制計(jì)算機(jī)，2014(12):66-68.

[5]李方芬，伍靜文.便于近視患者的虛擬試鏡裝置[J].藝術(shù)科技，2013(4):339.

[6]李鵑.基于特征點(diǎn)定位的虛擬試戴的研究[D].上海:上海交通大學(xué)電子與電氣自動(dòng)化學(xué)院，2 01 1.

[7]胡林娜.溫州中小企業(yè)網(wǎng)絡(luò)營(yíng)銷存在的問題及對(duì)策[J].溫州職業(yè)技術(shù)學(xué)院學(xué)報(bào)，2010(3):18-20.

[8]陳清華，翁正秋.一種基于漸變色的虛擬眼鏡試戴方法及系統(tǒng):ZL 201620270537.4[P].2016-10-12.

[責(zé)任編輯：王志梅]

Design and Practice: Lens Dyeing Algorithm for Virtual Glasses Try-on System

CHEN Qinghua
(Information Technology Department, Wenzhou Vocational & Technical College, Wenzhou, 325035, China)

With computer as a supporting tool, virtual glasses try-on system can realize “previewing” of glasses wearing. With Sobel edge detection, scan line filling, gradient mixed-colored synthesis algorithm as its core, and steps like, portrait shooting, frame geometric shift and image segmentation, lens dyeing, and image synthesis, virtual wearing of dyed lens achieves the development of glasses trial wearing mode for E-glasses on-line purchase system. It is proved that lens trial wearing can improve users’ purchase experience and increase on-line sale rate.

Virtual glasses try-on system; Lens dyeing; Image processing; Color filling; Color mixing

TP391.41

A

1671-4326(2016)04-0059-03

10.13669/j.cnki.33-1276/z.2016.085

2016-10-20

溫州職業(yè)技術(shù)學(xué)院科研項(xiàng)目（WZY2016018）

陳清華（1983—），女，浙江溫州人，溫州職業(yè)技術(shù)學(xué)院信息技術(shù)系講師，碩士.