基于OneCut和共享摳圖算法的自適應(yīng)衣物目標(biāo)摳取

孟蕊　唐好選

摘 要：衣料庫是虛擬試衣系統(tǒng)中非常重要的一部分。為了更好地滿足基于圖像的虛擬試衣系統(tǒng)中衣料庫生成的需要，本文提出一種基于OneCut和共享摳圖算法的自適應(yīng)衣物目標(biāo)摳取方法。首先，利用OneCut算法將服裝圖像從背景中分割出來。然后，使用數(shù)學(xué)形態(tài)學(xué)方法自動生成三分圖。最后，通過共享摳圖算法得到服裝圖像前景和用于虛擬試穿的alpha值。實驗結(jié)果表明，能夠利用較少的人工交互，實時地生成較理想的服裝前景圖像。

關(guān)鍵詞：OneCut；共享摳圖；服裝提?。惶摂M試衣系統(tǒng)

中圖分類號： TP391.41 文獻標(biāo)識碼： A 文章編號：2095-2163（2015）04-

Clothing Target Matting for Algorithm based on OneCut and Shared Matting

MENG Rui， TANG Haoxuan

（1 School of Computer Science and Technology， Harbin Institute of Technology， Harbin 150001， China； ）

Abstract： The clothing database is an important part of virtual fitting system. In order to better meet the need of generating clothing database in image-based virtual fitting system， the adaptive clothing target matting method is proposed in the paper， which is based on OneCut and shared matting. First， the paper utilizes segmentation algorithm named as OneCut to segment the cloth image from background. Second， the trimap is automatically generated by mathematical morphology methods. Third， shared matting algorithm is used to obtain the clothing foreground and alpha image used to implement virtual try-on. It is clearly proved by the proposed experiment that it can make use of less interaction to produce the more ideal garment foreground image in real time.

Keywords： OneCut； Shared Matting； Garment Matting； Virtual Try-on

0 引 言

隨著計算機互聯(lián)網(wǎng)的深入應(yīng)用，網(wǎng)絡(luò)購物也進入了蓬勃發(fā)展。但是，顧客無法試穿網(wǎng)絡(luò)上的服裝這一限制，制約了網(wǎng)購服裝業(yè)的發(fā)展，為了打破這一制約，虛擬試衣系統(tǒng)應(yīng)運而生。虛擬試衣系統(tǒng)的發(fā)展，一方面可以使得網(wǎng)購消費者查看試穿效果而購買合適的服裝，提升消費者的購物滿意度，另一方面減少了電子商家因退換服裝而造成的損失。

衣料庫決定網(wǎng)購用戶可以選擇試穿的服裝有哪些，直接影響著虛擬試衣系統(tǒng)的試穿效果。如何從豐富多樣的服裝圖片上提取出衣物目標(biāo)圖像，是虛擬試衣系統(tǒng)中衣料庫建立的關(guān)鍵問題。圖像分割和摳圖技術(shù)是衣料庫建立的關(guān)鍵技術(shù)，圖像分割是將每個像素標(biāo)記為前景或者背景像素，與圖像分割不同，圖像摳圖是計算每個像素的前景和背景部分的技術(shù)。目前，圖像分割技術(shù)主要分為基于聚類的圖像分割、基于圖割原理的圖像分割、基于區(qū)域和邊緣的圖像分割以及基于多尺度的圖像分割等?，F(xiàn)存的圖像摳圖技術(shù)可以分為基于傳播的圖像摳圖和基于采樣的圖像摳圖。基于傳播的圖像摳圖將摳圖問題看做是從已知區(qū)域中插值得到未知區(qū)域alpha值；基于采樣的圖像摳圖先估計像素的前景和背景顏色值，然后再計算alpha值。

本文提出了一種自適應(yīng)衣物目標(biāo)前景提取方法，首先使用OneCut分割算法對原始服裝圖像進行分割，得到分割二值掩碼；然后使用數(shù)學(xué)形態(tài)學(xué)原理對二值掩碼進行相應(yīng)處理，得到三分圖；最后利用基于三分圖的共享摳圖算法對服裝圖像進行摳圖處理，最終得到衣物目標(biāo)前景圖和alpha值圖。

1 衣物目標(biāo)摳取

圖像摳圖技術(shù)按照附加約束方式的不同，可以分為基于線條的摳圖技術(shù)和基于三分圖的摳圖技術(shù)?；诰€條的摳圖技術(shù)對于邊緣比較復(fù)雜的圖像往往需要進行大量計算來實現(xiàn)較好的摳圖效果，并且因約束太少往往摳圖效果不好。與之相對，基于三分圖的摳圖技術(shù)在速度和效果上都有明顯提高。

因此，本文選用基于三分圖的共享摳圖技術(shù)；但是精細準(zhǔn)確的三分圖是最終摳圖結(jié)果好壞的關(guān)鍵[1]，為解決如何生成精細準(zhǔn)確的三分圖，并且使用盡可能少的用戶交互，本文對圖像進行OneCut分割得到二值分割模板，其中前景為1值，背景為0值，用戶只需簡單地手動指定矩形框，框內(nèi)為包含衣物目標(biāo)的未知區(qū)域，框外為背景區(qū)域。同時，由于前景和背景有可能存在顏色相近或者一致的區(qū)域，僅僅依靠矩形框指定背景區(qū)域和未知區(qū)域得到的分割結(jié)果并不一定就獲評滿意，因此，本文在分割階段向用戶提供交互式地指定前景和背景，即對首次分割結(jié)果不滿意時，用戶可以通過劃線的方式指明確定的前景和背景像素點，再次進行分割，依次交互進行直到用戶滿意。根據(jù)衣物目標(biāo)往往是一個大的整體這一經(jīng)驗事實，利用數(shù)學(xué)形態(tài)學(xué)開操作將分割模板中細小狹長前景區(qū)域去掉，再進行膨脹和腐蝕操作即可生成精細準(zhǔn)確的三分圖。這樣利用OneCut分割結(jié)果得到三分圖，既可以減少用戶交互，保證處理時間，也可以獲得較好的效果。方法1為本文提出的一種衣物目標(biāo)摳取方法。

方法1 衣物目標(biāo)提取

輸入：原始服裝圖片I；

輸出：服裝目標(biāo)前景圖像F和alpha值圖像A；

1. 原始圖像交互分割

（a） 用戶手動畫矩形框，指定服裝目標(biāo)區(qū)域；

While（1）

{ （b） 對I執(zhí)行OneCut分割算法，得到分割模板BW；

（c） if（用戶對分割結(jié)果滿意） break；//跳出循環(huán)；

（d） 用戶劃線指定前景或者背景確定區(qū)域；

//鼠標(biāo)左鍵按下劃線指定前景，右鍵指定背景；}；

2. 三分圖生成 //S為結(jié)構(gòu)元素

（a） openBW=open（BW，S）；//形態(tài)學(xué)開操作

（b） dilateBW=dilate（openBW，S）；//形態(tài)學(xué)膨脹操作

（c） erodeBW=erode（openBW，S）；//形態(tài)學(xué)腐蝕操作

（d） for （i，j）是I的所有像素點

if（dilateBW（i，j）=0） Trimap（i，j）=0；

if（erodeBW（i，j）=1） Trimap（i，j）=255；

if（dilateBW（i，j）=1 and erodeBW（i，j）=0）

Trimap（i，j）=128；

endfor；

3. 服裝目標(biāo)摳圖

（a） 根據(jù)Trimap，對服裝圖像I進行共享摳圖，得到服裝目標(biāo)前景圖像F和alpha值圖A；

1.1 原始圖像交互分割

1.1.1 OneCut算法

在眾多分割算法中，基于圖論的分割方法具有反映全局圖像屬性的能力，越來越受到歡迎[2]，其中GrabCut算法[3]目前是較流行的一種基于圖論的分割算法。Tang等人[4]提出的OneCut算法是對GrabCut算法的一種改進算法，GrabCut算法是通過迭代的圖切割來獲得硬分割結(jié)果，而OneCut算法則通過使用一次圖切割即可獲得硬分割結(jié)果，并且在時間和效果上均要優(yōu)于GrabCut算法。

OneCut算法使用快速全局最優(yōu)二元分割技術(shù)，明確地最小化目標(biāo)、背景顏色分布之間的表觀重疊。用戶提供一個包圍感興趣的目標(biāo)矩形包圍盒，矩形包圍盒外面的像素使用硬性約束分配為背景。使用一次圖切割最小化公式（1）表達的能量函數(shù)，實現(xiàn)目標(biāo)分割。

（1）

式中， 表示包圍盒相對應(yīng)的二元掩碼， 是一個分割段， 是 的特征函數(shù)，第一項是包圍盒 的一個標(biāo)準(zhǔn)膨脹，第二項是表觀重疊懲罰項，最后一項是對比敏感平滑項。 ， ， ， ， 指的是 集合的元素個數(shù)， 值則是圖像I中相鄰的像素對集合。

， 是一個全局參數(shù)，通過實驗發(fā)現(xiàn) 取0.9， 取9。

1.1.2 用戶交互分割

用戶手動通過交互界面在服裝圖像上拖拉繪制矩形框，該矩形框內(nèi)包含要提取的服裝目標(biāo)前景圖像，框外為背景區(qū)域。由于OneCut算法對矩形框比較敏感，則需要用戶繪制的矩形框要完全覆蓋目標(biāo)，并且盡可能小。本文采用OneCut算法分割服裝圖像，獲得二值分割模板，若用戶對分割結(jié)果很不滿意，則可以使用額外畫筆形式指定新的前景和背景，再次執(zhí)行OneCut分割算法，如此下去，獲得較滿意的分割結(jié)果。實驗發(fā)現(xiàn)，往往用戶只需要簡單的拖拉矩形框即可得到較滿意的分割結(jié)果。

因為無論圖像分割還是摳圖都會考慮圖像的顏色進行分割與摳圖，所以為了更好的得到衣物摳取效果圖，摳取的服裝圖像盡量避免服裝前景中的顏色與背景中顏色一致或者相近的情況。但是，如果出現(xiàn)前景和背景相近的情況，或者出現(xiàn)用戶對分割結(jié)果不滿意的情況，用戶可以通過額外的手動劃線方式指定前景和背景。如圖1（a）中的右側(cè)胳膊部分的顏色在背景中基本未出現(xiàn)，使得易于誤判為前景部分，圖1 （b）則為單純地通過指定前景矩形框得到的分割模板，可以看出未能正確地將胳膊部分去除掉，圖1 （c）即為用戶通過額外劃線方式指定胳膊部分區(qū)域為前景，圖1 （d）就是與圖1 （c）相對應(yīng)的分割效果圖，可以看出效果非常好。

（a）首次交互 （b）首次分割 （c）再次交互 （d）再次分割（a）first interaction （b）first segmentation （c）interactive image again （d）segmentation again

圖1 交互分割對比圖

Fig.1 Comparison chart of interactive segmentation

由于輸入圖像往往是穿著服裝的模特圖像，其模特的身體與服裝接觸的地方有時顏色相近，使得分割結(jié)果不好，往往將與服裝顏色相近的邊緣錯誤地分割為前景，從圖1（b）和圖1 （d）分割結(jié)果上也可以得到確認。同時，OneCut分割結(jié)果邊緣比較粗糙，直接用于圖像合成真實感較差。因此，本文將利用更精細的摳圖算法來重新分配和估計邊緣部分，獲得服裝前景圖和alpha值圖。

1.2 三分圖生成

1.2.1 三分圖算法原理

數(shù)學(xué)形態(tài)學(xué)已經(jīng)成為圖像處理和圖像分析領(lǐng)域的重要工具，尤其是與形狀相關(guān)的方面[5]。其開發(fā)實現(xiàn)的主要思想是：利用幾何模板（例如圓盤、正方形、線）探測圖像中物體的形狀，其中幾何模板被稱為結(jié)構(gòu)元素。數(shù)學(xué)形態(tài)學(xué)由一組形態(tài)學(xué)運算子組成，最基本的運算子有膨脹、腐蝕、開和閉。圖像A被x平移的結(jié)果記為 ，即圖像A中每個像素點a的坐標(biāo)值與x的坐標(biāo)值相加，得到新的像素點的坐標(biāo)值。

圖像B和結(jié)構(gòu)元素S的膨脹操作公式如式（2）所示，其中B為二值圖像。該操作即將圖像B上所有點按照S中所有點平移之后，重疊在一起形成一幅新的圖像?？梢钥闯?，膨脹操作可以使得二值圖像擴大一圈，當(dāng)結(jié)構(gòu)元素足夠大時，可以將距離比較近的兩物體聯(lián)通在一起。膨脹對填補空洞很有作用。

（2）

腐蝕操作如公式（3）所示，即S被移動x之后的集合，完全被圖像B所包含的所有x集合。可以看出，腐蝕操作可以使得二值圖像減少一圈，當(dāng)結(jié)構(gòu)元素足夠大時，可以將細小聯(lián)通的兩物體分開。

（3）

開操作是以膨脹和腐蝕操作而基礎(chǔ)的組合運算，即先對圖像進行腐蝕操作然后再對其結(jié)果進行膨脹，最后得到的就是開操作的結(jié)果。公式（4）即為開操作，開操作使得對象的輪廓變得光滑，斷開狹窄的間斷和去掉比結(jié)構(gòu)元素小的突刺。

（4）

1.2.2 三分圖生成實驗及結(jié)果分析

通過大量實驗發(fā)現(xiàn)，OneCut分割結(jié)果往往將背景圖像中與服裝目標(biāo)顏色相近的細長狹小邊緣誤分為目標(biāo)區(qū)域。同時，根據(jù)經(jīng)驗可知，服裝圖像往往是一個大的整體，幾乎沒有細長狹小的突起部分，除非一些特殊的衣服或者衣服上的帶子之類的。如果將這些細長狹小的突起部分去掉，并不會影響整體衣服的效果。

因此，本文采用數(shù)學(xué)形態(tài)學(xué)的開操作去除這些比結(jié)構(gòu)元素小的突起，并且本文根據(jù)服裝圖像大小來確定結(jié)構(gòu)元素大小，避免因結(jié)構(gòu)元素太大或者太小而導(dǎo)致過度或者不足去除效果。為了更好地得到實驗結(jié)果數(shù)據(jù)，將服裝圖像像素點個數(shù)設(shè)為512*512個，那么結(jié)構(gòu)元素S可取長度為11的正方形結(jié)構(gòu)，正方形中心位置為（0，0）。如圖2所示，圖2 （a）為輸入服裝圖像，圖2 （b）為分割模板圖像，可以看出服裝下面有細長的突起，并且這些突起并不是服裝的一部分，而是兩腿之間的邊緣部分。該部分與服裝圖像相似，從而導(dǎo)致誤判為前景部分。通過形態(tài)學(xué)開操作消除了突起部分得到如圖2（c）所示的二值模板，以其為基礎(chǔ)最終得到圖2（d）所示的三分圖。

此后，利用膨脹和腐蝕操作獲得三分圖，三分圖中的未知區(qū)域為服裝圖像的覆蓋邊緣的狹長區(qū)域。對二值分割圖像執(zhí)行腐蝕操作，值為1的區(qū)域為三分圖中的前景區(qū)域。對二值分割圖像進行膨脹操作，值為0的區(qū)域為三分圖中的背景區(qū)域。三分圖中其他區(qū)域為未知區(qū)域。

1.3 服裝目標(biāo)摳圖

1.3.1 共享摳圖算法

共享摳圖算法[5]是基于一個基本觀察，在小范圍的鄰近像素點往往與其真實的前景值、背景值、alpha值存在高度相似。因此，對于每個像素點各自分別地計算alpha值就是明顯冗余的工作，可以引入一些原則來避免這一冗余工作，同時保證不會降低摳圖的質(zhì)量。該共享摳圖算法的輸入是輸入圖像和相應(yīng)的三分圖，主要包括擴展已知區(qū)域、采樣選擇和摳圖計算、局部平滑這三個步驟。

擴展已知區(qū)域，即擴展三分圖中未知區(qū)域中的點為已知前景點或者已知背景點，減少三分圖中未知區(qū)域中點的數(shù)量，從而減少接下來的計算量。對未知區(qū)域中的每個像素點，利用鄰近像素點間的親和力，將其重新劃分為前景像素點或者背景像素點或者未知像素點，從而實現(xiàn)已知區(qū)域的擴大，減少未知區(qū)域點的個數(shù)。鄰近像素點的親和力利用的是計算兩像素點的圖像空間距離以及顏色空間距離，將其兩距離分別與 、 閾值進行比較，判斷是否與已知像素點具有相同的標(biāo)簽（前景或者背景）。

采樣選擇和摳圖計算，即對于三分圖中未知像素點獲得前景和背景采樣點對集合，利用鄰近像素點之間的強親和力，從中選擇未知像素點的最好采樣點對，再精細平滑最好采樣點，最后利用選擇的最好采樣點對來計算摳圖結(jié)果，得到每個未知像素點的四元組。綜上可知，就是首先先進行采樣點的收集，然后選擇得到最好的采樣點，再精細最好采樣點，以及摳圖計算。

局部平滑，盡管采樣選擇階段考慮了像素點附近的親和力，但卻不足以阻止結(jié)果摳圖的不連續(xù)性，所以需要對結(jié)果進行局部平滑操作，來獲得最終的四元組，即前景顏色、背景顏色、置信度和alpha值。對摳圖結(jié)果進行局部平滑，不但可以去除噪聲的影響，同時還可保持其鮮明特征。

1.3.2 摳取服裝前景

輸入原服裝圖像和三分圖，執(zhí)行共享摳圖算法得到服裝圖像前景圖和alpha值圖。共享摳圖算法中的擴展未知區(qū)域部分可以大大減少后面的計算量，所以就將盡可能更多并正確地擴展未知區(qū)域。實驗結(jié)果表明，根據(jù)三分圖中膨脹和腐蝕的結(jié)構(gòu)元素大小，確定空間距離閾值大小可以達到很好的擴展未知區(qū)域效果。由于三分圖是通過長度11的中心為原點的正方形結(jié)構(gòu)元素進行膨脹腐蝕操作得到的，故空間距離閾值設(shè)置為 和顏色距離閾值取 。如圖3所示。圖3（a）為服裝圖像的分割結(jié)果，可以看出分割邊緣比較粗糙，并且出現(xiàn)手部誤分邊界；經(jīng)過共享摳圖之后得到圖3（b）的服裝前景，其邊緣比較光滑，且減少了誤分像素數(shù)量；圖3（c）和圖3（d）分別是圖3（a）和圖3（b）左下角放大部分。

2 實驗結(jié)果及分析

實驗服裝數(shù)據(jù)庫為從淘寶網(wǎng)、京東服裝商城、唯品會等各大網(wǎng)站上搜集的服裝圖片，去掉服裝目標(biāo)占整個圖片比例太小或者太大的圖片，共1 000張服裝圖片，其中男女式服裝各500張，其中這些圖片分類為背景單一前景單一、背景復(fù)雜前景單一、背景單一前景復(fù)雜和背景復(fù)雜前景復(fù)雜這四類，并且每類圖片各250張。將背景和前景分為單一和復(fù)雜的標(biāo)準(zhǔn)是顏色是否多樣、圖案是否雜亂無章、是否存在多個目標(biāo)。為了更好地統(tǒng)計實驗結(jié)果，輸入的服裝圖像大小為512*512個像素點，本文OneCut算法和共享摳圖算法在這四類服裝圖片上的平均運行時間，以及總的平均每幅服裝圖片運行時間如表1所示。表1中的平均總耗時間不包括用戶交互時間，而是用戶指定服裝目標(biāo)區(qū)域之后，完成一次服裝目標(biāo)前景摳取過程的平均時間。從表1中可以看出，服裝目標(biāo)前景摳取方法的運行時間與服裝圖像類別無關(guān)。由于三分圖生成中使用的形態(tài)學(xué)操作，與圖像的復(fù)雜程度無關(guān)，與圖像大小近似成正比相關(guān)，其平均運行時間為0.031秒。

同時，大量實驗結(jié)果發(fā)現(xiàn)，對于背景復(fù)雜前景復(fù)雜類的服裝圖片，單純利用矩形框的交互得到的分割效果絕大多數(shù)都不是非常理想，往往需要通過多次交互進行指定前景和背景，而對于前景服裝圖像顏色單一并且背景顏色也比較單一的服裝圖片中卻只有極少數(shù)前景和背景顏色較接近的圖片不能很好地分割，其他絕大多數(shù)圖片分割效果都可達良好。另外，對于前景復(fù)雜背景單一和前景單一背景復(fù)雜這兩類服裝圖像分割效果往往也較好。如圖4所示，第一行到第四行分別為屬于背景單一前景單一、背景復(fù)雜前景單一、背景單一前景復(fù)雜和背景復(fù)雜前景復(fù)雜的男女服裝圖片摳取結(jié)果，從圖中可以看出背景復(fù)雜前景復(fù)雜的圖片摳取效果最差。并且即使通過多次交互指定前景和背景摳圖結(jié)果也未臻于理想，如圖5所示，分別為圖4第四行的兩幅服裝圖片經(jīng)過劃線交互之后的摳取效果。表2為用戶憑經(jīng)驗指定矩形區(qū)域以及少許確定前景或者背景區(qū)域獲得的衣物提取統(tǒng)計結(jié)果，每類服裝圖片各250張，人為地將摳取結(jié)果分為滿意、基本滿意和不滿意三類結(jié)果。從表2中可以看出，背景單一前景單一這類服裝圖片中分割結(jié)果滿意的服裝圖片個數(shù)最多，背景單一前景單一、背景復(fù)雜前景單一和背景單一前景復(fù)雜這三類服裝圖片中滿意的分割結(jié)果個數(shù)所占比重在72%以上，而背景復(fù)雜前景復(fù)雜的服裝圖片中滿意分割結(jié)果所占比重最低，但60%以上的這類圖片分割結(jié)果均已達到基本滿意之上。

3 結(jié)束語

本文提出一種基于OneCut和共享摳圖算法的自適應(yīng)衣物目標(biāo)提取方法，需要較少人工交互指定服裝目標(biāo)。大量實驗結(jié)果表明，該方法既可以消除衣物目標(biāo)輪廓邊緣比較粗糙的問題，得到邊緣平滑的衣物目標(biāo)前景圖像，也可以盡量避免背景邊緣誤分，尤其是針對背景單一或者前景單一的服裝圖片效果很好，準(zhǔn)確性較高，可以直接用于虛擬試衣系統(tǒng)，并且在運行時間上完全可以滿足其實時性需要。

參考文獻：

[1] SINGH S， JALAL A S. Digital image matting： A review[J]. International Journal of Computer Vision & Image Processing， 2013， 3（4）：16-36.

[2] CAMILUS K S， GOVINDAN V K. A review on graph based segmentation[J]. International Journal of Image Graphics & Signal Processing， 2012， 4（5）：1.

[3] ROTHER C， KOLMOGOROV V， BLAKE A. "GrabCut"： interactive foreground extraction using iterated graph cuts[J]. Acm Trans Graph， 2004， 23（3）：2004.

[4] TANG M， GORELICK L， VEKSLER O， et al. GrabCut in One Cut[C]//International Conference on Computer Vision， Sydney：IEEE 2013：1769 - 1776.

[5] HARALICK R M， STERNBERG S R， ZHUANG X. Image analysis using mathematical morphology[J]. Pattern Analysis & Machine Intelligence IEEE Transactions on， 1987， 9（4）：532-550.

[6] GASTAL E S L， OLIVEIRA M M. Sampling for real-time alpha matting[J]. Eurographics， Computer Graphics Forum，2010， 29（2） ： 575-584.