采用精確摳圖的單幅自然圖像背景虛化合成方法

李曉穎, 李思琪, 洪雪梅, 張海

(1. 華僑大學(xué) 信息科學(xué)與工程學(xué)院, 福建 廈門(mén) 361021;2. 福州大學(xué) 廈門(mén)工藝美術(shù)學(xué)院, 福建 廈門(mén) 361021)

對(duì)焦技術(shù)是一種重要的攝影方法[1-2].對(duì)焦的結(jié)果是前景對(duì)象被突出顯示,背景對(duì)象被虛化,這通常是由專(zhuān)業(yè)攝影師使用數(shù)碼單反相機(jī)實(shí)現(xiàn)的.單反相機(jī)配備了大光圈,方便對(duì)焦照片,然而,大光圈價(jià)格昂貴,使用不方便,且一般需要由專(zhuān)業(yè)攝影師來(lái)操作.由于尺寸和技術(shù)的限制,獲取具有背景虛化的圖像具有一定的挑戰(zhàn)性.

手機(jī)相機(jī)是一種小光圈鏡頭,在日常生活中應(yīng)用廣泛.為了增強(qiáng)相機(jī)的功能,許多手機(jī)廠(chǎng)商設(shè)計(jì)了一些有關(guān)背景虛化的合成技術(shù).這些技術(shù)主要依靠手機(jī)背后的多個(gè)雙攝像頭同時(shí)拍攝多張照片,利用立體匹配算法估計(jì)深度信息來(lái)幫助背景虛化的合成[3].在技術(shù)上,雙攝像頭比單攝像頭更容易合成背景虛化.但雙攝像頭增加了制造成本和功耗,且大多數(shù)智能手機(jī)只有一個(gè)前置攝像頭.因此,有必要提出單攝像頭合成背景虛化算法.肖進(jìn)勝等[4]利用多聚焦完成單幅圖像的深度信息提取;蘇超然等[5]提出針對(duì)肖像的背景虛化處理,重點(diǎn)處理以人像為前景的圖像,但是缺乏對(duì)自然圖像背景虛化的考慮;Dutta[6]利用聯(lián)合強(qiáng)度估計(jì)和動(dòng)態(tài)濾波合成的特定任務(wù)效能,實(shí)現(xiàn)空間感知模糊處理;劉成民等[7]提出基于深度學(xué)習(xí)的感知圖,實(shí)現(xiàn)圖像虛化處理.圖像背景虛化處理受到廣泛關(guān)注,但是其存在計(jì)算復(fù)雜、邊緣虛化敏感、背景虛化不明顯、對(duì)硬件要求高等問(wèn)題,且當(dāng)圖像中有多個(gè)物體位于同一景深區(qū)域時(shí),突顯不出某個(gè)單獨(dú)的物體.

Rother等[8]首次提出GrabCut算法,用于分割單幅圖像中的前景對(duì)象和背景對(duì)象.然而,GrabCut算法只根據(jù)像素點(diǎn)的顏色差異建立模型,當(dāng)前景對(duì)象和背景對(duì)象的顏色差異較大時(shí),GrabCut算法能取得滿(mǎn)意的結(jié)果[9];但是當(dāng)圖像的特征模糊或紋理復(fù)雜時(shí),采用GrabCut算法可能會(huì)導(dǎo)致圖像分割結(jié)果不理想.考慮到圖像摳圖的精度要求,采用GrabCut算法完成初始分割后,再進(jìn)行精確摳圖.精確的摳圖效果為背景虛化的合成奠定了良好的基礎(chǔ).

在離焦渲染中,清晰的深度邊緣非常重要[10].基于局部二值模式算子(LBP)[11-12]的顏色恒常性(CCLBP)算法[13-14]是在原有顏色恒常性算法的基礎(chǔ)上加入了LBP算法,目的在于更好地實(shí)現(xiàn)圖像紋理的提取,以獲得良好的局部深度邊緣,進(jìn)一步實(shí)現(xiàn)圖像摳圖的完整性,實(shí)現(xiàn)對(duì)初始摳圖的精確分割效果.雙邊濾波[15]用于虛化背景對(duì)象,它同時(shí)考慮了圖像的平滑處理和顏色邊緣信息,從而生成與大光圈相機(jī)拍攝的圖像相似效果的合成圖像.將經(jīng)過(guò)精確摳圖處理的前景對(duì)象與模糊化的背景對(duì)象相結(jié)合,可以合成背景虛化的圖像.

綜上所述,本文選擇GrabCut算法完成單幅自然圖像的初始摳圖,并采用CCLBP算法對(duì)初始摳圖進(jìn)行精確分割,提出一種有效的自然圖像合成背景虛化方案.

1 單幅圖像的背景虛化合成算法

提出一種基于精確摳圖的單幅自然圖像背景虛化合成方法,其流程圖,如圖1所示.輸入的原圖像首先經(jīng)過(guò)GrabCut算法完成初始圖像摳圖,得到初步的前景區(qū)域和背景區(qū)域;然后,利用CCLBP算法完成精確摳圖,得到更為準(zhǔn)確的前景和背景;接著,利用雙邊濾波對(duì)分割出來(lái)的背景區(qū)域進(jìn)行濾波處理,實(shí)現(xiàn)背景部分的保邊虛化效果;最后,將清晰的前景與虛化后的背景合成一張圖像并輸出.

圖1 文中方法的流程圖

1.1 GrabCut算法

一幅圖像可以分為前景像素(Tf),中間像素(Tα)和背景像素(Tb)3部分,其公式表示為

I=Fα+B(1-α).

(1)

式(1)中:I為一幅圖像;F為前景像素(Tf);B為背景像素(Tb);α為中間像素(Tα)中的未知部分.

圖像區(qū)域分布示意圖,如圖2所示.

圖2 圖像區(qū)域分布示意圖

用戶(hù)通過(guò)矩形方框交互式標(biāo)記出圖像中可能的前景像素.圖像上的某一點(diǎn)像素用p表示,當(dāng)p在方框內(nèi)時(shí),它屬于可能的前景對(duì)象,標(biāo)記為Rp(1);當(dāng)p在方框外時(shí),它屬于背景區(qū)域,標(biāo)記為Rp(0).GrabCut算法建立了前景像素和背景像素的高斯混合模型(GMM),利用該模型將未被定義的像素標(biāo)記為可能的前景區(qū)域或背景區(qū)域.

圖像中的每一個(gè)像素點(diǎn)都被認(rèn)為是通過(guò)虛擬的邊界與周?chē)袼亟⑦B接的.基于該像素點(diǎn)與周?chē)袼攸c(diǎn)顏色的相似度,每一條邊都有屬于前景區(qū)域或背景區(qū)域的概率.

GrabCut算法將像素映射到S-T網(wǎng)絡(luò)中進(jìn)行分段,S為源點(diǎn)和前景像素,T為交會(huì)點(diǎn)和背景像素.當(dāng)像素點(diǎn)之間的連接邊屬于不同終端時(shí),則該邊界會(huì)被切斷.GrabCut算法計(jì)算模型,如圖3所示.GrabCut算法利用像素之間的相關(guān)性來(lái)確定邊界,綠色虛線(xiàn)為分隔線(xiàn),分離出圖像的前景區(qū)域和背景區(qū)域.

圖3 GrabCut算法計(jì)算模型

1.2 CCLBP算法

基于局部二值模式算子的顏色恒常性算法是在原有顏色恒常性算法的基礎(chǔ)上加入LBP,能夠有效地提取圖像紋理,提供更清晰的邊緣信息,從而更好地完成精準(zhǔn)圖像分割.

在計(jì)算機(jī)視覺(jué)和計(jì)算機(jī)圖形學(xué)中,廣泛用于描述普通圖像形成的模型[16-19]為

I(x)=J(x)t(x)+A(1-t(x)).

(2)

式(2)中:I(x)為原圖像;J(x)為經(jīng)過(guò)處理的圖像;A為光估計(jì)信息[20];t(x)為介質(zhì)透過(guò)率[21].

Lambert模型是圖像成像模型中大多數(shù)輻射測(cè)量方法的基礎(chǔ),也是圖像照明轉(zhuǎn)換的計(jì)算模型[22].Lambert模型假設(shè)各個(gè)方向的反射光強(qiáng)度相同,不受入射角或觀(guān)測(cè)輻射變化的影響[23-25].在此假設(shè)下,原彩色圖像I(x)=(R,G,B)T,用公式表示為

(3)

式(3)中:λ為光譜的波長(zhǎng);ω為可見(jiàn)光的范圍;e(λ)為光源的光譜分布;S(λ)為光在物體表面的物理反射率;c(λ)為相機(jī)的光敏函數(shù),其表達(dá)式為

c(λ)=(R(λ),G(λ),B(λ))T.

(4)

Codevilla等[20]利用最大遮蔽物像素差值tv(x)和最大局部對(duì)比度像素差值tc(x)這2個(gè)參數(shù)來(lái)計(jì)算t(x),其表達(dá)式為

t(x)=max(tv(x),tc(x)).

(5)

tc(x)用公式表示為

tc(x)=max(max(A)-min(I(x))).

(6)

通過(guò)比較圖像中像素值的差值,并把最大的差值賦予tc(x),作為圖像深度信息獲取的參數(shù)之一.

最大遮蔽物像素差值tv(x)的計(jì)算式為

(7)

為了提高圖像分割的精確度,在獲得t(x)后,利用LBP對(duì)其進(jìn)行局部紋理特征提取.此時(shí),t(x)從一張只有不同灰色深度的圖像深度信息圖變成了具有圖像局部輪廓的紋理信息圖,目的在于突出圖像輪廓.因此,LBP是以提取顏色恒常算法中的t(x)深度信息圖的紋理特征的方式,加入到顏色恒常算法中,這一處理可為進(jìn)一步的圖像精確分割提供更好的分割依據(jù).

Ojala等[11-12]首次提出LBP,用于提取圖像局部紋理特征[26],其窗口大小為3×3,以中間像素的灰度值作為閾值,與相鄰8個(gè)像素的灰度值進(jìn)行比較.當(dāng)鄰域像素值大于或等于中心像素值時(shí),像素位置值標(biāo)記為1;否則,標(biāo)記為0.經(jīng)過(guò)比較,生成一個(gè)8位的二進(jìn)制數(shù),生成的二進(jìn)制模式轉(zhuǎn)換為十進(jìn)制值,可用于標(biāo)記區(qū)域的紋理信息.用LBP提取顏色恒常算法中的圖像深度信息圖的輪廓紋理.

在圖像背景虛化部分,不僅要考慮圖像背景模糊的自然效果,還要考慮對(duì)圖像邊緣的保護(hù).因此,選擇雙邊濾波器[14]完成圖像背景虛化處理.雙邊濾波是一種保邊去噪的濾波器,可以起到模糊背景且保留圖像的邊緣和紋理的作用.

2 實(shí)驗(yàn)結(jié)果與分析

2.1 圖像分割結(jié)果與背景虛化合成結(jié)果

不同算法的摳圖結(jié)果對(duì)比,如圖4所示.由圖4(b),(f)可知:一些不屬于前景的像素被誤認(rèn)為是前景而被保留,如頭發(fā)、衣領(lǐng)和背景其他色塊(紅色方框標(biāo)注),說(shuō)明GrabCut算法的摳圖結(jié)果不夠準(zhǔn)確.

為了提高圖像的摳圖精度,在GrabCut算法摳圖結(jié)果的基礎(chǔ)上,提出CCLBP算法,該算法計(jì)算過(guò)程中獲得的清晰的紋理,如圖4(c),(g)所示.文中算法精確摳圖的結(jié)果,如圖4(d),(h)所示.由圖4可知:相比于GrabCut算法,文中算法的摳圖效果更為準(zhǔn)確.

輸入圖像和輸出圖像的對(duì)比,如圖5所示.圖5中:輸入圖像為處理前的原圖像;輸出圖像為經(jīng)過(guò)文中算法處理后合成的背景虛化效果.由圖5可知:輸出圖像的背景部分的樹(shù)葉都有著明顯且自然的虛化效果,而前景的人像依然保持清晰的狀態(tài).實(shí)驗(yàn)結(jié)果表明,文中算法能夠?qū)崿F(xiàn)較好的背景虛化效果.

(a) 輸入圖像1 (b) 輸出圖像1

2.2 摳圖結(jié)果比較

以人工摳圖作為摳圖效果的理想?yún)⒖紭?biāo)準(zhǔn),比較GrabCut算法與文中算法的摳圖效果,結(jié)果如圖6所示.圖6(d)的背景的部分像素點(diǎn)被誤認(rèn)為前景人像;圖6(e)的背景的部分像素點(diǎn)被誤認(rèn)為前景的羊;圖6(f)的背景的少數(shù)像素點(diǎn)被誤認(rèn)為前景的鴨子.這表明經(jīng)過(guò)GrabCut算法完成的摳圖效果存在一定的誤差.相比較而言,文中算法的摳圖結(jié)果誤差較小,且前景保留完整,邊界清晰,摳圖效果更準(zhǔn)確(圖6(g)～(i)).

(a) 人工1 (b) 人工2 (c) 人工3

為了更具體地展示圖像的摳圖效果,將GrabCut算法和文中算法的摳圖準(zhǔn)確率與人工摳圖的準(zhǔn)確率進(jìn)行比較,結(jié)果如表1所示.表1中:η為摳圖準(zhǔn)確率.由表1可知:相對(duì)于人工摳圖,Grabcut算法和文中算法的平均摳圖準(zhǔn)確率分別為93.66%和96.96%,文中算法的平均實(shí)驗(yàn)精度更高.

表1 不同算法的摳圖準(zhǔn)確率對(duì)比

為了說(shuō)明文中算法可適用于多場(chǎng)景情況的單幅自然圖像,對(duì)4組自然圖像進(jìn)行虛化處理,得到的背景虛化效果,如圖7所示.圖7中:圖7(a),(e)以紅花作為前景,其余部分作為背景進(jìn)行虛化;圖7(b),(f)以牛群作為前景,身后的草坪作為背景進(jìn)行虛化;圖7(c),(g)以羊作為前景,花草作為背景;圖7(d),(h)以鴨子作為前景,草地作為背景,進(jìn)行虛化處理.由圖7可知:經(jīng)過(guò)虛化處理的圖像前景保持不變,背景產(chǎn)生了虛化效果,對(duì)比效果明顯且虛化效果自然.

(a) 虛化處理前1 (b) 虛化處理前2 (c) 虛化處理前3 (d) 虛化處理前4

將文中算法與其他相關(guān)文獻(xiàn)算法進(jìn)行性能對(duì)比,結(jié)果如表2所示.由表2可知:文獻(xiàn)[4]算法是針對(duì)雙目圖像提出的圖像背景虛化方法,生成的圖像主體邊緣輪廓不清晰;文獻(xiàn)[5]算法處理的圖像類(lèi)型是肖像,處理對(duì)象單一;文獻(xiàn)[6]算法可以實(shí)現(xiàn)單幅自然圖像的背景虛化,但是無(wú)法根據(jù)用戶(hù)需求進(jìn)行交互式選擇主體部分;文獻(xiàn)[7]算法可實(shí)現(xiàn)單幅自然圖像的背景虛化效果,且可完成用戶(hù)的交互式選擇,但是輸出圖像中主體部分的邊緣輪廓不清晰,前景和背景交界處模糊.對(duì)比不同算法的性能可知,文中算法產(chǎn)生的背景虛化結(jié)果優(yōu)于其他4種算法.

表2 文中算法與其他相關(guān)文獻(xiàn)算法的性能比較

3 結(jié)束語(yǔ)

針對(duì)單攝像頭下的自然圖像背景虛化問(wèn)題,提出一種基于精確摳圖的單幅自然圖像背景虛化合成方法.該算法合成的圖像背景虛化效果明顯且自然.在圖像摳圖方面,文中算法得到的結(jié)果較為準(zhǔn)確,且邊緣保留完整.