基于局部色彩傳遞的多幀影視圖像扭曲校正

劉珈吟,金 鳳

(1. 武漢設(shè)計(jì)工程學(xué)院,湖北 武漢 430060;2. 國(guó)防科技大學(xué)信息通信學(xué)院,陜西 西安 710106)

1 引言

近年來(lái),在圖像處理領(lǐng)域中多幀影視圖像的校正頗受關(guān)注,而常規(guī)灰色圖像因其過(guò)于匱乏的信息量[1],導(dǎo)致多幀影視圖像的研究與使用無(wú)法更深入。相對(duì)于灰色圖像而言,彩色圖像不僅具有更好的觀賞價(jià)值,而且在細(xì)節(jié)和內(nèi)容方面也更具優(yōu)勢(shì)。因此使多幀影視圖像彩色化在多幀影視圖像扭曲校正方面具有重要意義[2,3]。

參考圖像到灰度圖像的色彩傳遞是圖像彩色化的重要環(huán)節(jié)。色彩傳遞分為全局傳遞和局部傳遞,相對(duì)于全局傳遞,局部色彩傳遞能夠更好地保持圖像的連貫性和區(qū)分性。為使多幀影視圖像彩色化效果更佳,本文采用局部色彩傳遞方法中的Levin算法對(duì)多幀影視圖像進(jìn)行彩色化處理。

局部色彩傳遞方法雖然優(yōu)于全局傳遞,但是忽略了局部紋理特性,常常導(dǎo)致局部顏色混合、邊緣顏色越界等問(wèn)題[4]。本文采用局部色傳遞的方法使多幀影視圖像彩色化后,用雙邊過(guò)濾方法對(duì)圖像進(jìn)行優(yōu)化,進(jìn)而更好地完成多幀影視圖像扭曲校正。采集圖像后,對(duì)圖像進(jìn)行自適應(yīng)結(jié)構(gòu)元網(wǎng)格線交叉點(diǎn)坐標(biāo)提取、Biharmonic樣條曲面插值,實(shí)現(xiàn)對(duì)局部色彩傳遞的多幀影視圖像的扭曲校正。

2 多幀影視圖像扭曲校正

2.1 多幀影視圖像色彩化

2.1.1 Levin算法

采用Levin算法實(shí)現(xiàn)多幀影視圖像的局部色彩傳遞[5],其理念為若圖像中像素的亮度值大致相同,那么像素的顏色值也大致相同。Levin利用這一基本原理創(chuàng)造了一種二次能量函數(shù),通過(guò)求解這個(gè)函數(shù)實(shí)現(xiàn)灰色圖像色彩化。這種方法以顏色線條理論為基礎(chǔ),因而要求用戶必須提供初始顏色線條且此顏色是用戶要得到結(jié)果的顏色點(diǎn)。通過(guò)求取每一個(gè)像素和其相鄰像素的加權(quán)差、所有像素的平方和最小值進(jìn)行顏色傳遞是Levin色彩傳遞的基本思想[6]。為了確保圖像彩色化最佳,應(yīng)該使得二次能量函數(shù)值最低,U、V是兩種顏色通道的色度、飽和度,Y是亮度通道。通過(guò)Y的信息可以得到U、V的分布,改變的U、V與未改變的Y結(jié)合,通過(guò)數(shù)學(xué)推導(dǎo),對(duì)U、V求解,可實(shí)現(xiàn)圖像彩色化。

Levin算法應(yīng)用時(shí)首先要確定最小目標(biāo)函數(shù)

(1)

式中,灰色像素點(diǎn)r的顏色值用U(r)代表,它的一塊領(lǐng)域用N(r)代表。U(s)表示第s個(gè)彩色化像素點(diǎn)的顏色值,歸一化函數(shù)為Wrs,圖像中全部灰色像素點(diǎn)用∑r()描述,歸一化函數(shù)用Wrs描述,根據(jù)像素點(diǎn)r、s間的距離可以計(jì)算出歸一化函數(shù)的值,前提是滿足∑s∈N(r)Wrs=1。Wrs函數(shù)值越小,說(shuō)明兩個(gè)像素點(diǎn)顏色相似度越低,反之值越大顏色相似度也越高。

以兩個(gè)亮度值平方差Wrsαe-(Y(r)-Y(s))2/2σr2為基礎(chǔ),其中Y(U)表示亮度值,第一步先將目標(biāo)函數(shù)方程轉(zhuǎn)化為式(2):

J(U)=(AU)TAU=UTATAU

(2)

式中,權(quán)值矩陣用A代表,UT表示圖像速度分量轉(zhuǎn)化成的列向量,表示如式(3)所示。將式(3)帶入式(2)中,可將色度值的權(quán)重關(guān)系通過(guò)亮度值歸結(jié)為式(4),同時(shí)為確保圖像色彩化時(shí)人工標(biāo)注色彩的穩(wěn)定性還需要定義函數(shù)(5),式中b是代表原始信息的列向量。

UT=[u1,u2,…,un]

(3)

(4)

bTU=bTb

(5)

在滿足式(5)的情況下,求解最終圖像彩色化最優(yōu)的問(wèn)題實(shí)際上就是使式(1)所示的目標(biāo)函數(shù)最小化,要想解決這個(gè)問(wèn)題需要使用拉格朗日乘子,這時(shí)可求得最小化式(6),并對(duì)式(5)求導(dǎo)可得到式(7)

P(U)=UTAU+λ(bTb-bTU)

(6)

AU=b

(7)

式中,b是列向量bT=[b1,b2…,bn],A代表權(quán)值矩陣,U表示求解的顏色值轉(zhuǎn)化矩陣,對(duì)這個(gè)方程進(jìn)行求解可使圖像的色彩化。

2.1.2 聯(lián)合雙邊過(guò)濾的圖像優(yōu)化

Levin算法雖然能夠通過(guò)圖像分割處理使圖像色彩化,但在圖像邊緣和紋理較弱區(qū)域中存在不穩(wěn)定因素,使得圖像色彩化有誤差存在[7],因而在Levin算法的基礎(chǔ)上,采用聯(lián)合雙邊過(guò)濾技術(shù)對(duì)基于Levin算法的局部色彩傳遞多幀影視圖像進(jìn)行優(yōu)化。優(yōu)化處理流程示意如圖1。

圖1 優(yōu)化處理流程示意圖

1)雙邊過(guò)濾

采用雙邊濾波對(duì)圖像像素周圍的局部像素值進(jìn)行加權(quán)平均處理,得到的二維高斯濾波則是圖像的像素值[8]。像素距離目標(biāo)像素距離與其價(jià)值度具有反比例關(guān)系。雙邊過(guò)濾算法依據(jù)高斯分布對(duì)初步彩色化圖像的像素p進(jìn)行計(jì)算,其計(jì)算如式(8),式(8)中的k(p)可表示為式(9)

(8)

(9)

若想得到空間域的權(quán)重,需要通過(guò)高斯函數(shù)gα計(jì)算對(duì)像素間距離進(jìn)行運(yùn)算實(shí)現(xiàn)[9]。修正參數(shù)σα、σγ實(shí)現(xiàn)寬度值的修正。

2)聯(lián)合雙邊過(guò)濾

把另一個(gè)圖像加入到雙邊過(guò)濾值域的權(quán)重計(jì)算中就是聯(lián)合雙邊過(guò)濾。把雙邊過(guò)濾權(quán)重計(jì)算中的初步彩色化結(jié)果替換成原始灰色圖形,則像素的計(jì)算為式(10),k(p)變化為式(11)

(10)

(11)

原始灰度圖像幾乎無(wú)噪聲,因而把參數(shù)σγ設(shè)置成較小值可以保證邊緣停止函數(shù)gr(Fp-FP′)選擇正確權(quán)重。

3)細(xì)節(jié)傳遞

聯(lián)合雙邊過(guò)濾對(duì)局部色彩傳遞的多幀影視圖像雖然進(jìn)行了優(yōu)化,但是不能增加影視圖像初步彩色化圖像中的細(xì)節(jié)。相反的原始圖像卻能將更多表面細(xì)節(jié)呈現(xiàn)出來(lái)。為達(dá)到對(duì)原始圖像細(xì)節(jié)進(jìn)行傳遞的目的,先要用式(12)計(jì)算原始灰度圖像的一個(gè)細(xì)節(jié)層

(12)

式中,FBase代表原始圖像雙邊過(guò)濾結(jié)果。為了降低圖像中某些信號(hào)值產(chǎn)生的影響,設(shè)置參數(shù)ε,計(jì)算各RGB通道的ε值,捕捉圖像F的局部細(xì)節(jié)變化。從計(jì)算機(jī)視覺(jué)角度出發(fā),一般將其叫作比值圖像(商像)。將聯(lián)合雙邊過(guò)濾圖像乘以該比值圖像AFinal,可實(shí)現(xiàn)細(xì)節(jié)傳遞。彩色化圖像最終計(jì)算方法如下

AFinal=(1-M)ANRFDetial+MABase

(13)

其中,M為選擇控制條件,在檢測(cè)陰影、高光區(qū)域如果圖像彩色化像素沒(méi)出現(xiàn),取值為0,否則為1。

2.2 圖像扭曲校正

2.2.1 獲取自適應(yīng)結(jié)構(gòu)元網(wǎng)格線交叉點(diǎn)坐標(biāo)

1)膨脹與腐蝕

對(duì)圖像進(jìn)行處理要以膨脹、腐蝕為基礎(chǔ)。其中圖像中目標(biāo)變粗、生長(zhǎng)的過(guò)程就叫膨脹[10]。結(jié)構(gòu)元素形狀控制著目標(biāo)的生長(zhǎng)、變粗程度。膨脹公式可以定義為

A⊕B={z|()z∩A≠φ}

(14)

其中,結(jié)構(gòu)元為B;φ是空集;A⊕B描述A被B膨脹。

為過(guò)濾原物體周圍的邊界點(diǎn),要對(duì)圖像進(jìn)行腐蝕操作,同樣的腐蝕公式可以定義為

E=B?S={x,y|Sxy?B}

(15)

其中,二值圖像E是S腐蝕B形成的全部點(diǎn)(x,y)的集合;若B中含有全部的S,則要求S平移到點(diǎn)(x,y)。

2)結(jié)構(gòu)元

結(jié)構(gòu)元是膨脹、腐蝕最基本的部分。一般情況下,它具有以下特征:數(shù)值是1、0組成的矩陣;大小形狀任意且小于處理的圖像很多;原點(diǎn)指定待處理像素范圍且數(shù)值為1的點(diǎn)決定膨脹、腐蝕時(shí)領(lǐng)域像素參與計(jì)算與否。

2.2.2 圖像扭曲校正

Biharmonic樣條曲面插值圖像校正方法作為一種全局校正方法,它的優(yōu)點(diǎn)是可靈活操作、整體平滑局部性能好,且對(duì)控制點(diǎn)的分布與數(shù)量無(wú)要求[11];便于實(shí)驗(yàn)者增加、刪除特征點(diǎn)的數(shù)量和調(diào)整特征點(diǎn)位置。與其它全局方法的不同之處在于:插值結(jié)果具有最小曲率;不同維度的Biharmonic方程的解就是不同維度的Green函數(shù);插值結(jié)果與不精確數(shù)據(jù)點(diǎn)不匹配。

用矩陣X2,Y2、x1,y1和四個(gè)列向量x1,y1、x2與y2存儲(chǔ)多幀影視圖像扭曲網(wǎng)格線交叉點(diǎn)橫、縱坐標(biāo)值。理想圖像坐標(biāo)值是(X2,Y2),提取的扭曲網(wǎng)格線交叉點(diǎn)橫、縱坐標(biāo)相對(duì)應(yīng)的理想圖像的交叉點(diǎn)坐標(biāo)值(x2,y2)。之后用x1,y1、x2與y2擬合出x2=f1(x1,y1)、y2=f2(x1,y1)兩個(gè)曲面。

在理想圖像中,通過(guò)映射扭曲變形多幀影視圖像的任意坐標(biāo)就可以實(shí)現(xiàn)多幀影視圖像的扭曲校正[12]。在校正多幀影視圖像扭曲的過(guò)程中,需要不斷輸出和運(yùn)算圖像像素位置,因此該過(guò)程是一種向后映射過(guò)程。

差值X1、Y1矩陣需要通過(guò)Biharmonic樣條曲面插值方法獲取,兩種矩陣同扭曲圖像對(duì)應(yīng)的坐標(biāo)值分別是X2和Y2。通過(guò)雙線性插值算法計(jì)算矩陣X1、Y1中的坐標(biāo)點(diǎn),得出圖像校正后的像素灰度值。

3 實(shí)驗(yàn)與論證

3.1 數(shù)據(jù)采集

本文采用南京普愛(ài)射線影像裝備有限公司的7200型號(hào)C臂CT機(jī)對(duì)多幀影視圖像進(jìn)行采集,C臂CT機(jī)參數(shù)如表1。

表1 C臂CT機(jī)參數(shù)

3.2 多幀影視圖像彩色化驗(yàn)證

應(yīng)用本文方法對(duì)多幀影視圖像彩色化效果進(jìn)行驗(yàn)證,圖2、圖3分別給出本文方法的兩組實(shí)驗(yàn)結(jié)果圖,其中圖2中的圖像為白天拍攝,圖3中的圖像為夜晚拍攝。圖2(a)為白天拍攝到的初始顏色線條圖,圖2(b)是應(yīng)用本文方法的Levin算法進(jìn)行局部色彩傳遞得到的圖像,圖2(c)是應(yīng)用本文方法的聯(lián)合雙邊過(guò)濾優(yōu)化得到的圖像;圖3(a)為夜晚拍攝得到的初始顏色線條圖,圖3(b)應(yīng)用本文方法的Levin算法進(jìn)行局部色彩傳遞得到的圖像,圖3(c)是應(yīng)用本文方法的聯(lián)合雙邊過(guò)濾優(yōu)化得到的圖像。

圖2 白天拍攝圖像

圖3 夜晚拍攝圖像

從圖2和圖3可以看出,對(duì)比初始顏色線條圖2(a)、圖3(a),本文應(yīng)用Levin算法得到的多幀影視圖像圖2(b)、圖3(b)不僅具有很好的觀賞價(jià)值,而且在細(xì)節(jié)和內(nèi)容方面也更具優(yōu)勢(shì)。但是通過(guò)Levin算法得到的多幀影視圖像局部色彩存在模糊現(xiàn)象,降低了圖像視覺(jué)效果;而本文方法應(yīng)用聯(lián)合雙邊過(guò)濾優(yōu)化得到的多幀影視圖像圖2(c)、圖3(c)圖像更清晰,不存在局部色彩模糊現(xiàn)象,處理結(jié)果較為理想,視覺(jué)效果也更佳,說(shuō)明本文方法的多幀影視圖像彩色化效果顯著,彩色化處理后圖像細(xì)膩,視覺(jué)效果更加理想。

3.3 扭曲校正驗(yàn)證

3.3.1 交叉點(diǎn)坐標(biāo)提取結(jié)果

應(yīng)用本文方法對(duì)C臂CT機(jī)采集的圖像進(jìn)行實(shí)驗(yàn),交叉點(diǎn)坐標(biāo)提取步驟見(jiàn)圖4。從中可以看出通過(guò)提取膨脹結(jié)構(gòu)元以及腐蝕結(jié)構(gòu)元,可以得到網(wǎng)格交叉點(diǎn)坐標(biāo)。其中膨脹結(jié)構(gòu)元是交叉點(diǎn)臨近兩組網(wǎng)格線寬度均值的25%,而腐蝕結(jié)構(gòu)元是膨脹后網(wǎng)格交叉點(diǎn)兩組網(wǎng)格線寬度均值的50%。

圖4 坐標(biāo)提取過(guò)程

分析圖4可知,從采集到原始圖像(a)可以看出,圖像中網(wǎng)格線存在明顯的扭曲現(xiàn)象,扭曲程度較重。圖4(b)是膨脹時(shí)正方形結(jié)構(gòu)元邊長(zhǎng)是4、腐蝕時(shí)正方形結(jié)構(gòu)元邊長(zhǎng)設(shè)置成8提取的結(jié)果。從圖4(b)可看出,膨脹時(shí)若結(jié)構(gòu)元邊長(zhǎng)過(guò)小,會(huì)導(dǎo)致部分區(qū)域腐蝕過(guò)度,無(wú)法提取所需交叉點(diǎn);圖4(c)是膨脹時(shí)將正方形邊長(zhǎng)設(shè)置成5、腐蝕時(shí)將正方形邊長(zhǎng)設(shè)置成8提取的結(jié)果。同樣從圖4(c)可看出,膨脹時(shí)結(jié)構(gòu)元邊長(zhǎng)設(shè)置過(guò)大,腐蝕后還能看到某些網(wǎng)格線。圖4(d)是用自適應(yīng)結(jié)構(gòu)元處理得到的結(jié)果。從圖4(d)可看出應(yīng)用本文方法的網(wǎng)格交叉處充滿了要提取的點(diǎn),說(shuō)明本文方法應(yīng)用坐標(biāo)提取算法,能有效保留網(wǎng)格交叉點(diǎn),可有效提取圖像坐標(biāo),為圖像扭曲校正提供可靠依據(jù)。

表2是應(yīng)用本文方法的兩種交叉點(diǎn)坐標(biāo)提取結(jié)果。

表2 交叉點(diǎn)坐標(biāo)

從表2可以看出,采用本文方法的自適應(yīng)結(jié)構(gòu)元提取的網(wǎng)格交叉點(diǎn)坐標(biāo)精度域理想交叉點(diǎn)坐標(biāo)之間的誤差極小,完全可滿足圖像扭曲校正時(shí)所要求的控制點(diǎn)坐標(biāo)值精度。

3.3.2 圖像扭曲校正

采用本文方法應(yīng)用的Biharmonic樣條插值方法對(duì)圖4(a)進(jìn)行圖像扭曲校正,得到的校正結(jié)果見(jiàn)圖5。

圖5 圖像校正結(jié)果

從圖5分析可得,原始圖像中扭曲的網(wǎng)格線已經(jīng)明顯變直,驗(yàn)證了本文方法對(duì)局部色彩傳遞的多幀影視圖像扭曲校正的可行性。

4 結(jié)論

本文提出基于局部色彩傳遞的多幀影視圖像扭曲校正方法,應(yīng)用Levin算法和聯(lián)合雙邊過(guò)濾方法對(duì)多幀影視圖像原始灰度圖像進(jìn)行局部色彩傳遞及優(yōu)化,在此基礎(chǔ)上,采用Biharmonic樣條多幀影視圖像扭曲校正方法,通過(guò)自適應(yīng)結(jié)構(gòu)元網(wǎng)格線坐標(biāo)提取網(wǎng)格線交叉點(diǎn)坐標(biāo),并用Biharmonic樣條對(duì)局部色彩傳遞的多幀影視圖像扭曲校正。經(jīng)實(shí)驗(yàn)驗(yàn)證,本文方法的多幀影視圖像彩色化處理效果好,且能夠通過(guò)提取交叉點(diǎn)坐標(biāo)有效校正局部色彩傳遞的多幀影視圖像。