一種基于嵌入式系統(tǒng)的快速去隔行算法

岳雷飛, 蔣建國(guó),2, 齊美彬,2, 楊立賓

(1.合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院,安徽 合肥 230009;2.合肥工業(yè)大學(xué) 安全關(guān)鍵工業(yè)測(cè)控技術(shù)教育部工程研究中心,安徽合肥230009)

高質(zhì)量的去隔行是實(shí)現(xiàn)隔行到逐行掃描格式轉(zhuǎn)換的關(guān)鍵技術(shù),其目的是消除隔行掃描中的行間閃爍、行蠕動(dòng)、并行和鋸齒化等固有缺陷[1-3]。去隔行濾波大致可以分為線(xiàn)性濾波、運(yùn)動(dòng)自適應(yīng)和運(yùn)動(dòng)補(bǔ)償3類(lèi)。線(xiàn)性濾波主要包括行復(fù)制、行平均及場(chǎng)復(fù)制等,優(yōu)點(diǎn)是結(jié)構(gòu)簡(jiǎn)單,計(jì)算量小;缺點(diǎn)是行復(fù)制、行平均并不能增加圖像的垂直分辨率,場(chǎng)復(fù)制雖然可以增加圖像垂直分辨率,但在處理運(yùn)動(dòng)圖形時(shí)會(huì)帶來(lái)運(yùn)動(dòng)鋸齒、羽化等缺陷。運(yùn)動(dòng)自適應(yīng)插值算法是根據(jù)運(yùn)動(dòng)信息將圖像劃分為運(yùn)動(dòng)區(qū)域和靜止區(qū)域,對(duì)于靜止區(qū)域,采用場(chǎng)間線(xiàn)性濾波算法,對(duì)于運(yùn)動(dòng)區(qū)域,則采用場(chǎng)內(nèi)非線(xiàn)性濾波算法。這類(lèi)方法的優(yōu)點(diǎn)是在靜止區(qū)域能夠增加垂直分辨率,并能消除運(yùn)動(dòng)區(qū)域的羽化現(xiàn)象;缺點(diǎn)是無(wú)法提升運(yùn)動(dòng)區(qū)域的垂直分辨率,而且對(duì)于運(yùn)動(dòng)估計(jì)的失誤會(huì)帶來(lái)差值錯(cuò)誤等。運(yùn)動(dòng)補(bǔ)償法最大限度地利用了視頻信號(hào)時(shí)間和空間上的相關(guān)信息,是3類(lèi)算法中性能最好的一類(lèi)。它先進(jìn)行精確的運(yùn)動(dòng)估計(jì),然后沿著運(yùn)動(dòng)軌跡進(jìn)行插值。但這類(lèi)算法對(duì)于運(yùn)動(dòng)估計(jì)誤差極其敏感,錯(cuò)誤的運(yùn)動(dòng)估計(jì)會(huì)造成局部失真,而且運(yùn)算復(fù)雜度很高,電路資源的消耗很大[4,5]。

本文針對(duì)嵌入式系統(tǒng)對(duì)實(shí)時(shí)性的要求,提出一種新型的基于運(yùn)動(dòng)自適應(yīng)的去隔行算法,主要包括改進(jìn)的4場(chǎng)運(yùn)動(dòng)檢測(cè)、RELA插值算法2部分內(nèi)容。

1 相關(guān)工作

運(yùn)動(dòng)自適應(yīng)的方法分為2個(gè)關(guān)鍵部分：運(yùn)動(dòng)檢測(cè)和場(chǎng)內(nèi)插值。運(yùn)動(dòng)檢測(cè)常見(jiàn)的有2場(chǎng)檢測(cè)、3場(chǎng)檢測(cè)、4場(chǎng)檢測(cè)。場(chǎng)內(nèi)插值常見(jiàn)的有ELA、3點(diǎn)中值濾波等。

1.1 基于場(chǎng)的運(yùn)動(dòng)檢測(cè)

視頻信號(hào)場(chǎng)結(jié)構(gòu)示意圖,如圖1所示。

圖1 視頻信號(hào)場(chǎng)結(jié)構(gòu)示意圖

為了敘述方便,本文引入2個(gè)名詞和1個(gè)函數(shù)[5]：漏判,指運(yùn)動(dòng)區(qū)域被判為靜止;誤判,指靜止區(qū)域被判為運(yùn)動(dòng);單位階躍函數(shù)為：

(1)2場(chǎng)檢測(cè)是利用當(dāng)前場(chǎng)待插值的點(diǎn)與前一場(chǎng)的對(duì)應(yīng)點(diǎn)之間的像素差值作為判斷的依據(jù),如果差值大于某個(gè)固定的閾值Th,此點(diǎn)則判為運(yùn)動(dòng),否則判為靜止[6]。2場(chǎng)檢測(cè)的優(yōu)點(diǎn)是計(jì)算量非常小,只需要一場(chǎng)的緩存;缺點(diǎn)是檢測(cè)的結(jié)果非常容易受噪聲的影響,經(jīng)常出現(xiàn)漏檢和誤檢,導(dǎo)致去隔行后的圖像出現(xiàn)嚴(yán)重的瑕疵。

2場(chǎng)檢測(cè)的計(jì)算公式為：

其中,F(i,j;n-1)表示前一場(chǎng)對(duì)應(yīng)位置的點(diǎn),n表示場(chǎng)的序號(hào);F′(i,j;n)表示當(dāng)前不存在的點(diǎn),為了方便運(yùn)動(dòng)檢測(cè),用其上下兩像素的平均值代替;mf表示運(yùn)動(dòng)標(biāo)志;Th是閾值。

(2)3場(chǎng)檢測(cè)是利用當(dāng)前場(chǎng)的前一場(chǎng)和后一場(chǎng)對(duì)應(yīng)點(diǎn)的像素差值d作為判斷依據(jù),如果d大于某個(gè)設(shè)定的閾值Th,此點(diǎn)則判為運(yùn)動(dòng),否則判為靜止[6]。3場(chǎng)檢測(cè)計(jì)算量很小,區(qū)別是它需要2場(chǎng)緩存,檢測(cè)結(jié)果比2場(chǎng)檢測(cè)稍好,但是仍然存在漏檢和誤檢,導(dǎo)致圖像仍然存在瑕疵。

3場(chǎng)檢測(cè)的計(jì)算公式為：

(3)4場(chǎng)檢測(cè)是利用奇偶性相同的場(chǎng)之間的差值作為判斷依據(jù)[6],它可以看成是3場(chǎng)檢測(cè)的改進(jìn),將2組同極性場(chǎng)的檢測(cè)結(jié)果進(jìn)行疊加,使得到的檢測(cè)結(jié)果更加準(zhǔn)確,減少了漏檢和誤檢的概率,去隔行后的圖像質(zhì)量也因此得到一定的改善。4場(chǎng)檢測(cè)的缺點(diǎn)是復(fù)雜度和2場(chǎng)、3場(chǎng)相比稍有增加,并且需要3場(chǎng)緩存。鑒于圖像質(zhì)量的改善,這種時(shí)間和空間的額外開(kāi)銷(xiāo)還是值得的。

4場(chǎng)檢測(cè)的計(jì)算公式為：

1.2 改進(jìn)后的4場(chǎng)運(yùn)動(dòng)檢測(cè)

定義差異矩陣為：

當(dāng)前點(diǎn)的坐標(biāo)為(i,j),i表示列標(biāo),j表示行標(biāo)。像素的灰度值用F(i,j;n)表示,Nth表示數(shù)目閾值,一般取5。

本文提出的運(yùn)動(dòng)檢測(cè)方法降低了噪聲的干擾,降低了漏判發(fā)生的概率,雖然誤判的概率有所增加,但是漏判對(duì)圖像質(zhì)量的影響比誤判更為嚴(yán)重,這是結(jié)合插值的方法來(lái)考慮的。對(duì)靜止區(qū)域,采用場(chǎng)間插值;對(duì)運(yùn)動(dòng)區(qū)域,采用場(chǎng)內(nèi)插值。誤判發(fā)生時(shí),原本該采用場(chǎng)間插值的地方采用了場(chǎng)內(nèi)插值,只是降低了圖像的清晰度,不會(huì)造成明顯的瑕疵;漏判發(fā)生時(shí),原本該采用場(chǎng)內(nèi)插值的地方采用了場(chǎng)間插值,這樣會(huì)造成明顯的瑕疵,因此本文提出的方法是可行的。

2 場(chǎng)內(nèi)插值

去隔行中常用的插值方法是ELA(Edge-Based Line Average,簡(jiǎn)稱(chēng) ELA)[7-10],ELA的做法是求出像素插值最小的方向,取此方向2像素的平均值作為插值結(jié)果,如圖2所示。

圖2 邊沿線(xiàn)平均法示意圖

ELA的優(yōu)點(diǎn)是有效保護(hù)了邊緣,增加了圖像的清晰度,但是ELA本身存在一些缺陷,因?yàn)椴钪底钚〉姆较蚋渌袼夭灰欢ㄌ幱谕粎^(qū)域,此時(shí)插值后圖像會(huì)出現(xiàn)蟲(chóng)洞;另外,如果待插像素的上一行和下一行分別對(duì)應(yīng)邊緣過(guò)渡區(qū)的上沿和下沿,此時(shí)插值后的圖像中的物體邊緣會(huì)出現(xiàn)虛像。針對(duì)以上缺陷,根據(jù)最相鄰點(diǎn)相關(guān)性最大這一原則[7],采用一種分級(jí)(Rank)邊緣自適應(yīng)算法,簡(jiǎn)寫(xiě)為 RELA,算法步驟如下：

(1)求出5個(gè)方向像素插值的最小值,記為Dmin。

(2)如果Dmin＞Th,轉(zhuǎn)到步驟(3),否則,轉(zhuǎn)到步驟(4)。

(3)取(c+h)/2作為插值。

(4)由近及遠(yuǎn),找到第1個(gè)插值小于閾值的方向,取此方向兩者的平均值作為插值結(jié)果。

RELA算法的流程如圖3所示,圖3中各個(gè)參數(shù)的含義見(jiàn)表1所列。

圖3 RELA算法流程圖

表1 圖3中各個(gè)符號(hào)的含義

3 實(shí)驗(yàn)結(jié)果

場(chǎng)檢測(cè)法的效果對(duì)比,如圖4所示。

圖4 場(chǎng)檢測(cè)法效果對(duì)比

由圖4可以看出,2場(chǎng)檢測(cè)出現(xiàn)較多誤檢,圖片左邊應(yīng)該是靜止的地方被判為運(yùn)動(dòng),而且人的面部出現(xiàn)漏檢,易受噪聲的干擾;3場(chǎng)檢測(cè)采用相同奇偶性?xún)蓤?chǎng)的差值做判斷,誤檢減少,漏檢仍然存在,如圖4b中人臉的面部;4場(chǎng)檢測(cè)得到的運(yùn)動(dòng)區(qū)域比真實(shí)區(qū)域稍大,插值的結(jié)果是運(yùn)動(dòng)目標(biāo)周?chē)撵o止像素細(xì)節(jié)丟失,同時(shí)這種區(qū)域的擴(kuò)展也引入了誤檢,容易受噪聲的影響。

相比之下,本文采用的檢測(cè)方法誤檢較少,人的面部漏檢相對(duì)較少,檢測(cè)結(jié)果比較接近真實(shí)的運(yùn)動(dòng)區(qū)域。

ELA和 RELA的插值效果對(duì)比,如圖5所示。由圖5a可以看出,ELA算法在亮度緩變區(qū)域、邊緣不是很清晰的地方產(chǎn)生了“蟲(chóng)洞點(diǎn)”,影響了去隔行后圖像的質(zhì)量。由圖5b可見(jiàn),改進(jìn)后的RELA算法則很好地克服了這個(gè)缺點(diǎn),但是也要看到,分級(jí)造成的邊緣階梯現(xiàn)象加大,這是本文算法以后有待改進(jìn)的地方。

圖5 插值效果對(duì)比

針對(duì)4種不同的序列分別采用4種不同的去隔行方法的效果對(duì)比,如圖6所示。其中,Stefan(運(yùn)動(dòng)比較復(fù)雜,前景和背景都在運(yùn)動(dòng),細(xì)節(jié)也較多,運(yùn)動(dòng)檢測(cè)的方法失效)與Flower和Mobile 4種方法差不多,這是因?yàn)镕lower序列紋理復(fù)雜,RELA插值的結(jié)果準(zhǔn)確性降低,運(yùn)動(dòng)區(qū)域少,運(yùn)動(dòng)檢測(cè)保留細(xì)節(jié)的功能未發(fā)揮出來(lái)。而Mobile則是運(yùn)動(dòng)和紋理都比較復(fù)雜,運(yùn)動(dòng)檢測(cè)保留細(xì)節(jié)的效果顯露出來(lái)。

本文方法對(duì)類(lèi)似News的序列(運(yùn)動(dòng)簡(jiǎn)單,紋理不太復(fù)雜)符合大部分的應(yīng)用情況。對(duì)于運(yùn)動(dòng)和紋理都比較復(fù)雜的序列,最好的方式是采用運(yùn)動(dòng)補(bǔ)償?shù)姆椒ā?/p>

圖6 測(cè)試序列PSN R對(duì)比

4 結(jié)束語(yǔ)

去隔行并沒(méi)有一個(gè)固定的好方法,應(yīng)用的場(chǎng)合不同,要求也不同,相應(yīng)的去隔行的算法也不同。從實(shí)驗(yàn)結(jié)果可以看出,本文提出的算法總體上取得了較好的效果,而且和傳統(tǒng)的運(yùn)動(dòng)自適應(yīng)的算法相比并沒(méi)有顯著增加運(yùn)算復(fù)雜度,非常適合應(yīng)用在對(duì)實(shí)時(shí)性要求較高的場(chǎng)合。

本文提出的算法基于運(yùn)動(dòng)自適應(yīng)的思想,包含2部分內(nèi)容：改進(jìn)的4場(chǎng)運(yùn)動(dòng)檢測(cè)和分級(jí)邊緣自適應(yīng)插值(RELA),其中每一種改進(jìn)都可以單獨(dú)提取出來(lái)和其它同類(lèi)的方法結(jié)合使用,從而得到滿(mǎn)足不同性能和時(shí)間要求的新方法。

[1]Bellers E B,de Haan G.Deinterlacing：a key technology for scan rate conversion[M].Amsterdam,The Netherlands：Elsevier,2000：3-8.

[2]de Haan G,Bellers E B.Deinterlacing：an overview[C]//Proceedings of the IEEE,1998,86(9)：1839-1857.

[3]Fan Yucheng.Deinterlacing system and technology overview and discussion[C]//International Workshop on Imaging Systems and Techniques,2009：287-290.

[4]Shen Yanfei,Zhang Dongming,Zhang Yongdong,et al.M otion adaptive deinterlacing of video data with texture detection[J].IEEE T ransactions on Consumer Electronics,2006,52(4)：1403-1408.

[5]Yu L,Li J,Zhang Y,et al.Motion adaptive deinterlacing with accurate motion detection and anti-aliasing interpolation filter[J].IEEE T ransactions on Consumer Electronics,2006,52(2)：712-717.

[6]Koivunen T.Motion detection of an interlaced signal[J].IEEE T ransactions on Consumer Electronics,1994,40(3)：753-760.

[7]Lee D H.A new edge based Iitra-field interpolation method for deinterlacing using locally adaptive-thresholded binary image[J].IEEE T ransactions on Consumer Electronics,2008,54(1)：110-115.

[8]Chang Y L,Lin S F,Chen L G.Extended intelligent edgebased line average with its implementation and test method[C]//Proceedings of the ISCAS,2004：341-344.

[9]Yoo H,Jeong J.Direction-o riented interpolation and it's application to deinterlacing[J].IEEE Transactions on Consumer Electronics,2002,48(4)：954-962.

[10]Koo H,Lee H S,Cho N I.A new EDI-based deinterlacing algorithm[J].IEEE T ransactions on Consumer Electronics,2007,51(3)：1494-1499.