基于seam carving的內(nèi)容感知圖像縮放算法研究

陳小娥　楊薇薇

摘要：圖像在變換成目標(biāo)尺寸的縮放過(guò)程中，均勻縮放容易造成圖像的失真，直接裁剪方式可能又會(huì)造成圖像重要內(nèi)容的缺失，seam carving算法是一種基于內(nèi)容感知的圖像自適應(yīng)縮放算法，能較好地解決以上問(wèn)題。該文對(duì)seam carving縮放算法進(jìn)行了研究，首先實(shí)現(xiàn)了圖像水平和垂直方向上的自適應(yīng)縮放算法，并與傳統(tǒng)的縮放算法進(jìn)行實(shí)驗(yàn)對(duì)比分析；然后對(duì)seam carving算法進(jìn)行改進(jìn)，通過(guò)人工干預(yù)選擇用戶感興趣或不感興趣區(qū)域，來(lái)更好地滿足用戶所需的縮放效果。

關(guān)鍵詞：Seam Carving；內(nèi)容感知；圖像縮放；人工干預(yù)

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2017）22-0190-03

隨著互聯(lián)網(wǎng)的不斷發(fā)展，多媒體顯示設(shè)備越來(lái)越多，具有多樣性和功能性等特點(diǎn)。由于各種顯示設(shè)備的尺寸不同，如何讓圖像自動(dòng)地調(diào)整自身尺寸大小或者改變其長(zhǎng)寬比來(lái)適應(yīng)不同的顯示設(shè)備，成為圖像處理中一個(gè)研究的熱點(diǎn)問(wèn)題。

常用的圖像縮放算法有均勻縮放、直接裁剪和插值算法等。均勻縮放一般只是機(jī)械地按照?qǐng)D像尺寸大小進(jìn)行縮放，容易造成圖像的失真。直接裁剪方法則有可能會(huì)移除掉圖像中的的一些重要信息內(nèi)容。插值算法如最近鄰插值等對(duì)提高圖像分辨率能力有限，會(huì)引起邊緣細(xì)節(jié)模糊等缺點(diǎn)。Avidan等提出了一種基于內(nèi)容感知的圖像自適應(yīng)縮放算法，即SeamCarving算法，該縮放方法主要通過(guò)定義一些能量函數(shù)來(lái)衡量圖像像素點(diǎn)的重要性，然后通過(guò)動(dòng)態(tài)規(guī)劃來(lái)尋找累積能量值最小的像素線，通過(guò)不斷刪除這些能量最小像素線達(dá)到縮小圖像的目的；而通過(guò)增加這些能量最小像素線達(dá)到放大圖像的目的。自Avidan提出基于Seam Carving的圖像縮放算法之后，很多學(xué)者對(duì)該算法進(jìn)行了相關(guān)研究和改進(jìn)，主要從能量函數(shù)的定義和裁剪路徑的選擇兩方面進(jìn)行改進(jìn)。如文獻(xiàn)通過(guò)重新定義顯著能量值、優(yōu)化查找方法以及結(jié)合雙線性插值限制抽取像素線的數(shù)目等方法來(lái)避免圖像的重要內(nèi)容產(chǎn)生扭曲和過(guò)度抽??；文獻(xiàn)結(jié)合可計(jì)算美學(xué)和內(nèi)容感知圖像縮放，設(shè)計(jì)了一種新的結(jié)合美學(xué)原則的圖像縮放算法，使得縮放效果既保留了圖像的重要內(nèi)容，同時(shí)也具有一定的美感。文獻(xiàn)為解決圖像重要區(qū)域誤判問(wèn)題，綜合在區(qū)域級(jí)別時(shí)計(jì)算圖像顯著性SRDS的方法，但該方法較依賴于圖像顯著性檢測(cè)的準(zhǔn)確度。

本文首先在Avidan提出的Seam Carving算法的基礎(chǔ)上，實(shí)現(xiàn)了圖像水平方向和垂直方向上的自適應(yīng)縮小算法，同時(shí)與傳統(tǒng)的縮小算法進(jìn)行比較，并分析實(shí)驗(yàn)結(jié)果；接著，提出了一種增加人工干預(yù)的改進(jìn)算法，即通過(guò)人工干預(yù)選擇圖像的感興趣區(qū)域或者不感興趣區(qū)域，以此修改圖像中某些區(qū)域的像素能量值來(lái)達(dá)到保護(hù)該區(qū)域（感興趣區(qū)域）或者刪除該區(qū)域（非感興趣區(qū)域）的目的，由此得到用戶所需的縮放效果。

1算法思想

1.1Seam Carving算法思想

Seam Carving算法（以下簡(jiǎn)稱sC算法）的主要思路是通過(guò)插入或刪除圖像中包含盡可能多的相對(duì)不重要像素點(diǎn)的像素線來(lái)將改變圖像尺寸，使其變換到目標(biāo)尺寸。為了保持圖像的原有特征，被插入或刪除的像素線應(yīng)該是在圖像中相對(duì)不重要的。Avidan提出用能量函數(shù)來(lái)定義像素點(diǎn)的重要性，本文用圖像梯度的一階范數(shù)作為能量函數(shù)，具體公式如下：

具體方法是從圖像的第二行到最后一行進(jìn)行遍歷，然后按照上述公式計(jì)算累計(jì)能量值。最后一行中得到的累計(jì)能量值最小的像素點(diǎn)即所要求的能量值最小的像素線的終點(diǎn)。接著，由該點(diǎn)進(jìn)行回溯，即可以找到能量值最小的像素線。

1.2改進(jìn)的算法

在SC算法縮放過(guò)程中，該算法主要通過(guò)能量函數(shù)來(lái)定義像素點(diǎn)的重要性，對(duì)于某些圖片的縮放效果并不樂(lè)觀，可能會(huì)出現(xiàn)重要對(duì)象或者區(qū)域錯(cuò)誤判斷的情況。因此，為了得到更符合人類視覺(jué)機(jī)制的縮放效果，也為了使人們能夠根據(jù)需要獲得想要的縮放效果，提出了一種人工干預(yù)選擇感興趣或不感興趣區(qū)域的方法。

改進(jìn)的算法思路是，首先用戶可以通過(guò)鼠標(biāo)選擇用戶感興趣或不感興趣區(qū)域，通過(guò)將感興趣區(qū)域的像素點(diǎn)的能量值人為地設(shè)置為最大值，而不感興趣區(qū)域的像素點(diǎn)的能量值人為地設(shè)置為最小值。根據(jù)SC原理，當(dāng)我們把感興趣的對(duì)象或者區(qū)域的像素點(diǎn)的能量值設(shè)置為較大時(shí)，被SC算法挑選出來(lái)的最小能量值所形成的像素線就基本不會(huì)經(jīng)過(guò)這些區(qū)域或者對(duì)象，這些區(qū)域就避免了被提取和處理，達(dá)到保護(hù)圖像感興趣區(qū)域或重要信息內(nèi)容的目的。而將不感興趣區(qū)域的對(duì)象或區(qū)域設(shè)置為最小值時(shí)，就大大地增加了該區(qū)域被算法自動(dòng)挑選出來(lái)的概率，甚至于達(dá)到移除該不感興趣對(duì)象或區(qū)域的效果。的過(guò)程，圖中每個(gè)方格代表一個(gè)像素，左上角的數(shù)字代表該像素點(diǎn)本身的能量值，右下角的數(shù)字代表到當(dāng)前像素點(diǎn)的累積能量值，圖1（a）為原SC算法動(dòng)態(tài)規(guī)劃求解像素線過(guò)程，其中箭頭表示累積的方向，灰色的箭頭表示累積得到最小能量值的方向。由圖可以看出最后一行為最終累積的能量值，最小值為7（最后一行第2個(gè)像素點(diǎn)和第5個(gè)像素點(diǎn)），由此得到兩條能量值最小的像素線，分別由灰色的箭頭回溯路徑可以得到，由圖可看出依次是2→4→1和1→2→4。若正中心結(jié)點(diǎn)（第2行第3列）為用戶感興趣區(qū)域，則通過(guò)人工干預(yù)，修改該結(jié)點(diǎn)本身的能量值為某極大值，如圖（b）所示，經(jīng)修改后，原本被挑選出來(lái)的經(jīng)過(guò)中心結(jié)點(diǎn)的像素線就得到了保護(hù)，從而達(dá)到保護(hù)感興趣區(qū)域的目的。反之，假設(shè)正中心結(jié)點(diǎn)為用戶非感興趣區(qū)域，同樣修改該結(jié)點(diǎn)本身的能量值為某極小值，則如圖（c）所示，優(yōu)先被挑選出來(lái)的像素線經(jīng)過(guò)了該非感興趣區(qū)域。

2實(shí)驗(yàn)結(jié)果及分析

2.1水平方向縮放

本文首先實(shí)現(xiàn)SC水平方向上的縮小算法，然后將結(jié)果與傳統(tǒng)縮放方法進(jìn)行比較，見(jiàn)圖2，其中f（a）為原圖，圖像尺寸為250*250，（b）、（c）、（d）分別為均勻縮放、直接裁剪和本文SC算法縮放后的結(jié)果圖，圖像尺寸為250*160。由圖可以看出采用傳統(tǒng)均勻縮放算法處理后，圖片中魚和荷花荷葉主體部分被壓縮變形了；而直接裁剪算法的結(jié)果是圖像的一些細(xì)節(jié)部分，如右邊的魚的嘴部部分圖像被裁剪掉了，丟失了一些信息；而本文自適應(yīng)圖像縮放處理后，能夠較好的保護(hù)圖像的主體內(nèi)容不變形，不丟失。

2.2垂直方向縮放

垂直方向也同樣可以進(jìn)行縮放。如圖3所示，其中（a）為原始圖像，圖像尺寸為300*179，（b）、（c）、（d）為縮放后的結(jié)果圖，圖像尺寸為220*179，分別為直接裁剪、均勻縮放和SC算法。直接裁剪算法，使得圖像中右側(cè)的樹根沒(méi)辦法完全顯示出來(lái)；均勻縮放使圖片中主體內(nèi)容左側(cè)的樹產(chǎn)生了一定的變形；而SC算法能夠較好的保護(hù)圖像的整體顯示效果。

2.3人工干預(yù)感興趣區(qū)域縮放

經(jīng)過(guò)實(shí)驗(yàn)測(cè)試，改進(jìn)的算法通過(guò)人工選擇圖像感興趣區(qū)域后進(jìn)行縮放，相對(duì)原SC算法取得了較好的縮放效果，特別是原SC算法誤判視覺(jué)關(guān)注區(qū)域的時(shí)候。如圖4所示，其中（a1為原始圖像，圖像尺寸為250*338；（c）為原SC算法放大后的效果圖，圖像尺寸為250*388，即水平加寬50，由圖可以看出圖片左側(cè)人物發(fā)生了變形，因?yàn)槿宋锷眢w內(nèi)部區(qū)域所在的像素梯度一階導(dǎo)數(shù)能量值在此圖中剛好比較小，如（b）所示。（d）圖是人工干預(yù)選擇感興趣的區(qū)域，也剛好是本圖的視覺(jué)關(guān)注區(qū)域，用紅色畫筆選出該區(qū)域。（e）圖是用改進(jìn)的算法得到的放大效果圖，由圖可明顯看出該方法有效地保護(hù)了圖片中感興趣區(qū)域或視覺(jué)重要區(qū)域不被破壞。

2.4移除對(duì)象的縮放

同樣，改進(jìn)的算法通過(guò)人工選擇圖像非感興趣區(qū)域后進(jìn)行縮放，可以移除圖像中指定的非感興趣區(qū)域或?qū)ο?。如圖5所示，（a）圖為原圖，（b）圖為人工選擇待移除對(duì)象區(qū)域（圖中穿紅色衣服的小孩），選擇后本文算法將紅色區(qū)域的像素點(diǎn)的能量值改為極小值，從而使得挑選的像素線經(jīng)過(guò)該區(qū)域的概率大大增大，達(dá)到刪除的目的。（c）圖為移除對(duì)象后的縮小結(jié)果圖。

3結(jié)束語(yǔ)

本文實(shí)現(xiàn)了基于Seam Carving的圖像縮放算法，包括水平方向和垂直方向的縮放，并將它們分別跟傳統(tǒng)的縮放算法進(jìn)行比較。同時(shí)對(duì)縮放算法進(jìn)行了改進(jìn)，增加了人工干預(yù)，通過(guò)選擇感興趣區(qū)域或非感興趣區(qū)域，修改對(duì)應(yīng)區(qū)域像素點(diǎn)的能量值，從而使得挑選的像素線更符合人們想要的結(jié)果，達(dá)到所期望的縮放效果。