視頻檢索綜述

【中圖分類號(hào)】TP39 【文獻(xiàn)標(biāo)識(shí)碼】A 【文章編號(hào)】1673-8209(2009)9-0246-02

作者簡(jiǎn)介:弓洪瑋( 1982- )， 女(回)， 籍貫北京，研究實(shí)習(xí)員， 主要研究方向機(jī)器人智能控制。

【摘要】視頻檢索把圖像檢索、模式識(shí)別、圖像數(shù)據(jù)庫(kù)技術(shù)等技術(shù)成果結(jié)合了起來(lái)，有著廣闊的發(fā)展前景，并將在許多領(lǐng)域中道得到應(yīng)用。本文概述了視頻檢索的發(fā)展歷史和研究狀況，給出當(dāng)前視頻檢索領(lǐng)域主要的研究方法和策略， 介紹了基于DCT壓縮域圖像檢索新方案。進(jìn)一步結(jié)合視頻檢索自身的特點(diǎn)和難點(diǎn)，提出了今后視頻檢索研究的重點(diǎn)和方向。

【關(guān)鍵詞】視頻檢索;圖像特征;DCT壓縮域圖像

視頻檢索就是要從大量的視頻數(shù)據(jù)中找到所需的視頻片斷。根據(jù)給出例子或是特征描述，系統(tǒng)就能夠自動(dòng)的找到所需的視頻片斷點(diǎn)，即實(shí)現(xiàn)基于內(nèi)容的視頻檢索。

根據(jù)提交視頻內(nèi)容的不同，視頻檢索一般分為鏡頭檢索和片段檢索。一般來(lái)說(shuō)，片段的概念等價(jià)于場(chǎng)景的概念，也是由一連串語(yǔ)義相關(guān)的連續(xù)鏡頭構(gòu)成，不同的是，片段可以是一段完整場(chǎng)景的部分或者全部。目前視頻檢索的多數(shù)研究還集中在鏡頭檢索上。而片段檢索方面的研究則剛剛開(kāi)始。實(shí)際上，從用戶的角度分析，他們對(duì)視頻數(shù)據(jù)庫(kù)的查詢通常會(huì)是一個(gè)視頻片段而很少會(huì)是單個(gè)的物理鏡頭。從信息量的角度分析，由幾個(gè)鏡頭組成的視頻片段有比單個(gè)鏡頭更多的語(yǔ)義，它可以表示用戶感興趣的事件，因此，查詢的結(jié)果也比較有意義。例如在新聞中檢索感興趣的事件、電影中檢索喜歡的情節(jié)、體育節(jié)目中檢索喜愛(ài)的體育運(yùn)動(dòng)、電視臺(tái)檢索某條廣告是否播出等。

由于視頻拍攝的多樣性和后期編輯的復(fù)雜性，片段的相似性有多種可能。把片段檢索分為這樣兩種類型:(1)精確檢索:要檢索的片段與例子片段完全一樣，具有同樣的鏡頭和幀序列;(2)相似性檢索:有這樣兩種情況:一種是對(duì)原視頻進(jìn)行了各種編輯，如插入刪除幀(慢鏡頭快鏡頭)、插入刪除鏡頭、交換幀鏡頭順序等;另一種是不同拍攝的同類節(jié)目，如不同的足球比賽等。實(shí)際的視頻節(jié)目一般都是這兩種類型的綜合，其中，相似性檢索更為普遍。因此，一個(gè)好的片段檢索算法，應(yīng)該能夠在合理的時(shí)間內(nèi)同時(shí)進(jìn)行這兩種類型片段的檢索。

1 視頻檢索的關(guān)鍵技術(shù)

一個(gè)完整的視頻檢索系統(tǒng)的關(guān)鍵技術(shù)主要有:關(guān)鍵幀提取、圖像特征提取、圖像特征的相似性度量、查詢方式、以及視頻片段匹配等方法。

1.1 關(guān)鍵幀提取:關(guān)鍵幀是用于描述一個(gè)鏡頭的關(guān)鍵圖像幀， 它反映一個(gè)鏡頭的主要內(nèi)容。關(guān)鍵幀的選取一方面必須能夠反映鏡頭中的主要事件， 因而描述應(yīng)盡可能地準(zhǔn)確完全， 另一方面要便于檢索。關(guān)鍵幀的選取方法很多， 比較經(jīng)典的有幀平均法和直方圖平均法。

1.2 圖像特征提取:特征提取可以針對(duì)圖像內(nèi)容的底層物理特征進(jìn)行提取，如顏色直方圖、圖像輪廓特征等。特征的表示方式有三種:數(shù)值信息、關(guān)系信息和文字信息。目前，多數(shù)系統(tǒng)采用的都是數(shù)值信息。

1.3 相似性度量:在鏡頭檢索上，早期的工作主要是從鏡頭中提取關(guān)鍵幀，把鏡頭檢索轉(zhuǎn)化為圖像檢索。例如通常情況下，圖像的特征向量可看作是多維空間中的一點(diǎn)，因此很自然的想法就是用特征空間中點(diǎn)與點(diǎn)之間的距離來(lái)代他們的匹配程度，距離度量是一個(gè)比較常用的方法，此外還有相關(guān)計(jì)算、關(guān)聯(lián)系數(shù)計(jì)算等。此外，目前研究的問(wèn)題還在于怎樣對(duì)視頻中的時(shí)間信息充分進(jìn)行利用。

在片段檢索上，研究方法可以分為兩類:(1)把視頻片段分為片段、幀兩層考慮，片段的相似性利用組成它的幀的相似性來(lái)直接度量;(2)把視頻片段分為片段、鏡頭、幀3層考慮， 片段的相似性通過(guò)組成它的鏡頭的相似性來(lái)度量，而鏡頭的相似性通過(guò)它的一個(gè)關(guān)鍵幀或所有幀的相似性來(lái)度量。方法(1)的缺點(diǎn)在于限制相似的片段必須遵守同樣的時(shí)間順序，同時(shí)這種基于每幀的比較，也使得檢索速度比較慢。方法(2)的思想比較合理，但這種方法在已有的研究中并沒(méi)有很好解決片段檢索的問(wèn)題。

1.4 查詢方式:由于圖像特征本身的復(fù)雜性，對(duì)查詢條件的表達(dá)也具有多樣性，使用的特征不同，對(duì)查詢的表達(dá)方式也不一樣。目前查詢方式基本上可歸納為以下幾種:底層物理特征查詢、自定義特征查詢、局部圖像查詢和語(yǔ)義特征查詢。

1.5 視頻片斷的匹配:由于同一鏡頭連續(xù)圖像幀的相似性，使得經(jīng)常出現(xiàn)同一樣本圖像的多個(gè)相似幀的出現(xiàn)，因而需要在查詢到的一系列視頻圖像中，找出最佳的匹配圖像序列。已經(jīng)有研究提出了最優(yōu)匹配法、最大匹配法和動(dòng)態(tài)規(guī)劃算法等。

2 檢索性能的評(píng)價(jià)

對(duì)于視頻檢索系統(tǒng)的評(píng)價(jià)并沒(méi)有一個(gè)統(tǒng)一的標(biāo)準(zhǔn)，我們可以通過(guò)計(jì)算一些參數(shù)來(lái)衡量。如對(duì)于視頻片斷我們可以通過(guò)全查率和查準(zhǔn)率來(lái)評(píng)價(jià);對(duì)于使用某一個(gè)基準(zhǔn)查出的K幅圖像，又可以用正確檢測(cè)數(shù)、錯(cuò)誤檢測(cè)數(shù)、漏檢數(shù)和正確淘汰數(shù)來(lái)表示。對(duì)于檢索平臺(tái)還有一個(gè)重要的參數(shù)檢索效率來(lái)評(píng)價(jià)檢索的響應(yīng)時(shí)間。

3 基于DCT壓縮域圖像檢索新方案

現(xiàn)在我們用到的視頻檢索方案是基于非壓縮域的，必須將壓縮的視頻數(shù)據(jù)解壓后再進(jìn)行比對(duì)，這樣消耗了大量的實(shí)際，因而提出一種基于DCT壓縮域圖像檢索方案，作為以后的進(jìn)一步研究和改進(jìn)方向。

基于壓縮域的圖像檢索技術(shù)，實(shí)際上是把圖像的壓縮技術(shù)與檢索技術(shù)融合在一起，能夠在不解碼(或不完全解碼)的情況下抽取到圖像可用于比對(duì)的信息特征。對(duì)于這種信息特征的提取，可以利用DCT域的一些特征，主要包括顏色特征、輪廓特征和輪廓直方圖等。

我們目前采用的視頻圖像壓縮格式是H.264/AVC，它目前采用與MPEG-2主類相同的4:2:0采樣結(jié)構(gòu)。并且視頻圖像幀或場(chǎng)都可以劃分為固定大小的宏塊，宏塊是解碼的基本模塊單元，通常是一個(gè)16×16亮度像素和兩個(gè)8×8彩色分量像素的長(zhǎng)方型區(qū)域。所有宏塊的亮度和色度采樣在空間或時(shí)間上進(jìn)行預(yù)測(cè)，對(duì)預(yù)測(cè)殘余進(jìn)行變換編碼，為了實(shí)現(xiàn)變換編碼，每個(gè)顏色分量的預(yù)測(cè)殘余要再劃分為更小的4×4塊，每塊進(jìn)行DCT整數(shù)變換，變換系數(shù)被量化，最后是熵編碼。所以經(jīng)過(guò)熵解碼后就可以得到DCT系數(shù)。

把圖像中所有16×16幀內(nèi)模式的宏塊中的DCT直流系數(shù)按照塊的空間位置關(guān)系重新組織在一起，就構(gòu)成了DC 圖。DC圖是一幅圖像的低頻近似，雖然丟掉了圖像的中高頻信息，但仍然反映了圖像的主要內(nèi)容，可以看作是整幅圖像的縮圖，因此可以根據(jù)DC 圖直接進(jìn)行圖像檢索。

4 國(guó)內(nèi)外視頻檢索的發(fā)展現(xiàn)狀

目前，國(guó)內(nèi)外已研發(fā)出了多個(gè)基于內(nèi)容的視頻檢索系統(tǒng)，主要有:

(1)QBIC系統(tǒng):QBIC (Query By Image Content)是由IBM Almaden研究中心開(kāi)發(fā)的，是“基于內(nèi)容”檢索系統(tǒng)的典型代表。QBIC系統(tǒng)允許使用例子圖像、用戶構(gòu)建的草圖和圖畫及其選擇的顏色和紋理模式、以及鏡頭和目標(biāo)運(yùn)動(dòng)等圖形信息，對(duì)大型圖像和視頻數(shù)據(jù)庫(kù)進(jìn)行查詢。視頻方面主要利用了顏色、紋理、形狀、攝像機(jī)和對(duì)象運(yùn)動(dòng)來(lái)描述內(nèi)容。

(2)VisualSeek系統(tǒng):VisualSeek是美國(guó)哥倫比亞大學(xué)電子工程系與電信研究中心圖像和高級(jí)電視實(shí)驗(yàn)室共同研究的、一種在互聯(lián)網(wǎng)上使用的“基于內(nèi)容”的檢索系統(tǒng)。它實(shí)現(xiàn)了互聯(lián)網(wǎng)上的“基于內(nèi)容”的圖像/視頻檢索系統(tǒng)，提供了一套供人們?cè)赪eb上搜索和檢索圖像及視頻的工具。

(3)VideoQ系統(tǒng):VideoQ是哥倫比亞大學(xué)研究的一個(gè)項(xiàng)目，它擴(kuò)充了傳統(tǒng)的關(guān)鍵字和主題導(dǎo)航的查詢方法，允許用戶使用視覺(jué)特征和時(shí)空關(guān)系來(lái)檢索視頻。它有以下幾個(gè)特征:集成文本和視覺(jué)搜索方法;自動(dòng)的視頻對(duì)象分割和追蹤;豐富的視覺(jué)特征庫(kù)，包括顏色、紋理、形狀和運(yùn)動(dòng);通過(guò)WWW互聯(lián)網(wǎng)交互查詢和瀏覽。

(4)TV-FI系統(tǒng):TV-FI (Tsinghua Video Find It)，是清華大學(xué)開(kāi)發(fā)的視頻節(jié)目管理系統(tǒng)。這個(gè)系統(tǒng)可以提供如下幾個(gè)功能:視頻數(shù)據(jù)入庫(kù)、基于內(nèi)容的瀏覽、檢索等。TV-FI提供多種模式訪問(wèn)視頻數(shù)據(jù)，包括基于關(guān)鍵字的查詢、基于示例的查詢、按視頻結(jié)構(gòu)進(jìn)行瀏覽、以及按用戶自己預(yù)先定義的類別進(jìn)行瀏覽。

5 目前系統(tǒng)的主要問(wèn)題以及研究趨勢(shì)

目前我們應(yīng)用的系統(tǒng)中還存在一些問(wèn)題，比如一些樣本圖像不容易被檢索到，這主要是由于有現(xiàn)代電視在傳播過(guò)程中的非線性損失或是強(qiáng)度較大的干擾信號(hào)引起的。我們很難對(duì)有線電視的損失信號(hào)進(jìn)行一個(gè)完美的補(bǔ)償，這使得顏色直方圖等一些對(duì)噪聲很敏感的方法很難在我們的系統(tǒng)中得以應(yīng)用。由于有線電視信號(hào)的這種特點(diǎn)，使得查全率和查準(zhǔn)率這對(duì)矛盾更加突出。經(jīng)過(guò)大量的測(cè)試我們發(fā)現(xiàn)，視頻圖像本身對(duì)于噪聲的魯棒性有所不同，這就要求我們進(jìn)一步分析圖像特點(diǎn)，盡量使用易檢索圖像作為檢索樣本，來(lái)權(quán)衡查全率和查準(zhǔn)率這對(duì)矛盾。

此外，現(xiàn)在對(duì)于視頻檢索系統(tǒng)的還有以下一些研究熱點(diǎn):

(1)非壓縮域的圖像檢索:為了提高效率，只對(duì)壓縮視頻信息不解壓或只進(jìn)行部分解壓，或取圖像的特征信息進(jìn)行檢索。

(2)基于語(yǔ)義的圖像檢索:為了使圖像檢索系統(tǒng)更加接近人對(duì)圖像的理解，研究者們還提出了基于語(yǔ)義的圖像檢索，試圖從語(yǔ)義層次解決圖像檢索問(wèn)題。例如，太陽(yáng)、汽車等一些代表性詞語(yǔ)，它包括了人們對(duì)圖像的理解，這種技術(shù)的難點(diǎn)在于如何獲取圖像的語(yǔ)義信息。

(3)視頻的動(dòng)態(tài)特征提取:視頻處理是視頻檢索的基礎(chǔ)，而視頻數(shù)據(jù)是動(dòng)態(tài)的，具有動(dòng)態(tài)特征。充分利用視頻圖像的動(dòng)態(tài)特性，可以進(jìn)一步提高視頻片斷檢索的準(zhǔn)確度。

(4)多維索引方法:根據(jù)視頻圖像的空間性，研究基于時(shí)空的多維索引方法將更有助于視頻檢索的速度和精確度的提高。

6 結(jié)束語(yǔ)

綜上所述，視頻檢索把圖像檢索、模式識(shí)別、圖像數(shù)據(jù)庫(kù)技術(shù)等技術(shù)成果結(jié)合了起來(lái)，有著廣闊的發(fā)展前景，并將在許多領(lǐng)域中道得到應(yīng)用，比如網(wǎng)絡(luò)多媒體搜索引擎、交互電視、數(shù)字圖書(shū)館、遠(yuǎn)程教育，遠(yuǎn)程醫(yī)療，遠(yuǎn)程購(gòu)物、多媒體編輯(個(gè)人電子新聞業(yè)務(wù)、媒體寫作)等。

參考文獻(xiàn)

[1] 金紅，周源華.基于內(nèi)容檢索的視頻處理技術(shù).中國(guó)圖像圖形學(xué)報(bào)，2000，5(4):276~283

[2] 王紹棣，張莉等.基于內(nèi)容特征的圖像和視頻檢索系統(tǒng).計(jì)算機(jī)工程與應(yīng)用，2001，7:113~117

[3] 彭宇新.Ngo Chong-Wah.基于內(nèi)容的視頻檢索關(guān)鍵技術(shù).計(jì)算機(jī)工程，2004，1(30):14~16

[4] 張繼東，陳都.基于內(nèi)容的視頻檢索技術(shù).數(shù)字電視與數(shù)字視頻，2002，8 17~19

[5] 朱緒娟.一種基于內(nèi)容的壓縮域圖像檢索系統(tǒng)的開(kāi)發(fā).北京工業(yè)大學(xué)碩士論文.