基于MPEG-7視頻檢索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

盧成浪,吳宗大,李桂玲

(1.西北工業(yè)大學(xué) 航海學(xué)院,陜西 西安 710072；2.浙江機(jī)電職業(yè)技術(shù)學(xué)院 信息技術(shù)系,浙江 杭州 310053;3.溫州大學(xué) 甌江學(xué)院,浙江 溫州 325035;4.中國(guó)地質(zhì)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,湖北 武漢 430074)

基于內(nèi)容特征的多媒體信息檢索技術(shù)依賴于多媒體處理技術(shù)和數(shù)據(jù)庫(kù)技術(shù)[1-2]。隨著多媒體處理和數(shù)據(jù)庫(kù)技術(shù)的發(fā)展,21世紀(jì)伊始,陸續(xù)出現(xiàn)了一些基于內(nèi)容特征的多媒體信息檢索系統(tǒng),例如BVQL[3]，UMQL[4-7]，GMQL[8-9]，CIRS[10]等。通常,這些系統(tǒng)首先描述多媒體數(shù)據(jù)的視覺(jué)和聽(tīng)覺(jué)內(nèi)容特征(如圖像的顏色、紋理等),然后基于這些特征描述檢索多媒體目標(biāo)數(shù)據(jù)。然而,由于多媒體內(nèi)容特征描述缺乏統(tǒng)一規(guī)范,導(dǎo)致這些多媒體檢索系統(tǒng)的通用性無(wú)法得到保證,限制了它們的實(shí)用化進(jìn)程[11-12]。為此,國(guó)際標(biāo)準(zhǔn)化組織ISO的運(yùn)動(dòng)圖像專家組MPEG制定了一個(gè)國(guó)際多媒體內(nèi)容特征描述標(biāo)準(zhǔn),即MPEG-7[13-14]。在MPEG-7中,所有常見(jiàn)的多媒體類型均被涵蓋,包括視頻、音頻、圖像等。MPEG-7通過(guò)使用標(biāo)準(zhǔn)化描述接口,統(tǒng)一描述各種不同類型多媒體內(nèi)容信息,并將這些內(nèi)容特征描述與多媒體數(shù)據(jù)相關(guān)聯(lián),使得用戶可以按照多媒體內(nèi)容特征快捷檢索到所需數(shù)據(jù),從而為實(shí)現(xiàn)基于內(nèi)容的多媒體檢索奠定技術(shù)基礎(chǔ)。在多媒體數(shù)據(jù)中,視頻是最常見(jiàn)的類型之一,其內(nèi)部結(jié)構(gòu)最為復(fù)雜，涵蓋的信息量也最為豐富,為此,實(shí)現(xiàn)基于內(nèi)容的視頻檢索具有重要的理論意義和實(shí)際價(jià)值。在這樣的背景下,本文深入研究基于MPEG-7的視頻檢索方法,探討一個(gè)視頻內(nèi)容檢索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn),從而為實(shí)現(xiàn)有效的基于內(nèi)容視頻檢索提供重要的理論和技術(shù)基礎(chǔ)。

1 系統(tǒng)框架

圖1給出基于MPEG-7的視頻檢索系統(tǒng)框架。該框架包括4個(gè)功能模塊:① 視頻語(yǔ)義信息提取器，其輸入為MPEG-7視頻特征描述文檔,功能是解析視頻文檔,提取視頻特征,并把視頻特征數(shù)據(jù)通過(guò)數(shù)據(jù)庫(kù)接口存儲(chǔ)到視頻數(shù)據(jù)庫(kù)中;② 內(nèi)容視頻檢索器，其功能是解析用戶給出的視頻查詢,在完成語(yǔ)法語(yǔ)義檢查后,將視頻查詢轉(zhuǎn)化成能在視頻數(shù)據(jù)庫(kù)上準(zhǔn)確執(zhí)行的SQL查詢,并提交給視頻數(shù)據(jù)庫(kù)執(zhí)行;③ 個(gè)性化視頻檢索器，提供個(gè)性化視頻檢索界面,基于用戶的興趣模型,通過(guò)建立基于用戶興趣點(diǎn)的檢索視圖,返回用戶感興趣的檢索結(jié)果,并通過(guò)為相關(guān)屬性建立索引,使得檢索結(jié)果按照用戶興趣權(quán)重排序輸出;④ 結(jié)果輸出界面，負(fù)責(zé)輸出服務(wù)器返回的檢索結(jié)果集,把用戶感興趣的視頻信息以MPEG-7文檔的形式呈現(xiàn)出來(lái),并允許用戶播放目標(biāo)視頻。此外,服務(wù)器端的視頻數(shù)據(jù)庫(kù)負(fù)責(zé)存儲(chǔ)視頻數(shù)據(jù)本身,語(yǔ)義特征庫(kù)負(fù)責(zé)存儲(chǔ)從MPEG-7視頻描述文檔中提取出來(lái)的視頻語(yǔ)義特征信息。

圖1 基于MPEG-7的視頻檢索系統(tǒng)框架Fig.1 The framework of MPEG-7-based video semantic retrieval system

2 系統(tǒng)設(shè)計(jì)

2.1 視頻語(yǔ)義提取存儲(chǔ)方案

視頻語(yǔ)義提取存儲(chǔ)方案面向圖1的語(yǔ)義信息提取器模塊,主要包括兩項(xiàng)內(nèi)容:①視頻語(yǔ)義特征提取(即確定需要從MPEG-7視頻描述文檔中提取的視頻語(yǔ)義特征類別);②視頻特征庫(kù)設(shè)計(jì)和映射(即設(shè)計(jì)關(guān)系數(shù)據(jù)庫(kù)模式,以存儲(chǔ)提取的視頻語(yǔ)義特征，并設(shè)計(jì)映射方案,將視頻語(yǔ)義特征映射存儲(chǔ)到視頻特征庫(kù)中)。

2.1.1 視頻語(yǔ)義特征提取 MPEG-7標(biāo)準(zhǔn)由一系列的多媒體描述工具組成,其中,語(yǔ)義描述工具主要從語(yǔ)義和概念兩個(gè)角度來(lái)描述多媒體視聽(tīng)內(nèi)容特征,因而是多媒體內(nèi)容檢索的基礎(chǔ),也是本文關(guān)注的重點(diǎn)。為此,要求我們從MPEG-7視頻描述文檔里獲取這些視頻內(nèi)容特征,并存放到視頻特征庫(kù)中,從而為后續(xù)視頻內(nèi)容檢索提供基礎(chǔ)。具體來(lái)說(shuō),需要提取的視頻語(yǔ)義特征信息主要包括以下幾個(gè)方面：①視頻對(duì)象,即視頻內(nèi)容中人類可感知的事物(分為抽象對(duì)象和具體對(duì)象),它是最基本的視頻語(yǔ)義元素,是視頻內(nèi)容檢索的基礎(chǔ)；②視頻事件,即各種結(jié)構(gòu)層次的視頻對(duì)象的上下文環(huán)境，視頻事件把視頻分割成若干個(gè)片段,每個(gè)視頻片段包含多個(gè)視頻對(duì)象,視頻事件可看作這些對(duì)象的整體行為呈現(xiàn)；③時(shí)間關(guān)系,即兩個(gè)視頻事件之間的時(shí)間關(guān)系；④空間關(guān)系,即兩個(gè)視頻對(duì)象之間的空間位置關(guān)系。

2.1.2 視頻特征庫(kù)設(shè)計(jì) 為了存儲(chǔ)從MPEG-7視頻描述文檔中提取的視頻語(yǔ)義特征,以方便后續(xù)視頻語(yǔ)義查詢,需要確定合適的關(guān)系數(shù)據(jù)庫(kù)模式。為此,基于前文給出的視頻語(yǔ)義特征提取方案,定義了視頻特征數(shù)據(jù)庫(kù)的關(guān)系模式。表1～表3給出了視頻特征庫(kù)的部分關(guān)鍵表。其中,表1用于存儲(chǔ)MEPG-7視頻描述文檔中提取的視頻對(duì)象;表2用于存儲(chǔ)視頻事件;表3用于存儲(chǔ)語(yǔ)義關(guān)系(如視頻對(duì)象間關(guān)系)。當(dāng)然視頻特征庫(kù)是相當(dāng)復(fù)雜的,還包含有很多其他的關(guān)系表。

表1 視頻對(duì)象表Tab.1 Video object table

表2 視頻事件表Tab.2 Video event table

表3 視頻語(yǔ)義關(guān)系表Tab.3 Video semantic relation table

2.1.3 視頻特征庫(kù)映射 為了提出MEPG-7視頻描述文檔中語(yǔ)義視頻特征,需要解析MEPG-7文檔。目前主要有兩種解析方式:DOM解析和SAX解析。本視頻檢索方案采用DOM解析,對(duì)整個(gè)MPEG-7視頻描述文檔樹(shù)(MPEG-7文檔的內(nèi)部結(jié)構(gòu)可被看作樹(shù)形結(jié)構(gòu))進(jìn)行遍歷解析,遇到MPEG-7視頻語(yǔ)義元素就將其對(duì)應(yīng)的語(yǔ)義信息映射存儲(chǔ)到視頻特征數(shù)據(jù)庫(kù)中相應(yīng)關(guān)系表中。從MPEG-7 DOM樹(shù)到視頻特征數(shù)據(jù)庫(kù)表的具體映射過(guò)程如算法1所示。

算法1視頻高級(jí)語(yǔ)義信息提取和映射算法

輸入：一個(gè)MPEG-7視頻描述文檔；

輸出：視頻特征數(shù)據(jù)庫(kù)的數(shù)據(jù)記錄。

算法概要：

1)讀取MPEG-7視頻描述文檔的各個(gè)元素標(biāo)記，然后判斷標(biāo)記的類型；

2)若標(biāo)記為屬性節(jié)點(diǎn)，則生成屬性節(jié)點(diǎn)記錄，并映射到屬性節(jié)點(diǎn)表中；

3)若標(biāo)記為數(shù)據(jù)節(jié)點(diǎn)，則生成數(shù)據(jù)節(jié)點(diǎn)記錄，并映射到數(shù)據(jù)節(jié)點(diǎn)表中；

4)若標(biāo)記為注釋節(jié)點(diǎn)，則生成注釋節(jié)點(diǎn)記錄，并映射到注釋節(jié)點(diǎn)表中；

5)若標(biāo)記為元素節(jié)點(diǎn)，則生成元素節(jié)點(diǎn)記錄，并映射到元素節(jié)點(diǎn)表中，同時(shí)，如果元素節(jié)點(diǎn)為語(yǔ)義節(jié)點(diǎn)，則：

①如果元素節(jié)點(diǎn)為視頻對(duì)象節(jié)點(diǎn)，則生成視頻對(duì)象記錄，然后將視頻對(duì)象記錄映射到視頻對(duì)象表中；

②如果元素節(jié)點(diǎn)為視頻事件節(jié)點(diǎn)，則生成視頻事件記錄，然后將視頻事件記錄映射到視頻事件表中；

③如果元素節(jié)點(diǎn)為語(yǔ)義關(guān)系節(jié)點(diǎn)，則生成語(yǔ)義關(guān)系記錄，然后將語(yǔ)義關(guān)系記錄映射到語(yǔ)義關(guān)系表中；

④如果元素節(jié)點(diǎn)為創(chuàng)作信息節(jié)點(diǎn)，則生成創(chuàng)作信息記錄，然后將創(chuàng)作信息記錄映射到創(chuàng)作信息表中，并將創(chuàng)作者信息映射到創(chuàng)作者表中；

⑤如果元素節(jié)點(diǎn)為媒體信息節(jié)點(diǎn)，則生成媒體信息記錄，然后將媒體信息記錄映射到媒體信息表中。

2.2 基于內(nèi)容的視頻檢索方案

基于內(nèi)容的視頻檢索方案面向圖1的內(nèi)容視頻檢索器模塊,主要包括兩項(xiàng)內(nèi)容:①語(yǔ)義查詢接口(即給出有效的視頻查詢接口及其查詢處理方法);②查詢處理(即如何執(zhí)行視頻語(yǔ)義查詢接口給出的語(yǔ)義查詢,從視頻數(shù)據(jù)庫(kù)中獲取目標(biāo)視頻)。

2.2.1 視頻檢索器的整體設(shè)計(jì) 視頻檢索器給用戶提供了一般性的視頻查詢接口,用戶可以通過(guò)它表達(dá)自己的視頻查詢需求。視頻檢索器包括語(yǔ)法分析器、查詢執(zhí)行器等部件。對(duì)于用戶給出的一個(gè)視頻查詢,首先,視頻檢索器通過(guò)語(yǔ)法分析器對(duì)視頻查詢條件進(jìn)行解析,檢查視頻查詢語(yǔ)法的有效性;然后,使用查詢執(zhí)行器執(zhí)行視頻查詢,在這個(gè)過(guò)程中,執(zhí)行器會(huì)生成多個(gè)SQL查詢語(yǔ)句,逐個(gè)提交給視頻特征數(shù)據(jù)庫(kù)執(zhí)行,獲取相關(guān)視頻索引,根據(jù)這些索引,執(zhí)行器可以進(jìn)一步獲取相應(yīng)的目標(biāo)視頻;最后,將目標(biāo)視頻提交給檢索結(jié)果輸出界面顯示。視頻檢索器的整體設(shè)計(jì)方案如圖2所示。

圖2 視頻檢索器的整體設(shè)計(jì)方案Fig.2 The overall framework of video retrieval component

2.2.2 視頻查詢接口的設(shè)計(jì) 本文采用一種聲明式文本語(yǔ)言(稱作SVQL[15])作為視頻查詢接口,以方便用戶表達(dá)視頻語(yǔ)義查詢需求。SVQL語(yǔ)法可簡(jiǎn)要表述為:一個(gè)SVQL查詢一般由3個(gè)部分組成,即視頻對(duì)象列表、視頻事件列表和語(yǔ)義關(guān)系列表。對(duì)象列表用于描述視頻事件中包含的視頻對(duì)象和視頻對(duì)象屬性;事件列表用于描述視頻包含的視頻事件和視頻事件屬性;語(yǔ)義關(guān)系列表用于描述對(duì)象之間、事件之間、對(duì)象與事件之間以及其他實(shí)體之間的語(yǔ)義關(guān)系。通過(guò)例1來(lái)說(shuō)明SVQL查詢的語(yǔ)法形式。

例1查詢?cè)?004年，在北京大學(xué)體育館，劉國(guó)梁和孔令輝發(fā)生扣球事件的所有視頻。

1)FIND VIDEO /* FIND VIDEO為關(guān)鍵字*/

/* 1.視頻對(duì)象聲明列表 */

2)OBJECT劉國(guó)梁 { /*OBJECT為對(duì)象聲明關(guān)鍵字，后面跟著對(duì)象名*/ 類型 = 運(yùn)動(dòng)員; /*“類別”是對(duì)象的屬性*/ }

3)OBJECT孔令輝 { 類型 = 運(yùn)動(dòng)員; }

/* 2.視頻事件聲明列表 */

4)EVENT扣球事件 /* EVENT為事件聲明關(guān)鍵字，后面跟著事件名*/

5)開(kāi)始時(shí)間> ′2004-01-01 20:57:00′; 發(fā)生地點(diǎn) = 北京大學(xué)體育館; /*“開(kāi)始時(shí)間”和“地點(diǎn)”均為屬性*/

/* 3.語(yǔ)義關(guān)系聲明列表 */

6)OBJECT 劉國(guó)梁AgentOf EVENT扣球事件; OBJECT孔令輝AgentOf EVENT扣球事件;/*AgentOf為關(guān)鍵字*/

SVQL可以描述更加復(fù)雜的視頻查詢,這里不再列舉。在完成視頻查詢需求描述后,還需要對(duì)用戶查詢進(jìn)行解析,檢查語(yǔ)法的正確性，這部分工作由語(yǔ)法分析器模塊完成。我們使用正則表達(dá)式定義SVQL的文法規(guī)則,使用邏輯代數(shù)式定義SVQL的語(yǔ)法規(guī)則。然后,使用詞法分析工具LEX[7]生成SVQL的詞法分析器,利用YACC[7],根據(jù)文法規(guī)則生成SVQL的語(yǔ)法分析器,根據(jù)語(yǔ)義規(guī)則,設(shè)計(jì)實(shí)現(xiàn)SVQL的語(yǔ)法分析器。因此，語(yǔ)法分析器模塊主要包括:詞法分析器、文法分析器和語(yǔ)義分析器。

2.2.3 視頻查詢的處理 圖2的查詢執(zhí)行器模塊負(fù)責(zé)查詢從視頻特征數(shù)據(jù)庫(kù)和視頻數(shù)據(jù)庫(kù)獲取的目標(biāo)數(shù)據(jù)。查詢執(zhí)行器主要通過(guò)處理SVQL視頻查詢中的各類聲明式來(lái)完成查詢處理。首先,根據(jù)視頻對(duì)象列表生成SQL查詢,從視頻特征庫(kù)獲取目標(biāo)視頻對(duì)象集;然后,根據(jù)視頻事件列表生成SQL查詢,獲取目標(biāo)視頻事件集;其次,根據(jù)語(yǔ)義關(guān)系列表?xiàng)l件對(duì)目標(biāo)對(duì)象集和目標(biāo)事件集進(jìn)行篩選;最后,根據(jù)結(jié)果從視頻數(shù)據(jù)庫(kù)中獲取目標(biāo)視頻文檔。具體的視頻查詢的處理方案如算法2所示。

算法2視頻語(yǔ)義查詢處理算法

輸入：語(yǔ)法正確有效的SVQL視頻語(yǔ)義查詢；

輸出：滿足查詢條件的目標(biāo)視頻數(shù)據(jù)。

1)對(duì)于視頻對(duì)象聲明列表{O1, O2, …, On}中的每個(gè)視頻對(duì)象聲明項(xiàng)Oi，根據(jù)其屬性描述列表構(gòu)造SQL查詢，從視頻特征庫(kù)的視頻對(duì)象表中獲取目標(biāo)視頻對(duì)象集ROi，最終共生成n個(gè)對(duì)象集，分別為：RO1, RO2, …, ROn；

2)對(duì)于視頻事件聲明列表{Q1, Q2, …, Qn}中的每個(gè)視頻事件聲明項(xiàng)Qi，根據(jù)其屬性描述列表構(gòu)造SQL查詢，從視頻特征庫(kù)的視頻事件表中獲取目標(biāo)視頻事件集RQi，最終共生成n個(gè)事件集，分別為：RQ1, RQ2, …, RQn；

3)對(duì)于語(yǔ)義關(guān)系聲明列表{D1, D2, …, Dn}中的每個(gè)語(yǔ)義關(guān)系聲明項(xiàng)Di：

①若語(yǔ)義關(guān)系聲明項(xiàng)表示事件-事件關(guān)系，且該關(guān)系相關(guān)聯(lián)的事件分別包含在RQa和RQb中，則構(gòu)造SQL查詢，從視頻特征庫(kù)的語(yǔ)義關(guān)系表中獲取事件源落在RQa中，而事件目標(biāo)落在RQb中的事件-事件關(guān)系，據(jù)此，剔除RQa和RQb中不滿足條件的視頻事件；

②若語(yǔ)義關(guān)系聲明項(xiàng)表示對(duì)象-對(duì)象關(guān)系，且該關(guān)系相關(guān)聯(lián)的對(duì)象分別包含在ROa和ROb中，則構(gòu)造SQL查詢，從視頻特征庫(kù)的語(yǔ)義關(guān)系表中獲取事件源落在ROa中，而事件目標(biāo)落在ROb中的對(duì)象-對(duì)象關(guān)系，據(jù)此，剔除ROa和ROb中不滿足條件的視頻對(duì)象；

③若語(yǔ)義關(guān)系聲明項(xiàng)表示對(duì)象-事件關(guān)系，且該關(guān)系分別與對(duì)象集ROa和事件集RQb相關(guān)聯(lián)，則構(gòu)造SQL查詢，從視頻特征庫(kù)的語(yǔ)義關(guān)系表中獲取事件源落在ROa中而事件目標(biāo)落在RQb中的對(duì)象-事件關(guān)系；據(jù)此，剔除ROa中不滿足條件的視頻對(duì)象，剔除RQb中不滿足條件的視頻事件；

4)根據(jù)RO1, RO2, …, ROn和RQ1, RQ2, …, RQn等實(shí)體集，從視頻數(shù)據(jù)庫(kù)中獲取目標(biāo)視頻數(shù)據(jù)。

2.3 個(gè)性化視頻檢索方案

個(gè)性化視頻檢索方案面向圖1的個(gè)性化視頻檢索器模塊,主要包括兩項(xiàng)內(nèi)容:①設(shè)計(jì)用戶視頻檢索興趣度模型;②確立個(gè)性化的視頻檢索方案,研究其查詢處理方法。

2.3.1 視頻檢索興趣度模型 用戶興趣度模型描述用戶對(duì)某些特定主題相對(duì)穩(wěn)定的興趣,反映了用戶在一定時(shí)間段內(nèi)的檢索偏好傾向,是實(shí)現(xiàn)個(gè)性化檢索的重要基礎(chǔ)。為了建立用戶興趣度模型,首先需要獲取用戶的個(gè)人偏好信息。偏好的采集主要有兩種方法:①通過(guò)人機(jī)交互獲取用戶個(gè)人偏好,這種方法實(shí)現(xiàn)簡(jiǎn)單,并且可以較準(zhǔn)確地獲得用戶需求,是目前絕大多數(shù)檢索系統(tǒng)所采用的方法,但缺點(diǎn)是主動(dòng)性差;②通過(guò)挖掘用戶檢索記錄,獲取用戶個(gè)人偏好,這種方法的主動(dòng)性強(qiáng),但缺點(diǎn)是實(shí)現(xiàn)復(fù)雜。本文采用的做法是:在用戶第一次進(jìn)行個(gè)性查詢時(shí),讓用戶填寫(xiě)一份興趣偏好表,然后將其轉(zhuǎn)化為內(nèi)部表示,存放到用戶興趣檔案庫(kù)中,建立最初的用戶偏好信息庫(kù)。在用戶興趣偏好表中,用戶可以設(shè)置他感興趣的視頻內(nèi)容信息(如視頻事件、視頻對(duì)象和語(yǔ)義關(guān)系等)及興趣度值。

2.3.2 個(gè)性化視頻檢索 個(gè)性化視頻檢索方案建立在一般性視頻查詢方案基礎(chǔ)之上。它首先給用戶提供了一個(gè)圖形化視頻檢索界面,該界面擁有與SVQL等價(jià)的查詢表達(dá)能力。利用圖形化檢索界面,用戶可以很方便地定義視頻查詢，然后將用戶通過(guò)圖形化檢索界面定義的視頻查詢描述轉(zhuǎn)換為SVQL描述,從而可以使得后續(xù)查詢處理方法可以建立在前文給出的一般性視頻查詢方案之上。方案的整體思路是:首先,從用戶偏好信息庫(kù)中獲取用戶偏好的視頻內(nèi)容(如偏好的對(duì)象或事件類型等),構(gòu)造用戶偏好數(shù)據(jù)視圖;然后,通過(guò)在用戶偏好數(shù)據(jù)視圖上執(zhí)行算法2,獲取目標(biāo)視頻數(shù)據(jù);最后,從用戶偏好信息庫(kù)中獲取用戶偏好內(nèi)容的興趣度值,對(duì)結(jié)果重新排序,提交給視頻檢索輸出界面顯示。具體的過(guò)程如算法3所示。

算法3個(gè)性化視頻查詢處理算法

輸入：語(yǔ)法正確有效的SVQL視頻語(yǔ)義查詢和用戶偏好信息庫(kù)；

輸出：滿足查詢條件且符合用戶偏好的目標(biāo)視頻數(shù)據(jù)。

1)從用戶偏好信息庫(kù)中獲取用戶偏好的內(nèi)容，構(gòu)造用戶偏好視圖如下：

①如果偏愛(ài)信息涉及視頻創(chuàng)作者，則確定創(chuàng)建者表(因?yàn)橐曨l的創(chuàng)作者信息存儲(chǔ)在特征數(shù)據(jù)庫(kù)的創(chuàng)建者表中)；

②如果偏愛(ài)信息涉及視頻創(chuàng)作工具、創(chuàng)作地點(diǎn)、或創(chuàng)作時(shí)間，則確定創(chuàng)建信息表(因?yàn)橐曨l的這些創(chuàng)作信息存儲(chǔ)在特征數(shù)據(jù)庫(kù)的創(chuàng)建信息表中)；

③如果偏愛(ài)信息涉及視頻的標(biāo)題、類別、分布源、或標(biāo)題關(guān)鍵字，則確定視頻信息表(因?yàn)檫@些信息存儲(chǔ)在特征數(shù)據(jù)庫(kù)中的視頻信息表中)；

④如果偏愛(ài)信息涉及視頻語(yǔ)義對(duì)象，則確定視頻對(duì)象表(因?yàn)橐曨l對(duì)象存儲(chǔ)在特征數(shù)據(jù)庫(kù)中的視頻對(duì)象表中)；

⑤如果偏愛(ài)信息涉及視頻語(yǔ)義事件，則確定視頻事件表(因?yàn)橐曨l事件存儲(chǔ)在特征數(shù)據(jù)庫(kù)中的視頻事件表中)；

⑥如果偏愛(ài)信息涉及視頻語(yǔ)義關(guān)系，則確定視頻語(yǔ)義關(guān)系表(因?yàn)橐曨l語(yǔ)義關(guān)系存儲(chǔ)在特征庫(kù)中的視頻關(guān)系表中)。

2)根據(jù)用戶偏愛(ài)信息所涉及到的數(shù)據(jù)表，建立用戶偏好數(shù)據(jù)視圖。

3)在用戶偏好數(shù)據(jù)視圖上，執(zhí)行算法2，獲取滿足視頻語(yǔ)義查詢條件的目標(biāo)視頻數(shù)據(jù)。

4)從用戶偏好信息庫(kù)中獲取用戶偏好內(nèi)容的興趣度值，對(duì)查詢結(jié)果按興趣度權(quán)重降序排序。

3 系統(tǒng)測(cè)試

圖3給出了視頻檢索系統(tǒng)的視頻檢索界面和結(jié)果輸出界面。視頻檢索界面的左邊允許用戶逐個(gè)設(shè)定查詢條件(包括視頻對(duì)象條件、視頻事件條件，以及對(duì)象或事件間的語(yǔ)義關(guān)系),界面會(huì)根據(jù)用戶設(shè)定的查詢條件,生成SVQL查詢語(yǔ)句(展示在界面的右邊)。結(jié)果輸出界面主要展示查詢結(jié)果,其左邊是查詢得到的視頻,點(diǎn)擊后可以在界面右邊分別播放視頻或者查詢視頻的MPEG-7描述文檔。

圖3 視頻檢索系統(tǒng)Fig.3 The video retrieval system

為了驗(yàn)證系統(tǒng)的查準(zhǔn)率(檢索出的相關(guān)視頻數(shù)量/檢索出的視頻總量)和查全率(檢索出的相關(guān)視頻數(shù)量/系統(tǒng)中相關(guān)視頻總量),選取了50個(gè)視頻,并手工對(duì)這些視頻描述文檔進(jìn)行預(yù)處理,將提取出的語(yǔ)義特征存儲(chǔ)到視頻特征庫(kù)中,相應(yīng)的視頻存儲(chǔ)到視頻媒體庫(kù)中。共進(jìn)行了10次視頻檢索測(cè)試，實(shí)驗(yàn)測(cè)試結(jié)果如表4所示。可以看出,平均查全率為80%,平均查準(zhǔn)率為81%。指標(biāo)無(wú)法達(dá)到100%的原因是:檢索系統(tǒng)是基于MPEG-7視頻描述文檔的,如果文檔沒(méi)有對(duì)視頻內(nèi)容信息進(jìn)行足夠詳細(xì)的描述,檢索效果將受到極大影響。例如,在一段乒乓球比賽視頻中,真實(shí)比賽場(chǎng)地是北京大學(xué)體育館,但是相應(yīng)MPEG-7視頻描述文檔沒(méi)有描述比賽場(chǎng)地，當(dāng)搜索發(fā)生在北京大學(xué)的視頻時(shí),就不能檢索出這段視頻。因此,本系統(tǒng)的視頻檢索性能主要取決于MPEG-7描述文檔的質(zhì)量。此外,為了評(píng)價(jià)個(gè)性化視頻檢索效果,手工為10個(gè)視頻查詢?cè)O(shè)置了相應(yīng)的用戶興趣偏好表,據(jù)此，系統(tǒng)可對(duì)檢索到的視頻片段按照用戶興趣從高到低排序。個(gè)性化檢索效果為“OK”,當(dāng)且僅當(dāng)檢索結(jié)果中的所有非目標(biāo)視頻均排在結(jié)果列表的最后面(例如查詢10會(huì)產(chǎn)生4個(gè)非目標(biāo)視頻,但在結(jié)果列表中它們均排在最后)。實(shí)驗(yàn)測(cè)試結(jié)果見(jiàn)表4的最后一行，可以看出,借助個(gè)性化檢索方案,系統(tǒng)會(huì)將符合用戶個(gè)人興趣偏好的視頻優(yōu)先推薦給用戶,改善了視頻檢索效果。

表4 實(shí)驗(yàn)結(jié)果Tab.4 Experimental result

4 結(jié) 語(yǔ)

本文討論了基于MPEG-7的視頻內(nèi)容檢索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)。本文工作包括3個(gè)方面:①設(shè)計(jì)了基于MPEG-7的視頻存儲(chǔ)方法,以解析MPEG-7 視頻描述文檔,提取視頻語(yǔ)義特征,建立視頻特征庫(kù);②設(shè)計(jì)了基于內(nèi)容的視頻檢索方法,通過(guò)設(shè)計(jì)視頻查詢語(yǔ)言,研究相應(yīng)的視頻查詢處理方法,從視頻數(shù)據(jù)庫(kù)中有效地獲取目標(biāo)視頻;③實(shí)驗(yàn)評(píng)估驗(yàn)證了視頻檢索系統(tǒng)的有效性。然而,本文工作建立在MPEG-7視頻描述文檔基礎(chǔ)上，因此,如何為視頻構(gòu)造生成有效的MPEG-7內(nèi)容描述文檔,是后續(xù)研究的重點(diǎn)。

參考文獻(xiàn)：

[1] 查正軍，鄭曉菊.多媒體信息檢索中的查詢與反饋技術(shù)[J].計(jì)算機(jī)研究與發(fā)展，2017，54 (6)：1267-1280.

[2] GROSKY W I, RUAS T L. The continuing reinvention of content-based retrieval: Multimedia is not dead[J]. IEEE Multimedia, 2017, 24 (1): 6-11.

[3] DONDERLER M E, SAYKOL E, ARSLAN U,et al. BilVideo: Design and implementation of a video database management system[J].Multimedia Tools and Applications, 2005, 27 (1): 79-104.

[4] CAO Z, WU Z, WANG Y. UMQL: A unified multimedia query language[C]∥Third International IEEE Conference on Signal Image Technology and Internet-Based Systems (SITIS 2007).IEEE Computer Society, 2007:109-115.

[5] WU Z, CAO Z, WANG Y,et al. Processing and optimizing UMQL-based multimedia queries[J]. Journal of Southeast University-English Edition，2009, 25 (3): 320-325.

[6] WU Z, CAO Z, WANG Y. Multimedia selection operation placement[J]. Multimedia Tools and Applications，2011, 54 (1): 69-96.

[7] 吳宗大, 曹忠升, 王元珍，等. 多媒體查詢語(yǔ)言UMQL語(yǔ)法分析器的設(shè)計(jì)與實(shí)現(xiàn)[J]. 小型微型計(jì)算機(jī)系統(tǒng)，2010, 31 (2): 271-276.

[8] WU Z, XU G, CAO Z, et al. GMQL: A graphical multimedia query language[J]. Knowledge-Based Systems，2012, 26: 135-143.

[9] 盧成浪, 劉明雍, 吳宗大. 有效多媒體查詢代數(shù)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 西北工業(yè)大學(xué)學(xué)報(bào)，2014, 32 (6): 899-905.

[10] MOHAMADZADEH S, FARSI H. Content-based image retrieval system via sparse representation[J]. IET Computer Vision，2016, 10 (1): 95-102.

[11] 曹忠升, 吳宗大, 王元珍. 多媒體查詢語(yǔ)言及其評(píng)價(jià)準(zhǔn)則[J]. 計(jì)算機(jī)科學(xué)，2009, 36 (3): 47-53.

[12] SCHOEFFMANN K, HUDELIST M A, HUBER J. Video interaction tools: A survey of recent work[J].ACM Computing Surveys, 2015, 48 (1): 1-34.

[13] CHU Y, CHIA L T, BHOWMICK S S, et al. Looking at mapping, indexing and querying of MPEG-7 descriptors in RDBMS with SM3[C]∥ACM International Workshop on Multimedia Databases.ACM，2004: 55-64.

[14] CHRISTOPOULOS C, BERG D, SKODRAS A. The colour in the upcoming MPEG-7 standard[C]∥Proceeding of the European Signal Processing Conference.IEEE, 2015: 1-4.

[15] LU C,LIU M,WU Z.SVQL:A SQL extended query language for video databases[J].International Journal of Database Theory and Application，2015,8(3): 235-248.