多媒體數(shù)據(jù)的查詢(xún)與檢索

劉一鷗

（西安外事學(xué)院，陜西西安，710077）

多媒體數(shù)據(jù)的查詢(xún)與檢索

劉一鷗

（西安外事學(xué)院，陜西西安，710077）

采用任何數(shù)據(jù)模型對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)、管理，都要解決多媒體數(shù)據(jù)復(fù)雜得多的查詢(xún)問(wèn)題。本文從三個(gè)方面歸納了多媒體信息的查詢(xún)檢索方法：給予結(jié)構(gòu)化屬性（媒體文件的屬性、外部特征MPEG7描述）、給予描述媒體信息的自由文本和基于內(nèi)容（如圖像中物體的形狀、圖像紋理、顏色，視頻的關(guān)鍵幀等），并對(duì)此做出了詳細(xì)闡述。

多媒體；查詢(xún)；檢索；存儲(chǔ)

無(wú)論是哪種媒體信息，無(wú)論數(shù)據(jù)的存儲(chǔ)、管理采用了哪種模式，都要解決多媒體數(shù)據(jù)復(fù)雜得多的查詢(xún)問(wèn)題。在多媒體應(yīng)用中，不能簡(jiǎn)單地通過(guò)關(guān)鍵詞精確查詢(xún)、模糊查詢(xún)、組合查詢(xún)來(lái)獲得用戶(hù)所需要的信息，一般不可能的帶精確解，因此，對(duì)多媒體信息的查詢(xún)往往使用“檢索”“搜索”等詞。由于多媒體信息本身的多樣、復(fù)雜性，每一類(lèi)信息的查詢(xún)、檢索都涉及多個(gè)學(xué)科，如模式識(shí)別、認(rèn)知科學(xué)、統(tǒng)計(jì)分析，······。

多媒體信息的查詢(xún)、檢索技術(shù)的評(píng)價(jià)指標(biāo)理論上有兩個(gè)：查準(zhǔn)率、查全率，就可用性而言還有一個(gè)重要指標(biāo)：響應(yīng)速度。在信息爆炸的今天，對(duì)一個(gè)龐大的系統(tǒng)，例如WWW，查全率顯然難以證明，從應(yīng)用角度講重要性遠(yuǎn)遠(yuǎn)小于響應(yīng)速度和查準(zhǔn)率。

1 基于外部特征屬性的查詢(xún)

基于外部特征的多媒體數(shù)據(jù)查詢(xún)只是針對(duì)采用關(guān)系型數(shù)據(jù)庫(kù)存儲(chǔ)管理多媒體數(shù)據(jù)外部特征而言，自然查詢(xún)方法采用的也是傳統(tǒng)關(guān)系型數(shù)據(jù)的查詢(xún)方法。例如，為了便于教育資源的整合、共享，國(guó)家教育部頒布了國(guó)家教育元數(shù)據(jù)規(guī)范，所有教育資源，包括多媒體資源均要使用元數(shù)據(jù)規(guī)范進(jìn)行描述、管理。凡是遵循該規(guī)范建立的教育資源庫(kù)都可以運(yùn)用傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)查詢(xún)技術(shù)查詢(xún)資源庫(kù)中的多媒體信息。

2 基于文本的檢索

應(yīng)用文本注釋圖、聲、像，然后基于文本搜索圖、聲、像信息。這種方法采用的核心技術(shù)，與基于文本內(nèi)容的文本信息搜索是一致的，所以，它們被歸類(lèi)在一起進(jìn)行分析。但是，對(duì)圖、聲、像信息采用這種檢索方法之前，必須人工的或者自動(dòng)地為圖、聲、像做文字描述、注釋?zhuān)?，?yīng)用語(yǔ)音識(shí)別將語(yǔ)音轉(zhuǎn)化為文本?；谖谋緝?nèi)容的檢索方法有若干種，這里簡(jiǎn)要介紹其中的5種。

2.1 布爾檢索模型

在布爾檢索中，需要自動(dòng)建立索引，過(guò)城如下：識(shí)別詞匯（分詞）；利用專(zhuān)用詞典、非用詞表、高頻詞表消除非用詞；代替同義詞；確定主干詞；計(jì)算主干詞出現(xiàn)頻率；計(jì)算主干詞權(quán)重；建立倒排文件；根據(jù)檢索關(guān)鍵詞進(jìn)行檢索。

2.2 矢量空間檢索模型

首先將文檔表示為詞索引集合；應(yīng)用同樣的方法將每一個(gè)查詢(xún)也表示成詞索引的集合；依次計(jì)算所有文檔和查詢(xún)之間的相似度；按相似度從大到小對(duì)結(jié)果排序；應(yīng)用相關(guān)反饋技術(shù)或者修改查詢(xún)（僅適用于用戶(hù)個(gè)體），或者修改文檔索引條目（可用于所有用戶(hù)）；循環(huán)修正不斷提高結(jié)果的準(zhǔn)確率。

2.3 基于聚類(lèi)的檢索模型

應(yīng)用分級(jí)聚類(lèi)法或啟發(fā)式聚類(lèi)法將相似文檔聚類(lèi)；計(jì)算每個(gè)類(lèi)的中心（類(lèi)特征向量）；

計(jì)算查詢(xún)與各類(lèi)的距離，找出最相近的類(lèi)；如果該類(lèi)很大，

則計(jì)算每個(gè)文檔和查詢(xún)的距離，找出相似文檔；否則，該類(lèi)所有文檔極為相似文檔。

3 基于內(nèi)容的多媒體要求

基于內(nèi)容的多媒體檢索以認(rèn)識(shí)科學(xué)、用戶(hù)模型、圖像處理、語(yǔ)音識(shí)別、人工智能、知識(shí)庫(kù)系統(tǒng)、計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)語(yǔ)言學(xué)為學(xué)科基礎(chǔ)。

3.1 檢索原理與步驟

基于內(nèi)容的檢索的步驟如下。

1)分析多媒體數(shù)據(jù)的內(nèi)容，抽取其中的特征和語(yǔ)義元素，如圖像中的顏色、紋理、形狀，視頻中的場(chǎng)景、鏡頭的運(yùn)動(dòng)，聲音中的音調(diào)、響度、音色等，建立元素索引庫(kù)。

2)為提高查準(zhǔn)率，要建立媒體數(shù)據(jù)特征庫(kù)。

3)檢索時(shí)首先提取問(wèn)題的語(yǔ)義和問(wèn)題產(chǎn)生的特征向量，并通過(guò)元素索引進(jìn)行查找，其次運(yùn)用媒體數(shù)據(jù)庫(kù)特征庫(kù)進(jìn)行篩選，最后按匹配程度給出結(jié)果。通常，一個(gè)良好的查詢(xún)檢索技術(shù)還要建立一種有效的處理算法和可視化接口,讓用戶(hù)以最簡(jiǎn)單的操作方式得到最好的結(jié)果。

3.2 基于內(nèi)容的多媒體檢索辦法

基于內(nèi)容的多媒體檢索需要支持各種多媒體數(shù)據(jù)類(lèi)型；支持建立在檢索結(jié)果基礎(chǔ)上的多次求精查詢(xún)；支持基于實(shí)例的查詢(xún)（相似性查詢(xún)）；支持基于同步關(guān)系的查詢(xún)；支持多層次的檢索要求。下面就圖像、視頻、音頻的檢索技術(shù)做如下介紹：

（1）圖像檢索

1)基于顏色的檢索 基于顏色的圖像索引與檢索涉及的概念簡(jiǎn)單，易于實(shí)現(xiàn)。顏色特征的特點(diǎn)：與物體或場(chǎng)景關(guān)系密切；與圖像的尺寸、方向、視角依賴(lài)關(guān)系小，穩(wěn)健。

對(duì)顏色進(jìn)行檢索主要是利用顏色空間直方圖進(jìn)行匹配。根據(jù)顏色數(shù)據(jù)進(jìn)行檢索時(shí)，數(shù)據(jù)庫(kù)中的圖像和被檢索圖像之間的距離可用加權(quán)歐幾里得距離表示，采用基于顏色分布的匹配將獲得視覺(jué)效果上更接近被檢索實(shí)體的結(jié)果。常用的檢索算法有HIS空間全局累加直方圖法。

2)基于形狀的檢索 形狀是圖像的重要性能；每種形狀特征具有唯一的表示，不隨大小、方向、位置的變化而變化；相似的形狀具有相似的表示。

基于形狀的檢索可以分為：基于二維形狀和基于三維形狀的檢索。形狀檢索主要有針對(duì)圖像邊緣輪廓的檢索和針對(duì)圖形矢量特征的檢索，常用檢索算法有邊界直方圖法、不變矩、傅里葉形狀描述、基于區(qū)域的形狀表示和Hough變換等。在實(shí)際應(yīng)用中，為了減少算法時(shí)間和空間復(fù)雜性，一般用形狀參數(shù)（如面積、周長(zhǎng)、矩陣等）來(lái)描寫(xiě)形狀，可以有效提高檢索的效率。

3)基于紋理的檢索 紋理特征主要由表紋理的均勻度、對(duì)比度和方向性的特征向量表示。均勻度反映紋理的尺寸，對(duì)比度反映紋理的清晰度，方向反映實(shí)體是否有規(guī)則的方向性。常用的檢索方法有基于傳統(tǒng)數(shù)學(xué)模型的共生矩陣均值方差法、頻譜分析和結(jié)構(gòu)方法以及近幾年出現(xiàn)的基于視覺(jué)模型的多分辨率分析等。

（2）視頻檢索

基于內(nèi)容的視頻檢索首先要對(duì)視頻進(jìn)行處理，包括視頻節(jié)結(jié)構(gòu)的分析、視頻數(shù)據(jù)的自動(dòng)檢索引和視頻聚類(lèi)。視頻結(jié)構(gòu)的分析是指把視頻分割成基本的組成單元——鏡頭；視頻數(shù)據(jù)的自動(dòng)索引包括代表幀的選取以及靜止特征與運(yùn)動(dòng)特征的提??；視頻聚類(lèi)就是研究鏡頭之間的關(guān)系，把內(nèi)容相近的鏡頭組合起來(lái)，聚合成類(lèi)，以便縮小檢索范圍，提高檢索效率。在視頻處理中代表幀要能夠正確、完全地反映鏡頭的主要事件，同時(shí)要考慮計(jì)算的復(fù)雜性，常用選取代表幀的方法有：幀平均值法和直方圖平均法。

（3）音頻檢索

音頻檢索要從音頻數(shù)據(jù)中提取聽(tīng)覺(jué)特征信息。音頻特征可以分為感知特征和聽(tīng)覺(jué)特征（物理特性），聽(tīng)覺(jué)感知特征包括音量（用聲波信號(hào)的均方根近似描述）、音調(diào)（通過(guò)一系列較短時(shí)間段音頻信號(hào)的傅里葉頻譜來(lái)計(jì)算）、音強(qiáng)（用較短時(shí)間段音頻信號(hào)的傅里葉頻譜的質(zhì)心表示）等。非感知特征包括對(duì)數(shù)頻譜系數(shù)、線性預(yù)測(cè)系數(shù)等，其中線性預(yù)測(cè)系數(shù)在音頻壓縮碼領(lǐng)域和音頻信息檢索方面有極其廣泛的應(yīng)用。同視頻特征類(lèi)似，音頻特征隨時(shí)間而動(dòng)態(tài)變化，分析時(shí)間計(jì)算不同時(shí)間段的聲波信號(hào)的波形，并將波形的均值、方差和自相關(guān)系數(shù)等記錄在波形數(shù)據(jù)庫(kù)中；對(duì)音頻數(shù)據(jù)進(jìn)行采樣、幀抽取后，運(yùn)用方差分析等統(tǒng)計(jì)方法對(duì)音調(diào)、音量、音強(qiáng)等音頻特征進(jìn)行量化，并在音頻數(shù)據(jù)庫(kù)中記錄這些量化值，形成索引樹(shù)，在檢索時(shí)可以利用特征進(jìn)行示例和指定特征值查詢(xún)。

4 結(jié)束語(yǔ)

許多查新問(wèn)題還處于研究、試驗(yàn)階段，尚未有非常成熟的產(chǎn)品，特別是基于內(nèi)容的圖像檢索、視屏檢索，就連世界著名搜索公司Google的圖片搜索應(yīng)用的還是基于文字的技術(shù)。甚至連基于語(yǔ)義的文本檢索經(jīng)過(guò)10多年的研究、實(shí)踐，查準(zhǔn)率和查全率，特別是查準(zhǔn)率還存在許多問(wèn)題，相關(guān)的研究人員還在持續(xù)進(jìn)行研究、實(shí)驗(yàn)。

[1] Snodgrass R T,Gomze S,McKenzie.Aggregates in the Temporal Query Language TQuel.IEEE Transactions on Knowledge and Date Engineering,5,Qct . 1993.826~842

[2] 陳明，多媒體技術(shù)與應(yīng)用。北京：清華大學(xué)出版社，2004

[3] 劉云生，關(guān)于實(shí)時(shí)數(shù)據(jù)庫(kù)事務(wù)，軟件學(xué)報(bào)，1995（10）

multimedia data’s query and retrieval

Liu Yiou
(Xi’an Internation University,Xi’an,710077,China)

It needs to solve the complicated query problems of the multimedia data using any data model for storage and management. The text summarizes multimedia information query retrieval method from three aspects:giving structured property(the properties of media file、description of MPEG7’ s external characteristic)、giving free text describing of the media information and content(like the shape of the objects in the image、image texture、color、the key frame of video and so on)，and then make a detailed description of it.

multimedia;query;retrieval;storage

劉一鷗（1978-），女（漢族），陜西省西安市人，碩士，講師，研究領(lǐng)域?yàn)橛?jì)算機(jī)技術(shù)。