基于語(yǔ)義關(guān)聯(lián)的視頻元數(shù)據(jù)庫(kù)構(gòu)建

凌 堅(jiān)，蔡國(guó)炎，練益群

（1.浙江傳媒學(xué)院 電子信息學(xué)院，浙江 杭州 310018；2.浙江廣播電視集團(tuán)，浙江 杭州 310005）

責(zé)任編輯:哈宏疆

0 引言

當(dāng)前，廣電行業(yè)普遍都在進(jìn)行視頻內(nèi)容管理系統(tǒng)的建設(shè)，大量視頻被數(shù)字化和編目后進(jìn)入內(nèi)容管理系統(tǒng)，隨著系統(tǒng)規(guī)模不斷擴(kuò)大，視頻信息的檢索、過(guò)濾和提取技術(shù)已成為媒體內(nèi)容管理方面的研究熱點(diǎn)。然而，利用計(jì)算機(jī)技術(shù)直接從數(shù)據(jù)中理解視頻內(nèi)容十分困難，建立視頻數(shù)據(jù)的描述數(shù)據(jù)（即元數(shù)據(jù)）的視頻檢索和分析被普遍認(rèn)為是現(xiàn)階段最有效的解決方案，視頻數(shù)據(jù)的元數(shù)據(jù)庫(kù)構(gòu)建變得十分重要，一個(gè)結(jié)構(gòu)良好、內(nèi)容合理的元數(shù)據(jù)庫(kù)成為視頻數(shù)據(jù)管理的基礎(chǔ)。由于現(xiàn)有的媒體內(nèi)容管理系統(tǒng)中缺乏數(shù)據(jù)語(yǔ)義方面的信息，大部分系統(tǒng)的搜索引擎僅僅利用關(guān)鍵詞的直接匹配或詞頻統(tǒng)計(jì)作為檢索依據(jù)，對(duì)關(guān)系型需求的查詢?nèi)鄙僦С?；其次，在自然語(yǔ)言中，可能用不同詞匯來(lái)表達(dá)同一個(gè)概念，僅依靠關(guān)鍵詞匹配和詞頻統(tǒng)計(jì)，可能造成檢索錯(cuò)誤。要克服上述問(wèn)題，一個(gè)有效的方法是利用元數(shù)據(jù)的語(yǔ)義建立關(guān)鍵詞或標(biāo)簽（tag）之間的語(yǔ)義關(guān)聯(lián)，為搜索引擎提供語(yǔ)義信息。本文提出了一個(gè)利用語(yǔ)義關(guān)聯(lián)信息的視頻元數(shù)據(jù)數(shù)據(jù)庫(kù)構(gòu)建方法，利用該語(yǔ)義信息的檢索方法可有效改善系統(tǒng)搜索準(zhǔn)確性。

1 語(yǔ)義關(guān)聯(lián)網(wǎng)絡(luò)模型

元數(shù)據(jù)編目使關(guān)鍵詞和視頻之間建立了對(duì)應(yīng)關(guān)系，但關(guān)鍵詞本身并不僅僅是一個(gè)符號(hào)，而是具有一定的語(yǔ)義，在實(shí)際中，人們是使用關(guān)鍵詞不是使用符號(hào)本身，而是其包含的實(shí)際意義。因此僅僅記錄關(guān)鍵詞和視頻之間的關(guān)系對(duì)計(jì)算機(jī)理解視頻是不夠的。語(yǔ)義關(guān)聯(lián)的目的是在關(guān)鍵詞數(shù)據(jù)庫(kù)中引入類似人類具有的“知識(shí)”，使計(jì)算機(jī)能理解關(guān)鍵詞的詞義。在概念網(wǎng)絡(luò)模型（Conceptual Network Model，CNM）中，用概念來(lái)表示詞匯在自然語(yǔ)言中的實(shí)際意義。一個(gè)詞往往對(duì)應(yīng)著多個(gè)概念，即一詞多義，比如“病毒”這個(gè)詞，可以是指計(jì)算機(jī)中一類能復(fù)制自我的惡意程序，也可以表示生物學(xué)意義上的一類低等生物。同樣，也存在著不同的詞匯表示相同的概念，例如:成都還可被稱為蓉城、錦城、錦官城；世博會(huì)的同概念詞匯還有世界博覽會(huì)、國(guó)際博覽會(huì)、萬(wàn)國(guó)博覽會(huì)、世博會(huì)、世博、萬(wàn)博等。

概念雖然表達(dá)了明確的語(yǔ)義，但人對(duì)視頻的檢索等操作仍然會(huì)采用包括關(guān)鍵詞等自然語(yǔ)言方式，因此，需要在元數(shù)據(jù)庫(kù)中建立詞匯和代表語(yǔ)義的概念之間的關(guān)聯(lián)。

另一方面，由于視頻數(shù)據(jù)數(shù)目十分龐大，具有相似關(guān)鍵詞但不同類型的視頻在內(nèi)容上可能相去較遠(yuǎn)。為了改善語(yǔ)義關(guān)聯(lián)的元數(shù)據(jù)庫(kù)在檢索方面的性能，在關(guān)聯(lián)網(wǎng)絡(luò)中引入視頻的多重分類，如圖1所示。

元數(shù)據(jù)語(yǔ)義關(guān)聯(lián)數(shù)據(jù)庫(kù)中的視頻分類，可按照時(shí)間、地點(diǎn)、人物、知識(shí)屬性等角度提供多重分類體系標(biāo)準(zhǔn)，用于對(duì)視頻進(jìn)行分類編目。知識(shí)屬性分類體系分類可參考國(guó)家廣電總局的《廣播電視音像資料編目規(guī)范-電視資料部分》中對(duì)視頻節(jié)目分類建議和《中國(guó)新聞信息分類標(biāo)準(zhǔn)》相關(guān)規(guī)范和標(biāo)準(zhǔn)等，其構(gòu)建原則是保證類別之間重復(fù)少（唯一性）和類別集合的總體完備性。

2 詞匯表管理

在具體實(shí)現(xiàn)中，概念和關(guān)鍵詞類似，用詞或詞組表示，語(yǔ)義詞表管理提供對(duì)詞匯和概念詞匯進(jìn)行定義、維護(hù)的能力，包括基本詞匯管理和用戶自定義詞匯管理。在基本詞表管理方面，從知識(shí)屬性、題材和節(jié)目形態(tài)等方面考慮常用的詞匯和語(yǔ)義，匯集基本詞匯和語(yǔ)義關(guān)聯(lián)作為基本詞庫(kù)。在基本語(yǔ)義關(guān)聯(lián)詞庫(kù)的基礎(chǔ)之上，概念詞匯可以進(jìn)行動(dòng)態(tài)更新，包括新詞匯的增加和舊詞匯的去除。由于概念詞匯屬于相對(duì)固定、封閉的詞匯體系，它的動(dòng)態(tài)更新需要管理者審核后方可正式納入到編目系統(tǒng)中。

在用戶自定義詞庫(kù)管理方面，主要包括關(guān)鍵詞分析以及具有相同語(yǔ)義的關(guān)鍵詞庫(kù)（即同義詞）管理兩部分。通過(guò)關(guān)鍵詞統(tǒng)計(jì)分析，可以得到關(guān)鍵詞的使用頻率，在不同視頻中的使用情況等多方面信息，從而為關(guān)鍵詞的自動(dòng)推薦以及更新提供依據(jù)。具有相同語(yǔ)義的詞匯庫(kù)主要關(guān)注的是關(guān)鍵詞間的關(guān)聯(lián)信息。一定數(shù)量的編目之后，數(shù)據(jù)庫(kù)會(huì)積累大量的關(guān)鍵詞，這些詞匯中會(huì)有許多詞匯具有相同的語(yǔ)義或同一詞匯具有不同語(yǔ)義的情況出現(xiàn)。由于詞庫(kù)的建設(shè)和維護(hù)需要較大的工作量，視頻庫(kù)編目系統(tǒng)可以設(shè)有專職詞庫(kù)管理員，該管理員借助同義詞檢測(cè)、關(guān)鍵詞使用頻率和權(quán)重等技術(shù)指標(biāo)，將關(guān)鍵詞歸類，給出正式的關(guān)鍵詞作為一個(gè)統(tǒng)一使用概念，并建立這個(gè)概念詞匯與其對(duì)應(yīng)的關(guān)鍵詞之間的聯(lián)系，同時(shí)建立同義詞詞庫(kù)與概念索引庫(kù)的動(dòng)態(tài)聯(lián)系，保持關(guān)鍵詞和概念之間的關(guān)聯(lián)，保證檢索的一致性。

3 數(shù)據(jù)表示和存儲(chǔ)

目前對(duì)于關(guān)聯(lián)數(shù)據(jù)的存儲(chǔ)方式主要有純文本方式、專門存儲(chǔ)程序和關(guān)系數(shù)據(jù)庫(kù)方式3種:

1）純文本存儲(chǔ)。純文本（如.OWL文件）的方式，按某種方式直觀地表示語(yǔ)義之間的關(guān)聯(lián)，符合詞匯的語(yǔ)義特性，易于理解，適用于直接表示和存儲(chǔ)。但文本形式較簡(jiǎn)單，當(dāng)關(guān)聯(lián)的概念和實(shí)例較多時(shí)，效率較低，不適合大規(guī)模的詞匯和概念的語(yǔ)義關(guān)聯(lián)的管理。

2）專門的管理工具存儲(chǔ)。如OMM等軟件，支持對(duì)RDF、OWL等類型文件的存儲(chǔ)管理，并提供各種接口，可使用查詢語(yǔ)言對(duì)語(yǔ)義關(guān)聯(lián)關(guān)系進(jìn)行查詢，但這些軟件工具技術(shù)上尚不夠成熟，達(dá)不到關(guān)系數(shù)據(jù)庫(kù)存儲(chǔ)的效率。

3）關(guān)系數(shù)據(jù)庫(kù)存儲(chǔ)。關(guān)系數(shù)據(jù)庫(kù)技術(shù)相對(duì)成熟，適合大規(guī)模數(shù)據(jù)的存儲(chǔ)，存儲(chǔ)效率高，易管理且便于查找數(shù)據(jù)。在當(dāng)前支持語(yǔ)義信息存儲(chǔ)的技術(shù)尚未成熟的時(shí)候，對(duì)于海量數(shù)據(jù)本體的存儲(chǔ)和管理，關(guān)系數(shù)據(jù)庫(kù)是最佳選擇。

這里采用第3種關(guān)系數(shù)據(jù)庫(kù)存儲(chǔ)形式，數(shù)據(jù)的存儲(chǔ)采用與應(yīng)用分離的設(shè)計(jì)，對(duì)于以后擴(kuò)展和維護(hù)系統(tǒng)都具有較好的靈活性。存儲(chǔ)視頻語(yǔ)義關(guān)聯(lián)信息主要包括4個(gè)表，視頻-關(guān)鍵詞表、視頻-分類表，關(guān)鍵詞-概念詞表，分類表。此外，為了記錄完整的視頻、詞匯和分類數(shù)據(jù)，還至少需要建立視頻元數(shù)據(jù)相關(guān)的表、詞匯說(shuō)明表和類說(shuō)明表。表1、表2分別定義了詞匯表的主要字段和屬性，視頻-分類表和分類表與此類似。

表1 視頻-關(guān)鍵詞表

表2 詞匯-概念表

數(shù)據(jù)采用基于關(guān)系數(shù)據(jù)庫(kù)技術(shù)存儲(chǔ)和組織語(yǔ)義關(guān)聯(lián)信息，可以充分利用數(shù)據(jù)庫(kù)管理系統(tǒng)（Data Base Manage?ment System，DBMS）提供的各類數(shù)據(jù)定義、維護(hù)和檢索操作，采用結(jié)構(gòu)化查詢語(yǔ)言（SQL）實(shí)現(xiàn)語(yǔ)義關(guān)聯(lián)數(shù)據(jù)的管理，圖2是一個(gè)簡(jiǎn)化的利用關(guān)聯(lián)語(yǔ)義信息檢索的過(guò)程，并利用數(shù)據(jù)庫(kù)管理系統(tǒng)的功能，保證數(shù)據(jù)的一致性和完整性。

4 小結(jié)

數(shù)字視頻內(nèi)容管理的一個(gè)關(guān)鍵問(wèn)題是視頻內(nèi)容的智能檢索和推薦。直接在非結(jié)構(gòu)化的視頻數(shù)據(jù)中理解視頻內(nèi)容十分困難，在媒體資產(chǎn)（MAM）等內(nèi)容管理系統(tǒng)中，是通過(guò)視頻數(shù)據(jù)對(duì)應(yīng)的元數(shù)據(jù)對(duì)視頻進(jìn)行組織和檢索等操作，本文在分析了視頻元數(shù)據(jù)中關(guān)鍵詞在自然語(yǔ)言理解上的特點(diǎn)，引入“概念”，利用關(guān)鍵詞和概念之間語(yǔ)義上的關(guān)聯(lián)，建立視頻數(shù)據(jù)、關(guān)鍵詞和概念之間的語(yǔ)義關(guān)聯(lián)網(wǎng)絡(luò)，并根據(jù)視頻可能涉及的時(shí)間、地點(diǎn)、人物和屬性進(jìn)行分類，最后給出了在關(guān)系數(shù)據(jù)庫(kù)中存儲(chǔ)語(yǔ)義關(guān)聯(lián)信息的方法，利用關(guān)聯(lián)信息可以改善視頻檢索的智能化程度。計(jì)算機(jī)對(duì)詞匯在語(yǔ)義的理解上需要充分的語(yǔ)義“知識(shí)”，本文提出的語(yǔ)義關(guān)聯(lián)是這種知識(shí)的其中一個(gè)部分，要進(jìn)一步提高計(jì)算機(jī)視頻數(shù)據(jù)管理的智能程度，另一個(gè)關(guān)鍵的知識(shí)是概念間的語(yǔ)義聯(lián)系，如何對(duì)概念之間的語(yǔ)義聯(lián)系進(jìn)行細(xì)分，并建立概念之間的語(yǔ)義關(guān)聯(lián)模型是本文后續(xù)研究的一個(gè)方面。

[1]蘇偉峰，李紹滋.一個(gè)基于概念的中文文本分類模型[J].計(jì)算機(jī)工程與應(yīng)用，2002，38（6）:193-195.

[2]KARAM O，HAMAD A，ATTIA M.Exploring the sem antic gap in content-based image retrieval:with application to Lung CT[EB/OL].[2010-01-03].http://www.icgst.com/GVIP05/papers/P1150535241.pdf.

[3]沈玉利，郭雷，耿苑.一種新型圖像檢索語(yǔ)義網(wǎng)絡(luò)構(gòu)建方法[J].計(jì)算機(jī)應(yīng)用研究，2005，2（5），148-151.