基于內容的視頻檢索技術在數(shù)字檔案館中的應用

文/謝建云

基于內容的視頻檢索技術在數(shù)字檔案館中的應用

文/謝建云

文章圍繞基于內容的海量視頻檢索的特征與技術所面臨的突出問題，闡述基于內容的海量視頻檢索的特征與技術，并積極將基于內容檢索方法應用于數(shù)字檔案館中視頻檔案管理領域，以期為用戶提供高效、準確、便捷、直觀的知識服務，彰顯檔案價值

檔案館；視頻檢索；數(shù)字化建設

隨著社會經(jīng)濟的持續(xù)發(fā)展，檔案管理顯得越來越重要［1］（p427-428）。數(shù)字檔案館是運用當代信息技術，對數(shù)字檔案信息資源進行管理，以網(wǎng)絡化方式相聯(lián)接和提供利用，實現(xiàn)資源共享的信息系統(tǒng)。其除了館藏檔案數(shù)字化的工作外，還涉及檔案信息的采集、整理、存儲、檢索、保管、利用、鑒定、統(tǒng)計等全過程［2］（p73-85）。數(shù)字檔案館應具有強大的檢索能力，能根據(jù)需要設置目錄檢索、元數(shù)據(jù)檢索、全文檢索、圖文聲像一體化檢索等，并能對查詢結果用戶進行顯示、排序、轉存、打印輸出等技術處理，使利用者可以通過網(wǎng)絡對數(shù)字化檔案信息資源進行遠程查閱和利用。

一、傳統(tǒng)基于文本檔案管理工作的瓶頸

數(shù)字檔案館在知識傳播中承擔著重要的角色。視頻檔案以其直觀的記憶展示，失真度小、還原性強、生動感好等特點也將會越來越受到青睞。面對海量視頻，如何快速有效地針對需求完成檢索和輸出，是當前研究的熱點。

傳統(tǒng)的計算機視頻信息檢索是通過文字形式來描述，是基于文本的檢索方法，即視頻信息存入計算機的同時添加描述性的說明文字，對信息的物理特征和主要內容進行標錄，將視頻本身涵義轉換為文本說明，建立文件標題及注入關鍵詞，包括一些附加的描述信息等作為索引，錄入數(shù)據(jù)庫當中，采用關系數(shù)據(jù)庫技術來實現(xiàn)視頻文件的檢索，檢索時對數(shù)據(jù)庫中的文本信息進行搜索匹配。

但這種方法存在著缺陷，主要表現(xiàn)為：①視頻文件由人工進行主題標注，內容的理解與標注上有很大的主觀性，不同的管理者會存在不同的內容解釋，且難以準確描述蘊藏在視頻中的所有內容信息，描述不夠形象具體。②工作量大而繁瑣，尤其在大新?lián)r代，民眾記憶日益豐富，捕捉珍貴記憶，擴大了人類記憶的收集范圍，日常生活和工作中形成了大量的視頻檔案，面對海量視頻用傳統(tǒng)檢索方法已不能適應。

筆者提出的基于內容的視頻檢索CBVR （Content-Based Video Retrieval）技術是相對于傳統(tǒng)的基于文本和關鍵詞的檢索而言，之所以強調內容，是因其包含有文件名和標注信息所無法描述的更加豐富的信息，涉及到圖像處理、視頻處理、模式識別、計算機視覺、圖像特征提取匹配等方面的知識。

二、基于內容的海量視頻檔案檢索技術分析

基于內容的視頻檢索（CBVR）指的是按照用戶的查詢需求，自動對視頻資料的各種視覺特征進行檢索，將視頻資料本身的視覺內容如顏色、紋理、空間關系等特征作為索引，對照查詢視頻特征和視頻庫中視頻特征的相似性，從視頻檔案數(shù)據(jù)庫中查詢到具有特定特征或者含有特定內容的視頻資料并按相似度從大到小排列庫中視頻資料［3］（p8-10）。基于內容的海量視頻檢索技術由于能夠根據(jù)視頻的可視內容進行查詢，從而方便了用戶，查詢時針對不同的具體應用情況，可利用一種或幾個特征組合進行查詢檢索。

基于內容的海量視頻檢索系統(tǒng)體系結構劃分為視頻特征提取和視頻查詢兩個子系統(tǒng)。用戶向發(fā)出查詢請求，系統(tǒng)自動將查詢需求轉化為電腦內部特征描述，并借助這些特征描述與特征庫中信息進行匹配。系統(tǒng)依據(jù)匹配結果到視頻庫中搜索并提取出用戶所需要的視頻檢索結果來，用戶對檢索結果進行驗證，可直接使用或進一步改進查詢條件并重新檢索。［4］

（一）視頻預處理

由于視頻資料來源不一，所使用的格式多樣，為了便于系統(tǒng)處理，首先需對源視頻進行相關預處理，包括視頻格式轉換、規(guī)格化、視頻圖像的增強、去噪等。

（二）基于內容的視頻特征提取

與基于文本的視頻數(shù)據(jù)庫的精確關鍵字的檢索不同，基于內容的檢索普遍采用的是相似性而非精確化。視頻本來所包含的內容是多元化的，要用精確的數(shù)字來匹配高層語義存在難度，所以采用模糊的相似度測量。［5］視頻是三維信號，是一種具有時間及空間三維結構的數(shù)據(jù)格式，數(shù)據(jù)量大、蘊含信息豐富。視頻特征提取是基于內容的海量視頻檢索的核心問題，就是要建立視頻底層特征（如顏色、紋理、空間、音高、運動對象等）與語義信息（如人、會議、發(fā)言等）之間的對應關系，并將所提取的視頻特征信息存儲到特征數(shù)據(jù)庫中［6］（65-70）。視頻特征提取如圖1所示：

▲ 圖1 視頻特征提取

1. 顏色特征的提取

顏色是CBVR中最直觀的視覺特性，任何物體都有其特殊的顏色特征，相同種類的事物有著相同或相似的顏色特征，所以可利用樣色來區(qū)分不同的物體。對視頻檢索比較有效的方法有：顏色矩、顏色相關圖、顏色直方圖等。

2. 紋理特征的提取

紋理是跟物體表面材質有關的視覺特性，可以看成是由一些相似形狀的重復分布，它不依賴于物體的顏色、亮度，是像素灰度級的空間分布特征。紋理特征的提取方法主要有：統(tǒng)計法和結構法。統(tǒng)計法主要有多尺度回歸法、遺傳算法、馬爾可夫分析法、共生矩陣分析法等，結構法紋理提取主要包括：粗細度、方向性、重復性、對比度、復雜性等。

3. 空間關系特征的提取

顏色和紋理反應的是物體的整體特性，無法體現(xiàn)視頻所包含的對象和目標，實際上視頻資料中的特定對象或對象間的空間關系也是十分重要的圖像特征?？臻g關系主要包括方向、拓撲與度量。提取空間關系特征的方法主要有：基于圖像分割、基于圖像子塊等。

（三）視頻檢索數(shù)據(jù)庫

視頻數(shù)據(jù)庫由視頻資料庫、視頻特征庫和知識庫組成。視頻資料庫為數(shù)字化的視頻信息，視頻特征庫包含自動提取的視頻內容特征，知識庫包含各種專業(yè)和通用的知識，知識庫中內容可以更換以適應各種不同的應用領域，有利于促進查詢優(yōu)化和快速匹配。

（四）視頻檢索接口

視頻檢索接口主要功能是為用戶提供一個友好的檢索界面，用戶可以使用多種方式表達自己的檢索要求。例如用顏色特征檢索時允許用戶指定不同顏色的百分比，或者同時選擇幾種不同視頻特征進行組合查詢。用戶也可使用系統(tǒng)提供的畫圖功能勾畫出自己感興趣目標的幾何形狀。

三 、視頻檢索技術在數(shù)字檔案館中的應用

數(shù)字檔案館建設的不斷推進，視頻檔案的數(shù)量在急劇增加，視頻檔案作為檔案資料重要組成部分，視頻檔案的管理與利用是數(shù)字檔案館建設亟需解決的問題。用戶為了得到相關信息，對需要檢索內容進行條件設置，基于內容的視頻檢索模型要先對視頻信息進行有效分割，通過提取行為特征值，并將行為特征值與規(guī)則庫中的規(guī)則進行匹配，識別出所有對象所發(fā)生的行為，最后將識別出的每個對象的所有信息以及幀號存入數(shù)據(jù)庫［7］（p14-18）。經(jīng)過一個特征值相似度計算，當系統(tǒng)獲取到用戶要查詢的的信息，利用這些索引和內容元數(shù)據(jù)對海量視頻數(shù)據(jù)庫進行查詢，按照一定的相似度對比算法進行相似度計算，并對最終的相似度排序，檢索和瀏覽以定位所需要的視頻片段。檢索模型如圖2所示。

▲ 圖2 檢索模型

基于內容的視頻檢索技術在數(shù)字檔案館中將發(fā)揮著獨特的優(yōu)勢，應用的目的是通過對視頻圖像內容進行計算機分析與理解，對海量視頻數(shù)據(jù)進行高速的分析，僅對用戶提供有用的關鍵信息，再通過網(wǎng)絡傳輸給終端利用的用戶。檢索界面如圖3所示。

▲ 圖3 檢索界面

四、小結

基于內容的視頻檢索技術是對視頻數(shù)據(jù)中蘊含的視覺和語義內容進行計算機處理、分析與理解，并根據(jù)內容進行檢索，其本質是對視頻數(shù)據(jù)內容與結構進行分析，提取視頻語義信息，保證視頻內容能被快速檢索?；趦热莸囊曨l檔案數(shù)據(jù)庫的建立、基于內容的視頻檢索技術的應用和推廣，一定程度上解決視頻檢索數(shù)量龐大的難題，使得數(shù)字檔案館能提供更便捷服務并更具價值。

（本文系2014年度浙江省檔案局科技項目“數(shù)字校園環(huán)境下高校檔案服務平臺建設研究”研究成果）

（責任編輯：李淑芳）

［1］ 鮑亮，李倩.實戰(zhàn)大數(shù)據(jù)［M］.北京：清華大學出版社，2014.

［2］ 莊越挺，潘云鶴，吳飛.網(wǎng)上多媒體信息分析與檢索［M］.北京：清華大學出版社，2002.

［3］ 卜慶凱.基于內容的視頻檢索與視頻摘要關鍵技術研究［D］.南京：東南大學，2009.

［4］ Colombo C，Del Bimbo A.Color-indexed image representation and retrieval［J］. Pattern Recognition，1999，32（10）.

［5］ Bimbo A D，Mugnaini M，Pala P，eta1.Visual querying by color perceptive regions［J］.Pattern Recognition，1998，31（9）.

［6］ 郭曉科.大數(shù)據(jù) ［M］.北京：清華大學出版社，2013.

［7］ 楊晶.數(shù)字檔案館信息檢索系統(tǒng)的研究與實現(xiàn)［D］.北京：北京交通大學，2006.

Application of Techniques of Content-Based Video Retrieval in Digita Archival Construction

Xie Jian-yun

G270.7

A

1005-9652（2016）02-0073-03

謝建云（1976—），女，浙江臺州人，臺州職業(yè)技術學院副研究館員。