視頻摘要技術(shù)綜述

李雙 楊欣怡

摘 要：視頻摘要的主要目的是可以讓用戶快速、方便的了解整個視頻的內(nèi)容，通過它可以快捷地在龐大的數(shù)據(jù)庫中找到用戶所需要的視頻。文章利用專利數(shù)據(jù)庫對視頻摘要技術(shù)進(jìn)行了數(shù)據(jù)分析，對該領(lǐng)域的專利發(fā)展趨勢進(jìn)行分析，通過對視頻摘要技術(shù)各個時(shí)期的專利文獻(xiàn)進(jìn)行梳理和分析，以不同階段的視頻摘要相關(guān)專利為例統(tǒng)計(jì)出該領(lǐng)域的技術(shù)演進(jìn)路線。

關(guān)鍵詞：視頻；摘要；概要；關(guān)鍵幀；專利；發(fā)展?fàn)顩r

中圖分類號：T-18 文獻(xiàn)標(biāo)志碼：A 文章編號：2095-2945（2018）25-0015-02

Abstract： The main purpose of video summary is to enable users to quickly and conveniently understand the content of the entire video， through which we can quickly find the video users need in the huge database. This paper makes use of patent database to analyze the data of video abstract technology， analyzes the patent development trend in this field， and sorts out and analyzes the patent literature of each period of video abstract technology. Taking the patents related to video abstracts in different stages as an example， the evolution route of technology in this field is analyzed.

Keywords： video； abstract； summary； keyframe； patent； development status

1 概述

在現(xiàn)代社會中，隨著網(wǎng)絡(luò)技術(shù)的飛速發(fā)展和多媒體技術(shù)的廣泛應(yīng)用，數(shù)字視頻大量涌現(xiàn)，例如新聞、廣告、監(jiān)控視頻、家庭視頻、網(wǎng)絡(luò)電影等數(shù)字視頻的快速增加引發(fā)了許多新的技術(shù)，包括視頻存檔、編目、索引以及存取等[1][2]。視頻摘要主要目的是可以讓用戶快速、方便的了解整個視頻的內(nèi)容，以決定是否詳細(xì)觀看這段視頻，同時(shí)，還可以用于視頻數(shù)據(jù)庫的索引、查詢等，通過它可以快捷地在龐大的數(shù)據(jù)庫中找到用戶所需要的視頻[3][4]。

2 技術(shù)演進(jìn)路線

通過對視頻摘要技術(shù)各個時(shí)期的專利文獻(xiàn)進(jìn)行梳理和分析，可以得到該領(lǐng)域的專利技術(shù)演進(jìn)路線如圖1所示。

2.1 第一階段（1987年-2000年）：萌芽期

1989年-2000年是視頻摘要技術(shù)的萌芽期，在這一階段，文本類型的視頻摘要主要是基于文本識別方法，圖片類型、視頻概要、以及特殊視頻片段集合主要基于視覺信息生成方法生成的，同時(shí)也出現(xiàn)了一些關(guān)于簡單的時(shí)間壓縮或語音信號識別方法。

文字類型的視頻摘要典型的代表專利，例如飛利浦公司于2001年申請的專利WO0241634 A2公開了一種基于副本信息提取節(jié)目摘要的方法，根據(jù)分類的節(jié)目類型在副本信息中確定出第一待識別提示語，然后根據(jù)在副本信息中識別的提示語，存儲一部分副本信息，根據(jù)存儲的這部分副本信息產(chǎn)生節(jié)目的摘要。

這一階段主要研究方向是靜態(tài)的圖片類型的視頻摘要，基于顏色和運(yùn)動的關(guān)鍵幀提取進(jìn)入了研究者的視線，例如夏普1997年申請的專利US19970994558A，一種視頻摘要生成方法，通過統(tǒng)計(jì)輸入視頻幀序列關(guān)鍵幀的直方圖，基于得到的關(guān)鍵幀直方圖檢測到鏡頭邊界，將鏡頭邊界的視頻幀作為視頻摘要圖片；關(guān)于視頻概要以及特殊視頻片段方面的研究剛剛起步，蘋果公司于1994年申請的專利US5805733 A，一種檢測視頻場景和視頻幀序列的方法，通過比較各個場景之間的顏色直方圖、運(yùn)動向量偏差等相似性檢測場景的改變，對場景進(jìn)行分割，然后依據(jù)它們的持續(xù)時(shí)間來選擇重要的場景組合作為視頻摘要；還有一些基于用戶交互的特殊視頻片段集合的應(yīng)用，例如索尼公司1996年申請的專利HU224575 B1，提供了用戶管理記錄在記錄介質(zhì)的節(jié)目的激動人心或特征部分（作為摘要）的記錄位置的管理區(qū)，所以可獲得記錄介質(zhì)上的節(jié)目的概要。基于簡單的時(shí)間壓縮和僅采用語音信號生成視頻摘要的方法代表有專利有日本松下公司1996年申請的專利JP1998032809A，一種基于簡單時(shí)間壓縮的視頻摘要審查方法，通過以雙倍的速度提取關(guān)鍵幀生成摘要。

2.2 第二階段（2000年-2009年）：快速發(fā)展期

2000年-2010年期間，基于圖片的視頻摘要發(fā)展迅速。涌現(xiàn)了一些更復(fù)雜的基于鏡頭聚類的關(guān)鍵幀提取方法。例如北京新岸線網(wǎng)絡(luò)技術(shù)有限公司于2006年申請的專利CN101021904 A，一種視頻內(nèi)容分析的方法，設(shè)某個鏡頭包含的多個圖像幀，預(yù)定義閾值控制聚類密度，從每個聚類中抽取離聚類質(zhì)心最近的作為這個聚類的代表幀，所有聚類的代表幀就構(gòu)成了鏡頭的關(guān)鍵幀，然后結(jié)合人臉識別對視頻關(guān)鍵幀進(jìn)行分析。

同期，基于視頻概要和特殊視頻片段集合也開始得到研發(fā)重視，快速發(fā)展起來，基于視覺的視頻概要生成也有了進(jìn)一步的發(fā)展，例如夏普2002年申請的專利US2003081937A1，一種體育視頻摘要提取方法，基于顏色特征和場景的改變通過馬爾科夫定理或貝葉斯模型識別體育事件，提取出體育事件區(qū)間組合為視頻摘要。隨著人臉識別以及文字，語音識別技術(shù)的發(fā)展，出現(xiàn)了融合了人臉識別技術(shù)，文字識別技術(shù)、語音識別技術(shù)等綜合特征的視頻概要以及特殊視頻片段摘要生成方法。華為公司于2007年申請的專利CN101431689 A，公開了一種生成視頻摘要的方法及裝置，通過對視頻文件的視覺精彩度和聲音精彩度進(jìn)行處理，然后將滿足視覺精彩度和聲音精彩度的關(guān)聯(lián)鏡頭組聚合成視頻片段得到視頻摘要。與此同時(shí)出現(xiàn)了一些基于視頻語義的生成方法的視頻摘要技術(shù)，具有代表性的專利有三菱公司2004年申請的專利US7409407A，通過定義相似矩陣，聚類模型學(xué)習(xí)視頻語義結(jié)構(gòu)關(guān)系從而生成視頻摘要；在用戶交互方面，出現(xiàn)了通過統(tǒng)計(jì)用戶行為，生成用戶感興趣的視頻摘要生成方法，例如國際商業(yè)機(jī)器公司于2009年申請的專利WO2011064168 A1，公開了一種用于提供網(wǎng)絡(luò)視頻訪問熱度的方法和裝置，通過大數(shù)據(jù)統(tǒng)計(jì)網(wǎng)絡(luò)用戶在播放視頻是的快進(jìn)、回放、前拖、后拖等操作來生成熱點(diǎn)視頻摘要。

2.3 第三階段（2010年至今）：多元化發(fā)展期，中國崛起

2011年至今，視頻摘要技術(shù)進(jìn)入多元化發(fā)展時(shí)期。在圖片類型的摘要方面出現(xiàn)了全景關(guān)鍵幀，例如三菱公司于2011年申請的專利US2013163961 A1，通過多個關(guān)鍵幀中運(yùn)動目標(biāo)的識別與跟蹤，把各個目標(biāo)放入一個3D場景中，形成3D場景的視頻摘要。在視頻概要方面，例如韓國電信研究所2013年申請的專利US2014086553 A1，通過識別在觀看視頻時(shí)用戶眼睛的凝視，來生成用戶感興趣的視頻摘要；國際商業(yè)機(jī)器公司于2015年申請的專利US2017092333A，通過視頻語法結(jié)構(gòu)識別預(yù)定義對象在標(biāo)記幀內(nèi)可識別信息的極限信息來確定關(guān)鍵幀。

此時(shí)，中國的視頻摘要技術(shù)進(jìn)入了快速發(fā)展時(shí)期，具有代表性的中國專利有，廣東鑫程電子科技有限公司于2010年申請的專利CN202003350U，公開了一種視頻摘要系統(tǒng)，將視頻中的運(yùn)動目標(biāo)提取為的運(yùn)動塊，進(jìn)行處理后，與前一幀中相對應(yīng)的運(yùn)動塊進(jìn)行匹配，實(shí)現(xiàn)目標(biāo)的跟蹤，并將運(yùn)動塊在不同時(shí)間的位置同時(shí)顯示于同一幀畫面中，這樣就可以將一段時(shí)間之內(nèi)的視頻內(nèi)容濃縮地顯示于同一幀中，當(dāng)這些濃縮后的視頻幀連貫起來，便可以形成整段視頻的摘要。

3 結(jié)束語

本文通過核心專利的解析詳細(xì)梳理了視頻摘要技術(shù)的發(fā)展情況，有助于全面了解視頻摘要技術(shù)的基本發(fā)展態(tài)勢，對其專利審查工作有較大幫助。

參考文獻(xiàn)：

[1]蘇翠寧.視頻摘要技術(shù)研究與系統(tǒng)實(shí)現(xiàn)[D].中南大學(xué)，2009.

[2]余衛(wèi)宇，曹燕，謝勝利.視頻摘要的現(xiàn)狀和研究進(jìn)展[J].計(jì)算機(jī)應(yīng)用研究，2008，25（7）：1948-1952.

[3]謝月飛.基于摘要的視頻內(nèi)容檢索系統(tǒng)[D].桂林電子科技大學(xué)，2013.

[4]陳添丁.基于內(nèi)容特征的圖像檢索和整合性視頻檢索[D].浙江大學(xué)，2003.