基于內(nèi)容的視頻檢索技術(shù)教學(xué)應(yīng)用研究

【摘要】首先指出了傳統(tǒng)視頻檢索的局限和不足，闡述了基于內(nèi)容的視頻檢索過(guò)程；以視頻教材為結(jié)合點(diǎn)，總結(jié)了基于內(nèi)容的視頻檢索技術(shù)在教學(xué)中應(yīng)用的思想和方法，思考了該技術(shù)對(duì)視頻教材開(kāi)發(fā)的啟示；并針對(duì)提高視頻教材交互性的問(wèn)題，提出了自己的觀點(diǎn)。

【關(guān)鍵詞】基于內(nèi)容的視頻檢索；視頻教材；交互性；關(guān)鍵幀；學(xué)生支持服務(wù)

【中圖分類號(hào)】G431 【文獻(xiàn)標(biāo)識(shí)碼】A 【論文編號(hào)】1009—8097 (2008) 07—0101—03

一 引 言

隨著多媒體、網(wǎng)絡(luò)和計(jì)算機(jī)技術(shù)的發(fā)展，特別是海量存儲(chǔ)技術(shù)和流媒體傳輸技術(shù)的成熟和完善，數(shù)字視頻已經(jīng)成為教育教學(xué)中重要的資源類型。如何快速有效的檢索視頻資源，如何提高視頻教材的交互性，成為其能否在教育教學(xué)中充分利用的關(guān)鍵因素。

數(shù)字環(huán)境下，傳統(tǒng)的電視教材經(jīng)過(guò)數(shù)字化編碼以后，可以通過(guò)網(wǎng)絡(luò)傳播，利用計(jì)算機(jī)硬盤、光盤存儲(chǔ)，通過(guò)計(jì)算機(jī)播放呈現(xiàn)內(nèi)容，已經(jīng)突破了以往僅通過(guò)電視傳播和呈現(xiàn)的單一方式。因此，傳統(tǒng)電視教材的概念已經(jīng)不能完全涵蓋數(shù)字環(huán)境下電視教材的內(nèi)涵?；诖耍疚陌褦?shù)字環(huán)境下的電視教材稱作視頻教材。

視頻信息通常包括兩部分：一部分是底層的視覺(jué)信息，如：顏色、紋理、主體形狀和運(yùn)動(dòng)特征等；另一部分是高層的語(yǔ)義信息。視頻數(shù)據(jù)本身只能表達(dá)視覺(jué)信息，而不能表達(dá)其語(yǔ)義信息，因此視頻的語(yǔ)義信息具有多樣性和模糊性，不同的人對(duì)同一段視頻可能會(huì)有不同的解釋，加上視頻信息數(shù)據(jù)量大、數(shù)據(jù)結(jié)構(gòu)復(fù)雜， 這就決定了對(duì)視頻的檢索要更復(fù)雜、更困難。視頻檢索就是從大量的視頻數(shù)據(jù)中找到所需的視頻片段。傳統(tǒng)的視頻檢索基于關(guān)鍵詞描述(Keyword-based Video Retrieval，KBVR)，其描述能力有限、主觀性強(qiáng)、需要手工標(biāo)注，視頻數(shù)據(jù)庫(kù)建設(shè)成本高、周期長(zhǎng)，檢索的單位只局限于電影或整場(chǎng)比賽，對(duì)于更小的視頻片段，如一個(gè)場(chǎng)景或鏡頭的檢索，只能依靠傳統(tǒng)的快進(jìn)、快退等手段進(jìn)行人工查找。費(fèi)時(shí)、費(fèi)力且不能滿足用戶對(duì)視頻內(nèi)容檢索的要求[1]?；趦?nèi)容的視頻檢索既能向用戶提供基于顏色、紋理、形狀及運(yùn)動(dòng)特征等視覺(jué)信息的檢索，又能提供基于高級(jí)語(yǔ)義信息的檢索，具有在鏡頭、場(chǎng)景、情節(jié)等不同層次上進(jìn)行檢索的功能，能滿足用戶基于例子和特征描述的檢索要求。

二 基于內(nèi)容的視頻檢索過(guò)程分析

鏡頭是視頻數(shù)據(jù)的基本單元，所以基于內(nèi)容檢索的視頻處理，首先必須將視頻序列分割為鏡頭，再對(duì)每個(gè)鏡頭進(jìn)行特征提取，得到一個(gè)盡可能反映鏡頭內(nèi)容的特征空間，作為鏡頭聚合的依據(jù)。鏡頭特征包括靜態(tài)視覺(jué)特征和動(dòng)態(tài)特征兩個(gè)方面。靜態(tài)特征主要指顏色、紋理及主體形狀特征等。靜態(tài)特征的提取是通過(guò)對(duì)鏡頭關(guān)鍵幀特征提取實(shí)現(xiàn)的。關(guān)鍵幀是從鏡頭中抽取出來(lái)的，能反映鏡頭內(nèi)容的一組靜態(tài)圖像。動(dòng)態(tài)特征的提取是在對(duì)鏡頭運(yùn)動(dòng)分析的基礎(chǔ)上進(jìn)行的，運(yùn)動(dòng)分析主要是針對(duì)目標(biāo)運(yùn)動(dòng)軌跡的變化、目標(biāo)大小的變化、鏡頭運(yùn)動(dòng)的變化（如：推、拉、搖、移、跟等），所采用的方法主要有基于塊的方法、像素遞歸方法、貝葉斯方法和基于光流方程的方法等。所提取的特征被存入特征庫(kù)中，并以此進(jìn)行索引。在鏡頭的基礎(chǔ)上，根據(jù)鏡頭特征進(jìn)一步進(jìn)行鏡頭聚類，形成情節(jié)，然后提取情節(jié)的代表幀 ，并進(jìn)行描述后存入視頻數(shù)據(jù)庫(kù)。最后根據(jù)用戶提交的查詢按照一定的特征進(jìn)行視頻檢索 ，將檢索結(jié)果按相似程度提交給用戶，這樣用戶就可以方便的瀏覽和檢索視頻?；趦?nèi)容的視頻分析如圖1所示[2]。

基于內(nèi)容的視頻信息檢索系統(tǒng)一般由索引、查詢、檢索三大模塊組成。索引模塊中，運(yùn)用鏡頭分割、關(guān)鍵幀選取、特征提取等技術(shù)對(duì)視頻數(shù)據(jù)進(jìn)行預(yù)處理， 并實(shí)現(xiàn)視頻特征索引的建立；查詢模塊是實(shí)現(xiàn)人機(jī)交互的重要接口， 通過(guò)該模塊用戶可以容易地實(shí)現(xiàn)交互信息查詢， 即方便地向系統(tǒng)提交自己的各項(xiàng)特征要求，并可把檢索結(jié)果作為進(jìn)一步查詢的輸入，實(shí)現(xiàn)更精確的檢索；檢索模塊主要完成視頻特征索引與用戶提交的各項(xiàng)特征的相似度計(jì)算、特征匹配，并根據(jù)相關(guān)度進(jìn)行結(jié)果排序后提交給用戶?；趦?nèi)容的視頻檢索系統(tǒng)整體模塊圖如圖2所示[3]。

基于內(nèi)容的視頻檢索的關(guān)鍵技術(shù)主要有鏡頭檢測(cè)技術(shù)、鏡頭聚類技術(shù)、視頻數(shù)據(jù)庫(kù)組織和索引技術(shù)、視頻語(yǔ)義分析技術(shù)以及顯示和交互技術(shù)等。

三 教育教學(xué)應(yīng)用

在教育教學(xué)方面，基于內(nèi)容的視頻檢索技術(shù)主要是用來(lái)對(duì)視頻教學(xué)資源進(jìn)行有效的檢索和管理，比如：靈活獲得所需視頻教學(xué)資源，學(xué)校圖書館的數(shù)字化，遠(yuǎn)程視頻教學(xué)等方面。文章主要以視頻教材為結(jié)合點(diǎn)來(lái)研究基于內(nèi)容的視頻檢索技術(shù)在教育教學(xué)中的應(yīng)用。

1 視頻教材交互性研究

受傳統(tǒng)教育的影響，我國(guó)的學(xué)習(xí)者特別鐘情于視頻教材。但由于傳統(tǒng)電視教材大都以整節(jié)課為單位開(kāi)發(fā)的，具有整體性、封閉性等特點(diǎn)，因此幾乎不具備交互性。而交互是學(xué)習(xí)的靈魂，交互的缺乏，將嚴(yán)重影響學(xué)習(xí)效果。建構(gòu)主義學(xué)習(xí)理論認(rèn)為學(xué)習(xí)不是靠灌輸知識(shí)而完成的，而是學(xué)習(xí)者對(duì)知識(shí)意義建構(gòu)的過(guò)程，這種對(duì)知識(shí)意義的建構(gòu)無(wú)處不體現(xiàn)著交互。

（1） 交互的概念

交互即教學(xué)交互，是指在學(xué)習(xí)過(guò)程中，以學(xué)習(xí)者對(duì)學(xué)習(xí)內(nèi)容產(chǎn)生正確意義建構(gòu)為目的，學(xué)習(xí)者與學(xué)習(xí)環(huán)境之間的相互交流與相互作用。而交互性是反映媒體支持教與學(xué)相互作用的能力或特性，是教學(xué)交互發(fā)生的前提[4]。穆?tīng)柊呀虒W(xué)交互分為三種類型：學(xué)習(xí)者與學(xué)習(xí)內(nèi)容的交互、學(xué)習(xí)者與教師的交互和學(xué)習(xí)者與學(xué)習(xí)者的交互（Moore，1989）。Hillman在1994年提出了第四種交互即學(xué)習(xí)者與媒體界面的交互（Hillman，1994）。我們這里所談的交互，是把視頻教材作為與學(xué)習(xí)者交互的實(shí)體，即學(xué)習(xí)者與媒體界面的操作交互，也是學(xué)習(xí)者與學(xué)習(xí)內(nèi)容產(chǎn)生交互的基礎(chǔ)。

為了實(shí)現(xiàn)視頻教材的交互，我們有必要將其分為兩種：一種是視頻教材的內(nèi)部交互；另一種是視頻教材的外部交互。前者是指在拍攝制作視頻教材的過(guò)程中教師根據(jù)教學(xué)設(shè)計(jì)所組織的教師和學(xué)生及學(xué)生與學(xué)生之間的交互；后者則是指視頻教材在使用的過(guò)程中能夠根據(jù)使用者的需求動(dòng)態(tài)調(diào)整所呈現(xiàn)的內(nèi)容而實(shí)現(xiàn)的交互。

由于傳統(tǒng)的電視教材是完全按時(shí)間的順序連續(xù)播放的，因此只存在內(nèi)部交互，并且，一旦開(kāi)發(fā)制作完成，其內(nèi)部交互就不會(huì)再改變，很難適應(yīng)不同的使用者。

在數(shù)字環(huán)境下，我們可以從較微觀的角度開(kāi)發(fā)視頻積件素材，即以知識(shí)點(diǎn)為單位開(kāi)發(fā)；利用流媒體傳輸技術(shù)、SMIL技術(shù)及基于內(nèi)容的檢索技術(shù)等充分的共享和使用視頻積件素材；再根據(jù)自己的需要，組合成視頻教材，并增加控制組件，以實(shí)現(xiàn)視頻教材的外部交互。

（2） 交互的實(shí)現(xiàn)及交互模型

在教和學(xué)的過(guò)程中，教師和學(xué)生均可利用基于內(nèi)容的視頻檢索平臺(tái)，檢索所需的視頻積件素材，如果是通過(guò)網(wǎng)絡(luò)檢索，根據(jù)需要下載到本機(jī)，或利用流媒體技術(shù)實(shí)時(shí)播放。

一方面，教師可根據(jù)實(shí)際教學(xué)需要，利用積件組合平臺(tái)（可以是非線性編輯工具，如：Premier、Video studio等，也可以是多媒體編著工具，如：PowerPoint、Authorware、Flash等，還可以是自行開(kāi)發(fā)的多媒體組合平臺(tái)）將視頻積件素材組織成能適應(yīng)不同教學(xué)情景的視頻教材，并加入交互控件。教師在利用視頻教材授課的過(guò)程中，可以靈活安排教學(xué)進(jìn)程，并根據(jù)學(xué)生的反應(yīng)和教學(xué)需要?jiǎng)討B(tài)的改變播放內(nèi)容及播放順序以實(shí)現(xiàn)與視頻教材的交互。另一方面，學(xué)生既可以利用教師的視頻教材進(jìn)行自學(xué)，并根據(jù)自己的實(shí)際情況，來(lái)選擇不同的視頻內(nèi)容，實(shí)現(xiàn)與視頻教材的交互；也可以從視頻積件庫(kù)中直接檢索所需視頻積件素材，組合成適合自己的視頻教材，并在學(xué)習(xí)過(guò)程中靈活的與其完成交互。通過(guò)對(duì)視頻教材的交互，可以有效的實(shí)現(xiàn)教師教和學(xué)生學(xué)的個(gè)性化。數(shù)字環(huán)境下視頻教材交互模型如圖4-2所示。

2 視頻教材的應(yīng)用

（1） 在課堂教學(xué)中的應(yīng)用

在課堂教學(xué)中，教師既可以根據(jù)教學(xué)需要，完全依靠視頻教材來(lái)講解課程內(nèi)容，然后做強(qiáng)調(diào)總結(jié)，這主要適合于體育、實(shí)驗(yàn)等操作性較強(qiáng)的課程；也可以利用插播型視頻教材，利用電視的形象性，突破重點(diǎn)、難點(diǎn)，在播放的同時(shí)，觀察學(xué)生的反應(yīng)，遇到困難的地方可以停下來(lái)，重點(diǎn)解釋或讓學(xué)生互相討論，這樣既增強(qiáng)了教材的教學(xué)性，又提高了使用的靈活性，既有利于發(fā)揮教師的主導(dǎo)作用，又能充分調(diào)動(dòng)學(xué)生的積極性，實(shí)現(xiàn)了教師講授與視頻教材的密切配合[5]；還可以檢索選擇合適的視頻積件素材，利用非線性編輯工具或多媒體編著工具，制作成符合教學(xué)要求的視頻教材或把視頻素材整合到多媒體課件中，進(jìn)行多媒體教學(xué)。

（2） 在遠(yuǎn)程教育中的應(yīng)用

① 作為遠(yuǎn)程學(xué)習(xí)者重要的學(xué)習(xí)材料

在遠(yuǎn)程教育中，學(xué)習(xí)者主要是利用遠(yuǎn)程教育機(jī)構(gòu)事先開(kāi)發(fā)出來(lái)的學(xué)習(xí)材料自學(xué)。遠(yuǎn)程學(xué)習(xí)者大多是成人，個(gè)體差異較大，這就要求在遠(yuǎn)程教育中要綜合使用多種媒體以適應(yīng)不同層次、不同需求的學(xué)習(xí)者的選擇。受傳統(tǒng)教育的影響，中國(guó)的遠(yuǎn)程學(xué)習(xí)者對(duì)教師的依賴性較強(qiáng)，而在遠(yuǎn)程學(xué)習(xí)中教師和學(xué)生是時(shí)空分離的，教師和學(xué)生在通常的情況下不能面對(duì)面的交流，這樣就使能夠傳播教師影像和聲音的視頻教材成為中國(guó)遠(yuǎn)程學(xué)習(xí)者的主要學(xué)習(xí)媒體[6]。

在遠(yuǎn)程教育中，可充分利用電視的形象直觀性，提供豐富具體的直觀材料，合理利用思維、記憶和注意等認(rèn)識(shí)規(guī)律，最大限度的調(diào)動(dòng)學(xué)習(xí)者的積極性，從而突破教學(xué)中的重點(diǎn)、難點(diǎn)；利用電視手段，把宏觀和微觀的自然現(xiàn)象和事物發(fā)展過(guò)程進(jìn)行濃縮和擴(kuò)展，形象的展現(xiàn)在學(xué)習(xí)者面前，特別是對(duì)于實(shí)驗(yàn)教學(xué)，通過(guò)電視的縮放、旋轉(zhuǎn)等技巧，使學(xué)生更清楚的觀察實(shí)驗(yàn)現(xiàn)象，更深刻的理解實(shí)驗(yàn)過(guò)程；也可利用視頻教材為學(xué)習(xí)者提供模擬的語(yǔ)言環(huán)境和操作環(huán)境，將所學(xué)知識(shí)與現(xiàn)實(shí)操作有機(jī)地結(jié)合起來(lái)，幫助學(xué)生提高技能。

② 為遠(yuǎn)程學(xué)習(xí)者提供學(xué)習(xí)支持服務(wù)

遠(yuǎn)程教育實(shí)踐證明，為了保證學(xué)生順利完成學(xué)業(yè)，提高遠(yuǎn)程教育的質(zhì)量，遠(yuǎn)程教育機(jī)構(gòu)除了為學(xué)生提供優(yōu)質(zhì)的課程學(xué)習(xí)材料之外，還需提供完善的學(xué)生學(xué)習(xí)支持服務(wù)即要給予遠(yuǎn)程學(xué)生持續(xù)關(guān)注，只有這樣才能了解不同學(xué)生在學(xué)習(xí)過(guò)程中遇到的各種問(wèn)題，并及時(shí)給予支持和幫助。

目前，遠(yuǎn)程教育逐漸成為人們終身教育的首要選擇，基于資源的學(xué)習(xí)成為遠(yuǎn)程學(xué)習(xí)的一種重要形式。因此，在學(xué)生支持服務(wù)中，資源服務(wù)成為一種重要的服務(wù)形式，而圖書館服務(wù)又是資源服務(wù)中最重要的服務(wù)。在遠(yuǎn)程教學(xué)中，圖書館不僅僅是傳統(tǒng)的藏書庫(kù)、出納臺(tái)和閱覽室，其形式也隨著網(wǎng)絡(luò)技術(shù)、多媒體數(shù)據(jù)庫(kù)技術(shù)在遠(yuǎn)程教育中的應(yīng)用發(fā)生了變化，其電子化、數(shù)字化趨勢(shì)日益顯著。在數(shù)字化、網(wǎng)絡(luò)化環(huán)境下，資源庫(kù)的建設(shè)成為制約圖書館服務(wù)質(zhì)量的關(guān)鍵因素。而視頻教材是資源庫(kù)中的主要資源形式。大量的視聽(tīng)資料在網(wǎng)絡(luò)技術(shù)和多媒體技術(shù)的支持下，可以像書籍一樣，讓學(xué)習(xí)者自由索取閱覽，學(xué)習(xí)者可以在任何時(shí)間、任何地點(diǎn)進(jìn)行學(xué)習(xí)，從而得到完善的資源服務(wù)。

四 結(jié)束語(yǔ)

基于內(nèi)容的視頻檢索至今也只有十多年的歷史，仍屬于一個(gè)新興研究領(lǐng)域，經(jīng)過(guò)眾多相關(guān)工作者的探索和研究，取得了一定的進(jìn)展，開(kāi)發(fā)出了一些實(shí)驗(yàn)檢索平臺(tái)，在數(shù)字博物館、數(shù)字圖書館、遠(yuǎn)程醫(yī)療、服裝設(shè)計(jì)、建筑設(shè)計(jì)及公安偵破等領(lǐng)域得到了成功運(yùn)用。但目前仍處于實(shí)驗(yàn)研究階段，尚沒(méi)有一個(gè)完善的商用平臺(tái)。隨著研究的深入和技術(shù)的成熟，基于內(nèi)容的視頻檢索技術(shù)將進(jìn)一步促進(jìn)課堂教學(xué)和遠(yuǎn)程教育的發(fā)展。

參考文獻(xiàn)

[1] 李建生.遠(yuǎn)程教育中基于內(nèi)容的視頻檢索研究[J].中國(guó)遠(yuǎn)程教育，2005，(3).

[2] 張繼東，陳都.基于內(nèi)容的視頻檢索技術(shù)[J].電視技術(shù)，2002，(8).

[3] 黃知義，周寧.基于內(nèi)容視頻檢索的關(guān)鍵技術(shù)研究[J].現(xiàn)代情報(bào)，2005，(10).

[4] 陳麗.術(shù)語(yǔ)“教學(xué)交互”的本質(zhì)及其相關(guān)概念的辨析[J].中國(guó)遠(yuǎn)程教育，2004，(3).

[5] 張婷.插播型電視教材的應(yīng)用及其數(shù)字化[J].濟(jì)寧師范專科學(xué)校學(xué)報(bào)，2007，28(3).

[6] 陳麗.遠(yuǎn)程教育基礎(chǔ)[M].北京:高等教育出版社，2004: 114-115.

Research on Instructional Application of Content-Based Video Retrieval Technology

GAO Hong-qing1 FENG Yun-sheng2

(1.Department of Educational Technology， Henan Normal University， Xinxiang， Henan， 453007， China;

2. College of Chinese Literature， Luoyang Normal University， Luoyang， Henan， 471022， China)

Abstract: This paper presents the limitation and shortage of traditional video-retrieval. And the course of content-based video retrieval is described. This paper combines video teaching material to summarize the idea and approach of applying content-based video retrieval to education and instruction. And this paper considers application of content-based video retrieval technology to develop video teaching material. And for the question of improving interactivity of video teaching material， this paper puts forward own opinion.

Keywords: Content-based Video Retrieval; Video Teaching Material; Interactivity; Key Frame; Learner Support Service