圖像識別技術(shù)在網(wǎng)絡(luò)錄播系統(tǒng)中的應(yīng)用研究

張志剛 趙振宇 張國兵

（石家莊鐵道大學(xué) 河北 050043）

0 引言

高校教學(xué)中使用錄播的地方越來越多，對教學(xué)課堂進行高效全方位的錄制和直播已經(jīng)成為當(dāng)今教育所要解決的迫切問題，若每次都要進行專業(yè)人士拍攝則會浪費人力物力，所以一個教室跟蹤和學(xué)生定位系統(tǒng)將大大降低工作量和難度。本文的究工作就是基于目前圖像識別研究中已經(jīng)相對成熟，且已有成功應(yīng)用案例的技術(shù)，構(gòu)造錄播系統(tǒng)的典型框架結(jié)構(gòu)，給出基本設(shè)置，討論利用圖像識別可以獲取的信息，從而分析如何解決實際應(yīng)用中的問題。

1 圖像識別技術(shù)

在人工智能處理中圖像識別系統(tǒng)經(jīng)常采用的重要方法之一是利用圖像匹配模型進行目標(biāo)的定位、跟蹤、識別。圖像識別占有非常大的比例，其能夠利用圖像匹配模式進行相關(guān)目標(biāo)的定位識別與跟蹤實現(xiàn)圖像自動匹配或者是一個圖像和另一圖像上的模式追蹤等。當(dāng)前最為流行的圖像匹配是模板匹配法，即根據(jù)兩幅圖像之間的關(guān)系尋找出其中的關(guān)聯(lián)并進行綜合，利用相關(guān)性運算得出模板圖像與待匹配的圖像以求出之間值來判斷其中的匹配度，模板匹配是圖像匹配中較為簡單的模式識別方法。

圖像識別系統(tǒng)經(jīng)常采用的另一個重要方法是利用原型匹配模型識別有一定相似程度的目標(biāo)。這種模型假設(shè)在長期記錄中存儲的并不是所要識別的無數(shù)個模板，而是圖像的某些“相似性”。其原型是在圖像識別系統(tǒng)中抽象出來的較為相似的圖像，原型相似較高的話該圖像就會被識別。類似人本身不僅能夠?qū)δX中事物的模板進行相同的識別還能夠?qū)ζ渲胁煌谀X中模板的圖像進行識別。另外還有一種模型叫做分層識別模型，其將圖像分為幾個層次，且每層次中的職責(zé)和特征分析的機制都是不同的，它們之間都按順序進行運行并得出最后的識別圖像。

2 基于圖像識別技術(shù)的網(wǎng)絡(luò)錄播系統(tǒng)工作原理

2.1 網(wǎng)絡(luò)錄播系統(tǒng)的一般結(jié)構(gòu)

當(dāng)前在我國學(xué)校中使用各種網(wǎng)絡(luò)錄播系統(tǒng)，且大多數(shù)的網(wǎng)絡(luò)錄播系統(tǒng)的應(yīng)用技術(shù)也都不相同，將這些系統(tǒng)進行邏輯上的抽象，可得出其邏輯結(jié)構(gòu)還是大致相同的，其大致的框架機構(gòu)能夠列出如圖1所示。

圖1 網(wǎng)絡(luò)錄播系統(tǒng)一般結(jié)構(gòu)

事件驅(qū)動方式是當(dāng)前網(wǎng)絡(luò)錄播系統(tǒng)控制中采用最多的方式，在教師的能夠觸發(fā)信號產(chǎn)生的地方安裝裝置以對教學(xué)過程中所發(fā)生的事情進行確定和記錄再對其進行調(diào)度控制，其中對圖像識別技術(shù)的利用率比教師運動跟蹤的利用率只低一點。網(wǎng)絡(luò)錄播系統(tǒng)可以獲取的常用觸發(fā)事件源有：

（1）時鐘計時觸發(fā)：計算機內(nèi)部時鐘中斷，外部時鐘信號。

（2）教師運動觸發(fā)：紅外線追蹤，無線感應(yīng)，圖像識別等。

（3）板書定位觸發(fā)：常用無線感應(yīng)等。

（4）使用電腦觸發(fā)：按動鼠標(biāo)，鍵盤等操作計算機的動作。

（5）音源定位觸發(fā)：話筒按鍵，按鈕，音源方向驅(qū)動定位等。

（6）視頻展示臺、DVD 等其它視頻源接入觸發(fā)：許多系統(tǒng)幾乎不考慮。

2.2 利用圖像識別技術(shù)構(gòu)造錄播系統(tǒng)的典型框架結(jié)構(gòu)

對圖像識別技術(shù)中產(chǎn)生出的錄播系統(tǒng)的框架結(jié)構(gòu)如下圖1所示，圖2是教室的俯瞰圖，其中標(biāo)記的A1，A2都是可調(diào)攝像機的安放位置，而G1，G2都是固定安裝的攝像機的安放位置。屏幕、DVD以及視頻展示臺的視頻源都是以講臺作為假設(shè)地的，對于音源信號的地點未標(biāo)出。

圖2 錄制教室俯瞰圖

2.3 可以獲取的教學(xué)過程信息

基礎(chǔ)語音識別與圖形識別是相結(jié)合的，因此在教學(xué)過程中，自動錄播系統(tǒng)都是有著較強的控制能力的，對于一些有意義的信息都能進行記錄，如表1所示。

表1 可以獲取的教學(xué)信息

圖像信息分類 信息源 識別類容可定位教師，特寫可定位教師，移動從教師畫面提取的信息教師專用可調(diào)攝像機圖像對應(yīng)的音頻 不可定位教師，無音頻不可定位教師，有音頻計算機屏幕對應(yīng)的音頻 屏幕較大區(qū)域間隔變化從計算機頻幕提取的畫面信息是否有屏幕信號屏幕是否變化、時間分布是否有視頻信號視頻展示臺 視頻信號空間、時間分布從視頻展示臺提取的信息 視頻變化，且有音頻學(xué)生區(qū)無人站起，無音頻學(xué)生區(qū)無人站起，有音頻從師生互動畫面提取的信息學(xué)生區(qū)固定攝像機學(xué)生區(qū)音頻輸入 學(xué)生區(qū)有人站起，無音頻學(xué)生區(qū)有人站起，有音頻

3 子系統(tǒng)介紹

3.1 錄播中控系統(tǒng)

集成錄播控制臺幫我們實現(xiàn)的一鍵式的開始和關(guān)閉系統(tǒng)一鍵式的開始和停止錄播，使教師無需經(jīng)過技術(shù)性培訓(xùn)就可以進行講課；錄播控制臺給我們提供了傳統(tǒng)式的按鍵操作模式，還配備了先進的數(shù)字化的觸摸時操作系統(tǒng)，我們可以進行云臺鏡頭的控制，還有手動的導(dǎo)播、鼠標(biāo)的跟蹤點擊導(dǎo)播等等。

3.2 教師跟蹤系統(tǒng)

所謂教師跟蹤系統(tǒng)，即屬于圖像定位里面的一種。不管是教師在講課時的來回走動還是書寫講課板書等。教師跟蹤系統(tǒng)它都可以采用不同的方法來進行自動的對焦來進行跟蹤拍攝，并且畫面輸出很穩(wěn)定。教師跟蹤系統(tǒng)同時還采用了先進的自動智能化操作模式，免去了人工的操作，上課的教師就按照以往一般的講課模式來進行正常教學(xué)就可以了。免除了佩戴專用跟蹤設(shè)備給教師帶來的一些不適感，是教師更專心的教學(xué)。教師圖像的跟蹤拍攝的方法策略：①當(dāng)教師在教室里面來回的走動時，教師跟蹤系統(tǒng)將會自動的進行對焦并進行近景拍攝；②當(dāng)啟動錄播系統(tǒng)和多個人一起出現(xiàn)在講臺上的時候，教師跟蹤系統(tǒng)將會自動的進行對焦并且進行全景式的拍攝；③當(dāng)教師不在課堂上來回走動授課和書寫板書時，教師跟蹤系統(tǒng)將會自動的進行對焦并進行特寫拍攝。

3.3 學(xué)生定位系統(tǒng)

學(xué)生定位系統(tǒng)可以實現(xiàn)對正在發(fā)言的同學(xué)進行跟蹤定位并進行特寫式的拍攝。學(xué)生只要站起發(fā)表言論或者回答老師所提出的問題時，該系統(tǒng)可以自動的啟動學(xué)生攝像機對正在說話的學(xué)生進行跟蹤定位并且特寫式的鏡頭拍攝，當(dāng)學(xué)生結(jié)束說話后，系統(tǒng)將會自動轉(zhuǎn)回原有的教師跟蹤系統(tǒng)。

3.4 智能導(dǎo)播系統(tǒng)

對課程進行過程錄制過和多路段視頻信號源、視頻和音頻文件與計算機畫面間的自動轉(zhuǎn)換等都是自動式錄播系統(tǒng)的主要功能，系統(tǒng)會跟隨著教學(xué)活動的變化采用智能的選擇性切換方法，并且會實現(xiàn)帶有特效功能的智能式導(dǎo)播。

3.5 課件實時錄制系統(tǒng)

課件實時錄制系統(tǒng)能簡單方便的將整個課堂的教師講課的情景實時錄制下來，并且自動生成帶有視頻音樂和電子文檔的流媒體課件，其課件壓縮率很高，可以實現(xiàn)真?zhèn)€過程動態(tài)情景的抓拍、可以自動生成文字索引等功能。

4 圖像識別技術(shù)在網(wǎng)絡(luò)錄播系統(tǒng)中實際應(yīng)用

4.1 事件識別功能

一般在實際應(yīng)用中電腦或者 DVD格式的錄像片播放模式是教師最常用的方式，系統(tǒng)調(diào)度決策沒有足夠的外部觸發(fā)的事件，且傳統(tǒng)形式的外部事件觸發(fā)技術(shù)并不難很好確定調(diào)度方案，這就會造成錄制文件并不難將錄像的全部信息容納在內(nèi)，智能識別教學(xué)現(xiàn)場信息是這類問題的有效方案，教師在進行錄像播放時一般其話筒是沒有聲音的，且學(xué)生區(qū)也無能夠互動的發(fā)言，再加上板書這一過程，所以能夠進行外部觸發(fā)的輸入將近于無，屏幕圖像變化和 DVD信息的變化會伴有聲音等，將這些特點進行綜合就會產(chǎn)生較高的預(yù)測性。

4.2 學(xué)生發(fā)言定位功能

攝像機在學(xué)生發(fā)表言論時如何對其進行定位和特地額是當(dāng)前自動錄播系統(tǒng)所面臨的問題之一，當(dāng)前主流技術(shù)都是采用外部事件觸發(fā)技術(shù)，即對已經(jīng)預(yù)先設(shè)好的位置進行攝像機調(diào)整，將學(xué)生的位置進行大致的定位。只有將能夠探測外部事件觸發(fā)的設(shè)備進行增加才能對特寫和定位的效果提高，但是這樣一來就睡使得系統(tǒng)出現(xiàn)錯誤的幾率增高。圖像識別技術(shù)即將固定攝像機和可調(diào)式攝像機進行交叉定位，這樣對正在說話的學(xué)生進行比較準(zhǔn)確的定位，然后在讓可調(diào)攝像機移動位置以進行相關(guān)特寫。再對教學(xué)過程中會發(fā)生的其他時間進行分析和組合，就會使得一些諸如未發(fā)言學(xué)生而進入特寫等情況的錯誤減少。

4.3 教師授課的行為偏好分析

一般教師進行教學(xué)時都會有一個特點就是分析講課內(nèi)容，利用計算機、板書以及視頻音頻等信息再結(jié)合其他時間以獲得。識別板書并不代表識別板書內(nèi)容，而是根據(jù)時間間隔在授課時醫(yī)用智能世界技術(shù)對教師言語動作進行分析，比如對教師移動黑板、板書持續(xù)時間等事件的分析，結(jié)合時間時間序列，將會在一定程度上捕捉到教師的講課偏好，另外若對講課過程中使用的計算機屏幕進行類似處理則會大致分析出教師使用電子教案時出現(xiàn)的相關(guān)偏好。分析教師授課時的音頻以及其他事件，能夠?qū)處煹奶厣貌蹲健Ｈ缓笳{(diào)度系統(tǒng)對這些偏好進行分析處理，則會對將要發(fā)生的事件進行預(yù)測，以得出可適應(yīng)的調(diào)度規(guī)則。

5 小結(jié)

當(dāng)今教育信息文化支撐體系中網(wǎng)絡(luò)錄播系統(tǒng)是其中的一項重要內(nèi)容，而其中人工智能的領(lǐng)域中圖像識別又是重點內(nèi)容，因此圖像識別是能夠使錄播系統(tǒng)進行智能化網(wǎng)絡(luò)調(diào)度的重要環(huán)節(jié)。多媒體技術(shù)以及自動控制跟蹤技術(shù)和網(wǎng)絡(luò)流媒體技術(shù)等只有在結(jié)合圖像識別的網(wǎng)絡(luò)錄播系統(tǒng)之后，才能將由教師、學(xué)生以及多媒體等電子教案所發(fā)出的 VGA信號吉祥鳥智能化跟蹤切換，才會使得教師以及學(xué)生的教學(xué)過程以及多媒體的使用過程等進行單畫面或者多畫面的視頻記錄并生成對應(yīng)的課例視頻，然后再利用流媒體技術(shù)以達到網(wǎng)絡(luò)直播。

[1]張林，俞揚，朱懷宏.一種對圖像中給定圖形的定位方法[J].微機發(fā)展.2003，（9）：1-2.

[2]陳宗讓，李曉銘.課堂教學(xué)自動錄播系統(tǒng)圖像跟蹤技術(shù)研究[J].現(xiàn)代教育技術(shù)，2009（3）：13-15.

[3]夏宇.電腦硬道理— —網(wǎng)管實戰(zhàn)[M].重慶：電腦報電子音像出版社，2010（1）：11-12

[4]盧桂馥，劉金飛，王勇.基于微粒群算法和脈沖耦合神經(jīng)網(wǎng)絡(luò)的圖像分割算法[J].計算機技術(shù)與發(fā)展.2008.18（7）.90-92.

[5]楊小冬.自動圖像識別系統(tǒng)圖像分割算法的研究[J].南京大學(xué)學(xué)報，2009，4（4）11-15

[6]張飛碧.全自動智能錄播系統(tǒng)的架構(gòu)分析[J].中國電化教育.2008，（5）：104-108.

[7]康劍莉，陳罡，毛金明.基于Cabor小波特征的磨粒圖像識別新方法[J].激光與紅外，2010，（3）：12-14

[8]朱秀昌視頻監(jiān)控技術(shù)的智能化趨勢[J].中興通訊技術(shù)，2010，16（6）：32-34