課堂智能導(dǎo)播系統(tǒng)設(shè)計(jì)與工程化應(yīng)用

朱 俊

（中國(guó)電子科技南湖研究院，浙江 嘉興 314001）

0 引言

智慧校園是我國(guó)提出的智慧城市發(fā)展戰(zhàn)略的重要組成部分。課堂教學(xué)導(dǎo)播系統(tǒng)可以促進(jìn)數(shù)字化教學(xué)信息的最大化利用，是智慧校園中校園物聯(lián)網(wǎng)不可或缺的關(guān)鍵環(huán)節(jié)[1][2]。課堂教學(xué)導(dǎo)播系統(tǒng)整合了多媒體課件、電子白板、傳統(tǒng)黑板等硬件或軟件教學(xué)資源，并應(yīng)用計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)和多媒體技術(shù)對(duì)課堂教學(xué)過(guò)程進(jìn)行錄制和實(shí)時(shí)廣播，師生們可以對(duì)優(yōu)質(zhì)課堂教學(xué)視頻進(jìn)行直播、點(diǎn)播。課堂教學(xué)錄播系統(tǒng)可以將線下課堂教學(xué)內(nèi)容直接轉(zhuǎn)化為高質(zhì)量的數(shù)字化教學(xué)資源，從而提高各個(gè)地區(qū)的教學(xué)資源數(shù)字化水平，促進(jìn)優(yōu)質(zhì)教學(xué)資源共享，拓寬了教學(xué)范圍，使經(jīng)濟(jì)落后地區(qū)與經(jīng)濟(jì)發(fā)達(dá)地區(qū)有同等享受優(yōu)質(zhì)教學(xué)資源的機(jī)會(huì)，有利于解決我國(guó)當(dāng)前存在的教育發(fā)展不平衡問(wèn)題[3][4][5]。

然而，目前市面上的課堂導(dǎo)播系統(tǒng)存在諸多不足。例如，拍攝手法單一、不能在多個(gè)鏡頭之間合理地切換、教學(xué)視頻從錄制到剪輯都必須要專業(yè)人員進(jìn)行操作導(dǎo)致耗費(fèi)大量的人力物力等。這些因素使課堂導(dǎo)播系統(tǒng)的用戶體驗(yàn)感降低，從而阻礙了相關(guān)產(chǎn)品的推廣[6]。針對(duì)課堂導(dǎo)播系統(tǒng)存在的不足，本文設(shè)計(jì)出了一種全新的課堂智能導(dǎo)播系統(tǒng)，能在日常課堂中實(shí)現(xiàn)傳統(tǒng)的演播室功能。智能導(dǎo)播系統(tǒng)在整個(gè)課堂教學(xué)的錄制過(guò)程中將攝像機(jī)放置在教室的固定位置，同時(shí)整合教師屏幕、電子白板等多媒體教學(xué)設(shè)備，可以同步呈現(xiàn)師生活動(dòng)視頻、板書(shū)視頻以及主講教師計(jì)算機(jī)課件的內(nèi)容，實(shí)時(shí)自動(dòng)剪切合成教學(xué)視頻，在不同場(chǎng)景下呈現(xiàn)給觀眾最關(guān)注的畫(huà)面，既可以校內(nèi)視頻觀摩，又支持網(wǎng)絡(luò)遠(yuǎn)程直播和點(diǎn)播。

1 課堂智能導(dǎo)播系統(tǒng)總體設(shè)計(jì)

本文課堂智能導(dǎo)播系統(tǒng)設(shè)計(jì)以寬6.3米、長(zhǎng)9.0米可容納40名學(xué)生的標(biāo)準(zhǔn)中小學(xué)教室為例。在教室中一共排布四路輸入視頻和一路輸出視頻。四路輸入視頻分別為：一路攝像機(jī)A，拍攝教師；一路攝像機(jī)B，拍攝黑板特寫(xiě)視頻；一路攝像機(jī)C，拍攝學(xué)生視頻；一路錄制教室教師教學(xué)電腦屏幕視頻。輸出的視頻為一路合成視頻。三路攝像機(jī)在教室中的安裝位置如圖1所示，輸出的合成視頻布局如圖2所示，用戶可以根據(jù)個(gè)人習(xí)慣與偏好調(diào)整各個(gè)小視頻框的大小和位置。

圖1 教室中攝像機(jī)安裝位置示意圖Figure 1 Schematic diagram of the installation position of the camera in the classroom

圖2 三合一視頻布局圖Figure 2 Three-in-one video layout

合成視頻具體實(shí)現(xiàn)的功能如下：視頻框Ⅰ根據(jù)運(yùn)動(dòng)目標(biāo)檢測(cè)算法輸出的切換觸發(fā)信號(hào)，以及制定的切換策略對(duì)應(yīng)的教學(xué)場(chǎng)景，在黑板路視頻、教師屏幕路視頻、學(xué)生路視頻、課堂信息之間切換；視頻框Ⅱ顯示教師路視頻經(jīng)處理后放大的特寫(xiě)視頻；視頻框Ⅲ顯示學(xué)生路的視頻。輸出的合成視頻能根據(jù)教師在教學(xué)時(shí)的側(cè)重點(diǎn)自動(dòng)選擇最適合用戶觀看的輸出場(chǎng)景模式。

課堂智能導(dǎo)播系統(tǒng)的視頻處理流程如圖3所示。標(biāo)準(zhǔn)配置的課堂錄播系統(tǒng)中，輸入的視頻為四路RTSP（Real Time Streaming Protocol）協(xié)議的H.264視頻流，幀率為25f/s，碼率為2Mbps，分辨率為1920*1080。四路視頻流經(jīng)過(guò)解碼器解碼成YUV422格式圖片幀，輸入到視頻合成切換策略模塊。該模塊根據(jù)攝像機(jī)A路視頻目標(biāo)檢測(cè)算法中對(duì)前景目標(biāo)（教師）的中心坐標(biāo)判斷的結(jié)果，選擇不同的合成策略，輸出到編碼器。最后，編碼器將剪切好的視頻幀壓縮為H.264格式的視頻流。其中，輸出視頻流的標(biāo)準(zhǔn)配置為：視頻幀率為25f/s，碼率為2Mbps，分辨率為1920*1080，并以RTMP（Real Time Messaging Protocol）協(xié)議封裝后進(jìn)行推送。

圖3 視頻處理流程圖Figure 3 Video processing flow chart

2 視頻自動(dòng)導(dǎo)播功能

在不同的教學(xué)場(chǎng)景下，用戶關(guān)注的視頻內(nèi)容有所差異。比如，老師在講解電子課件時(shí)，用戶更關(guān)注電子課件中顯示的內(nèi)容；老師在書(shū)寫(xiě)板書(shū)時(shí)，用戶更關(guān)注黑板上的內(nèi)容；老師在通過(guò)提問(wèn)題的方式與學(xué)生互動(dòng)時(shí)，用戶更關(guān)注師生互動(dòng)的過(guò)程；老師走下講臺(tái)巡視輔導(dǎo)時(shí)，用戶更關(guān)注學(xué)生區(qū)域的實(shí)況。課堂智能導(dǎo)播系統(tǒng)將綜合考慮各種應(yīng)用場(chǎng)景，合成的視頻可以同步呈現(xiàn)師生活動(dòng)視頻、教學(xué)板書(shū)視頻以及主講教師計(jì)算機(jī)課件的內(nèi)容，重點(diǎn)突出觀眾最為關(guān)切的內(nèi)容。

本文設(shè)計(jì)的自動(dòng)導(dǎo)播功能的基本原理如下，預(yù)先設(shè)定好不同的教學(xué)場(chǎng)景，根據(jù)教學(xué)場(chǎng)景選擇對(duì)應(yīng)的視頻合成策略。根據(jù)攝像機(jī)B視頻中檢測(cè)得到的教師中心坐標(biāo)，以教師的中心坐標(biāo)點(diǎn)進(jìn)入不同的區(qū)域作為觸發(fā)條件，執(zhí)行相應(yīng)的剪輯策略，并將合成的重點(diǎn)內(nèi)容在圖2的視頻框Ⅰ中顯示，從而達(dá)到將四路原始視頻剪輯成最適合用戶觀看的合成視頻的目的。其中，教師中心坐標(biāo)可以應(yīng)用運(yùn)動(dòng)目標(biāo)檢測(cè)相關(guān)算法計(jì)算得出[8][9]。

由于系統(tǒng)中各個(gè)攝像機(jī)機(jī)位是固定的，教師攝像機(jī)拍攝的教室內(nèi)講臺(tái)、黑板等物品在畫(huà)面中的區(qū)域也是固定的，因此可以將教師路視頻圖像劃分為黑板區(qū)域、講臺(tái)區(qū)域、學(xué)生區(qū)域和邊緣區(qū)域共四個(gè)區(qū)域。典型的教師路攝像機(jī)拍攝的畫(huà)面及具體的區(qū)域劃分如圖4所示。

圖4 教室路攝像機(jī)區(qū)域劃分圖Figure 4 Area division map of teacher road camera

教師走入不同的區(qū)域后，相對(duì)應(yīng)不同的教學(xué)場(chǎng)景，將根據(jù)視頻切換策略執(zhí)行不同的視頻切換動(dòng)作，具體的教學(xué)場(chǎng)景及視頻切換策略如下。

（1）當(dāng)教師走入講臺(tái)區(qū)域時(shí)，如果教師的計(jì)算機(jī)處于開(kāi)啟狀態(tài)，說(shuō)明教師在講解課件，用戶需要重點(diǎn)關(guān)注課件的內(nèi)容，則合成視頻Ⅰ框?qū)?yīng)顯示教師課件視頻流；

（2）當(dāng)教師走入黑板區(qū)域時(shí)，說(shuō)明教師在書(shū)寫(xiě)板書(shū)或是在講解板書(shū)的內(nèi)容，用戶需要重點(diǎn)關(guān)注板書(shū)內(nèi)容，合成視頻Ⅰ框則對(duì)應(yīng)顯示板書(shū)內(nèi)容，具體為經(jīng)過(guò)攝像機(jī)B摳取的局部視頻內(nèi)容；

（3）當(dāng)教師走到教室外區(qū)域時(shí)，說(shuō)明教室里沒(méi)有老師在上課，用戶需要關(guān)注教師、班級(jí)、科目等課程說(shuō)明信息，合成視頻Ⅰ框則對(duì)應(yīng)顯示課堂信息；

（4）當(dāng)教師走到學(xué)生區(qū)域時(shí)，說(shuō)明教師在講臺(tái)下對(duì)學(xué)生進(jìn)行講解或單獨(dú)輔導(dǎo)，用戶需要關(guān)注學(xué)生的信息，合成視頻Ⅰ框則對(duì)應(yīng)顯示學(xué)生路攝像機(jī)的畫(huà)面。

課堂智能導(dǎo)播系統(tǒng)功能如表1所示。

表1 課堂智能導(dǎo)播系統(tǒng)功能表Table 1 Function of classroom intelligent directing system

圖5 以教學(xué)課件為顯示重點(diǎn)的視頻圖例Figure 5 Videos focus on teaching courseware

圖6 以板書(shū)為顯示重點(diǎn)的視頻圖例Figure 6 Videos focusing on blackboard

圖7 以師生互動(dòng)為顯示重點(diǎn)的視頻圖例Figure 7 Videos focusing on teacher-student interaction

圖8 以課程信息為顯示重點(diǎn)的視頻圖例Figure 8 Videos focusing on coursing information

3 黑板特寫(xiě)剪輯功能

黑板路視頻是課堂智能導(dǎo)播系統(tǒng)的一個(gè)重要組成部分。市面上的課堂導(dǎo)播系統(tǒng)黑板特寫(xiě)功能一般會(huì)將黑板以外的物體如墻、窗簾以及授課中的教師等拍攝入內(nèi)，這不僅會(huì)導(dǎo)致畫(huà)面雜亂，影響美觀，而且會(huì)難以突出黑板這個(gè)拍攝主體。

為了提高攝像畫(huà)面的美觀簡(jiǎn)潔程度，在功能設(shè)計(jì)上，應(yīng)該避免攝像機(jī)B將上課中的教師拍攝進(jìn)黑板路視頻中。常用的黑板尺寸大小為1.2m*2m，經(jīng)過(guò)實(shí)驗(yàn)，將攝像機(jī)安裝于距離黑板上沿水平距離為0.8m、距離黑板墻面水平距離1m，調(diào)整攝像機(jī)拍攝角度及焦距后，可以達(dá)到上述效果。但是，攝像機(jī)距離黑板過(guò)近，會(huì)產(chǎn)生比較嚴(yán)重的畸變，影響視頻畫(huà)面美觀程度。按上述選定的位置安裝并調(diào)整攝像機(jī)后所拍攝的黑板如圖9所示。因此，需要用適當(dāng)?shù)乃惴▽?duì)黑板畸變進(jìn)行矯正。矯正的步驟如下：

圖9 矯正前拍攝的黑板畫(huà)面Figure 9 Blackboard image taken before correction

（1）通過(guò)標(biāo)定獲取黑板的位置。由于攝像機(jī)安裝后拍攝角度、黑板安裝的位置是固定的，我們可以通過(guò)標(biāo)定軟件對(duì)黑板所處的拍攝畫(huà)面位置進(jìn)行標(biāo)定。

（2）剪切出完整的黑板。根據(jù)標(biāo)定結(jié)果從拍攝的整體畫(huà)面中剪切出只包含黑板的畫(huà)面。

（3）畸變矯正。將剪切出的黑板通過(guò)畸變矯正算法模塊進(jìn)行矯正，消除畸變。

矯正后的黑板如圖10所示?？梢?jiàn)經(jīng)過(guò)矯正處理后黑板視頻的美觀程度有了較大提升。

圖10 矯正后攝像機(jī)B路拍攝的畫(huà)面Figure 10 Blackboard image taken after correction

4 結(jié)語(yǔ)

隨著課堂導(dǎo)播系統(tǒng)在實(shí)際應(yīng)用中的逐漸普及和相關(guān)研究的不斷深入，課堂錄播系統(tǒng)功能也越來(lái)越完善。課堂智能導(dǎo)播系統(tǒng)能實(shí)時(shí)生成優(yōu)質(zhì)的教學(xué)視頻，今后一段時(shí)間還會(huì)成為人們研究的熱點(diǎn)，希望本文的研究能夠?yàn)檎n堂智能導(dǎo)播系統(tǒng)的發(fā)展提供參考和借鑒。