基于TI DM 365的嵌入式智能導(dǎo)播錄課系統(tǒng)*

孫小期，王曉東，湯銳彬，張婷，劉家璇，陳芬

（寧波大學(xué)信息科學(xué)與工程學(xué)院，浙江寧波315211）

基于TI DM 365的嵌入式智能導(dǎo)播錄課系統(tǒng)*

孫小期，王曉東，湯銳彬，張婷，劉家璇，陳芬

（寧波大學(xué)信息科學(xué)與工程學(xué)院，浙江寧波315211）

近年來，隨著MOOC、翻轉(zhuǎn)課堂等在線教育產(chǎn)品的推出，互聯(lián)網(wǎng)正漸漸改變著傳統(tǒng)的教學(xué)方式，其關(guān)鍵因素在于優(yōu)質(zhì)、個性化教學(xué)視頻的錄制。本文介紹了一種基于TI DM365芯片的嵌入式智能導(dǎo)播錄課系統(tǒng)，硬件上采用TI DM365 DSP芯片接收3路視頻和2路音頻，并提供USB、LAN及WiFi接口；軟件上采用FFmpeg開源庫中先進(jìn)的音視頻編解碼庫libavcodec，系統(tǒng)上位機(jī)軟件基于VS2013 C++開發(fā)。該系統(tǒng)具有多路音、視頻混流解碼，六種智能導(dǎo)播和切換模式，本地、云端存儲和點(diǎn)播回放等功能。系統(tǒng)測試結(jié)果表明：該系統(tǒng)性能穩(wěn)定、音視頻延時率小于100ms，所錄制的視頻的分辨率達(dá)到1080 p、音質(zhì)效果佳。與現(xiàn)有的錄課方式相比，本系統(tǒng)具有簡約化、便捷化、經(jīng)濟(jì)化和人性化等優(yōu)勢。

智能導(dǎo)播；錄課系統(tǒng)；FFmpeg；TI DM365；DSP芯片技術(shù)

0 引言

近年來，隨著計算機(jī)軟硬件、互聯(lián)網(wǎng)等信息技術(shù)的飛速發(fā)展，信息化教學(xué)技術(shù)也在不斷更新、進(jìn)步和發(fā)展。信息化教學(xué)為學(xué)習(xí)提供了全新的交流通訊手段、豐富的資源和多樣化的學(xué)習(xí)方式，為高效學(xué)習(xí)帶來了更多的契機(jī)[1]。MOOC[2]（慕課）作為一種在線課程開發(fā)模式，自2012年以來得到了快速的發(fā)展。其主要教學(xué)內(nèi)容以個性化的教學(xué)視頻為主?，F(xiàn)在比較受歡迎的慕課教學(xué)平臺coursera，擁有1 120萬以上的成員，與世界118所大學(xué)合作提供939門課程。除了慕課之外，SPOC（翻轉(zhuǎn)課堂）[3]這種重新調(diào)整課堂內(nèi)外的時間，將學(xué)習(xí)的決定權(quán)從教師轉(zhuǎn)移給學(xué)生的教學(xué)方式也隨之普及。慕課教學(xué)和翻轉(zhuǎn)課堂等新型的教育模式，打破了傳統(tǒng)教育資源壁壘，重新整合優(yōu)質(zhì)資源的學(xué)習(xí)方法，隨著知名度的提升，必然會成為世界教學(xué)的趨勢[4]。

慕課教學(xué)和翻轉(zhuǎn)課堂等新型教學(xué)方式的關(guān)鍵性因素是個性化教學(xué)視頻的錄制。然而，視頻錄制卻存在著種種問題?，F(xiàn)有視頻的錄制主要通過專業(yè)拍攝團(tuán)隊錄制、錄課教室錄制、攝像機(jī)錄制、軟件錄制四種方式。通過訪問調(diào)查，通過專業(yè)拍攝團(tuán)隊錄制其價格為1 000~ 1 500元每課時。而特殊布置過的智慧教室進(jìn)行錄制成本也較為昂貴。以寧波大學(xué)為例，2014年，寧波大學(xué)花費(fèi)230萬元購置16間教室；2011年，錄課教室價格為平均62.5萬元/間。除此之外，錄播教室受環(huán)境因素的制約大，一定程度上打擊了老師的積極性。采訪通過軟件進(jìn)行錄制的老師，發(fā)現(xiàn)通過電腦錄制視頻，由于沒有學(xué)生參與，教師授課的真實感差，導(dǎo)致教學(xué)效果不理想。同時，錄制視頻后期的剪輯成型需要一系列復(fù)雜的工具處理，需要花費(fèi)大量時間和精力，讓許多優(yōu)秀的老師對新型的教學(xué)方式望而卻步。

針對上述教學(xué)視頻錄制所存在的問題，設(shè)計發(fā)明一種基于TI DM365的嵌入式智能導(dǎo)播錄課系統(tǒng)，它將龐大的智慧教室的所有設(shè)備以及相應(yīng)的功能濃縮在了一個機(jī)器人上，同時將一系列復(fù)雜的視頻處理精簡成為混合輸出的方式，可應(yīng)用于小學(xué)、初中、高中、大學(xué)等各大教育機(jī)構(gòu)和想要傳播想法的個人等。

1 系統(tǒng)總體設(shè)計

1.1 系統(tǒng)架構(gòu)設(shè)計

所設(shè)計的智能導(dǎo)播錄課系統(tǒng)通過一個類人型機(jī)器人得以呈現(xiàn)，機(jī)器人由攝像頭、麥克風(fēng)、平板電腦、DM365芯片組成。

圖1是整個系統(tǒng)的拓?fù)鋱D，該系統(tǒng)有三路視頻源、兩路音頻源輸入，集成在平板上的錄制回放下位機(jī)提供控制指令和實現(xiàn)人機(jī)交互，一路視頻信號采集教師的授課圖像，一路視頻采集教師授課課件的圖像，通過路由器將兩路視頻信號疊加，同時和音頻信號混頻，并通過RJ45口TS流輸出，最終通過開發(fā)的軟件在PC終端上解碼顯示。系統(tǒng)提供WiFi、USB、RJ45高速LAN接口，方便教師將課件拷入系統(tǒng)，并將錄制完的視頻直接上傳至服務(wù)器或直接U盤輸出。

圖1 系統(tǒng)拓?fù)鋱D

1.2 子系統(tǒng)功能

1.2.1 視頻采集

視頻采集子系統(tǒng)包含三路視頻信號采集，第一路是教師攝像頭輸出的SDI信號，通過BNC接口傳遞給DM365教師視頻采集板；第二路是平板電腦輸出的HDMI信號，通過VGA接口傳遞給DM365平板電腦視頻采集板；第三路是學(xué)生攝像頭輸出的SDI信號，通過BNC接口傳遞給DM365學(xué)生視頻采集板。所有三路信號均由DM365達(dá)芬奇技術(shù)編碼成TS流。

1.2.2 音頻采集

第一路是麥克風(fēng)采集的教師授課音頻AAC信號，通過標(biāo)準(zhǔn)3.5 mm接口輸出至DM365教師視頻采集板；第二路是平板電腦中講義聲音，由HDMI轉(zhuǎn)VGA和標(biāo)準(zhǔn)3.5 mm接口輸出至DM365平板電腦視頻采集板。

1.2.3 智能導(dǎo)播

（1）教師端平板識別教師上課指令，對完整架構(gòu)的視頻TS流進(jìn)行保存，實現(xiàn)一鍵錄制的功能，所錄制的視頻可以通過U盤輸出或直接上傳至百度云。

（2）錄制回放下位機(jī)接收控制指令，解碼三路TS流并架構(gòu)進(jìn)行導(dǎo)播。導(dǎo)播方式有6種：課件全屏、學(xué)生全屏、教師全屏、畫中畫1（課件右主屏、教師頭像左下角小屏）、畫中畫2（課件全屏，教師頭像右上角小屏）、畫中畫3（課件全屏，學(xué)生右上角小屏）。

1.2.4 交互控制

交互控制指的是智能導(dǎo)播的軟件控制，通過5224端口識別教師動作并與特殊端口通信。

1.2.5 主存儲

智能導(dǎo)播錄課系統(tǒng)內(nèi)置導(dǎo)播模式軟件，通過錄制下位機(jī)整合回放錄課視頻，以TS流的形式保存MPEG2-TS格式的文件，實現(xiàn)視頻流的任一片段都可以進(jìn)行獨(dú)立解碼[5]。一方面，所錄制的視頻可通過U盤拷貝，方便后期簡單修改；另一方面，視頻可直接云端上傳，讓學(xué)生能夠第一時間觀看課堂視頻。

2 硬件設(shè)計

2.1 音視頻采集與編碼

系統(tǒng)的三路視頻源、兩路音頻源輸入均采用TI公司的DM365 DSP芯片技術(shù)進(jìn)行處理，高速完成數(shù)字音/視頻信號的采集、編碼等工作。如圖2所示。

本系統(tǒng)首先由SDI攝像頭模組捕獲視頻，將捕獲的視頻數(shù)據(jù)送入核心處理器DM365中進(jìn)行圖像信號處理（ISP），然后利用處理器的硬件加速器（協(xié)處理器）進(jìn)行相應(yīng)的編碼壓縮等操作，得到編碼流數(shù)據(jù)，接著基于TCP/IP協(xié)議通過網(wǎng)絡(luò)將編碼后的數(shù)據(jù)（TS流）傳輸?shù)脚c它相連接的下位機(jī)中。由于編碼所需系統(tǒng)資源較大，所以需要將單一節(jié)點(diǎn)的編碼運(yùn)算壓力分?jǐn)偟饺废挛粰C(jī)上實現(xiàn)，整個系統(tǒng)可接收3路視頻輸入和2路音頻輸入。

圖2 高清視頻信號的數(shù)據(jù)流

對3路SDI高清視頻信號的處理，其數(shù)據(jù)流的載體框架如下：一方面SDI視頻從輸入口經(jīng)過GV7601并經(jīng)GV8500后輸出；另一方面GV7601與核心視頻處理器DM365和CPLD處理視頻流的編碼壓縮等。其中GV7601相當(dāng)于一個中繼器，而GV8500相當(dāng)于驅(qū)動，實時地完成高清視頻流從輸入到完整輸出的整個過程。為了能夠?qū)PLD和DSP編程，專門設(shè)置了JTAG接口和RS232接口。

對2路音頻信號的處理擬采用基于MPEG-2AAC音頻編碼技術(shù)[6]，其壓縮比可達(dá)到18：1。AAC的音頻算法在壓縮能力上遠(yuǎn)遠(yuǎn)超過了其他傳統(tǒng)音頻壓縮算法（如MP3等），它能同時支持多達(dá)48個音軌、15個低頻音軌、更多種采樣率和比特率、多種語言的兼容能力、更高的解碼效率。

2.2 導(dǎo)播控制

（1）錄制過程：一塊DM365 DSP芯片采集平板上所顯示教師講義的HDMI信號，編碼形成教師講義TS流，教師按照平板中提示界面對課程進(jìn)行一鍵錄制，平板同時提取教師對教學(xué)講義的交互信號。使用時，教師手動滑動平板電腦的觸摸屏對教學(xué)講義進(jìn)行操作，或者利用無線遙控器實現(xiàn)對教學(xué)講義的控制，這些行為被提取抽象成控制信號，控制信號通過特定端口同時與三塊DM365 DSP芯片輸出的TS流信號匯集并傳送到錄制回放下位機(jī)中。

（2）多種導(dǎo)播模式與回放實現(xiàn)：通過設(shè)計智能導(dǎo)播錄課系統(tǒng)實現(xiàn)了六種導(dǎo)播模式：課件全屏、學(xué)生全屏、教師全屏、畫中畫1（課件右主屏、教師頭像左下角小屏）、畫中畫2（課件全屏，教師頭像右上角小屏）、畫中畫3（課件全屏，學(xué)生右上角小屏）。錄制回放下位機(jī)根據(jù)控制端控制指令讀取教師授課TS流、學(xué)生視頻TS流、教師講義TS流，并接收特定端口傳出的控制信號對TS流進(jìn)行解碼架構(gòu)實現(xiàn)回放，混頻輸出顯示。

（3）網(wǎng)絡(luò)支持：TS流的讀入均采用TCP/IP協(xié)議通信，教師授課TS流、學(xué)生視頻TS流、教師講義TS流統(tǒng)一采用TCP端口5223進(jìn)行socket流通信；控制信號通過TCP端口5224進(jìn)行傳輸。

2.3 云端存儲

系統(tǒng)具有WiFi、USB、RJ45高速LAN接口，提供U盤拷貝和云端上傳兩種輸出方式。通過U盤拷貝和云端上傳兩種輸出方式，教師在授課結(jié)束后既可通過U盤拷貝已完成編碼的視頻，也可選擇上傳至特殊的百度云賬號，依托百度云的海量數(shù)據(jù)存儲和斷點(diǎn)上傳功能，教師和學(xué)生均可登錄云盤在線觀看或是下載視頻，實現(xiàn)多終端多平臺的支持，云端錄課視頻可在電腦端和手機(jī)端下載觀看。本系統(tǒng)服務(wù)器架構(gòu)的設(shè)計實現(xiàn)了系統(tǒng)的脫機(jī)工作，更大程度地減輕了教師上傳的工作量和運(yùn)營維護(hù)的時間成本。

3 軟件設(shè)計

3.1 系統(tǒng)整體軟件設(shè)計

高清SDI音視頻編碼器以嵌入式視頻處理板為系統(tǒng)核心，處理器依靠內(nèi)部集成的H.264高清編碼協(xié)處理器HDVICP完成視頻的H.264實時壓縮編碼，輸出TS音、視頻流。由ARM端程序接收到音視頻流，然后按照恰當(dāng)?shù)姆庋b策略封裝成TS包，最后通過以太網(wǎng)卡發(fā)送給接收端。

系統(tǒng)整體軟件設(shè)計圖如圖3所示。

圖3 系統(tǒng)整體軟件設(shè)計圖

智能導(dǎo)播錄課系統(tǒng)通過軟件層面的設(shè)計，讓教師們可以隨時隨地進(jìn)行課程的錄制，并及時地將錄制完成的課程進(jìn)行上傳，讓學(xué)生們可以在第一時間通過手機(jī)或者電腦進(jìn)行課程的學(xué)習(xí)。

3.2 采集模塊

采集模塊的軟件流程圖如圖4。主要分為以下幾部分：連接IP并確定端口、定義結(jié)構(gòu)體、設(shè)置視頻圖像參數(shù)、設(shè)置音頻聲音參數(shù)。

3.3 視頻數(shù)據(jù)編碼模塊

視頻數(shù)據(jù)編碼模塊的軟件流程圖如圖5。主要分為以下幾部分：創(chuàng)建sock、讀取預(yù)設(shè)文件中的對應(yīng)板子的IP地址、通過socket接受一幀數(shù)據(jù)、關(guān)閉socket。

圖4 數(shù)據(jù)采集模塊軟件流程圖

3.4 智能導(dǎo)播模塊

智能導(dǎo)播錄課系統(tǒng)通過與視頻流相同信道、不同端口進(jìn)行導(dǎo)播控制指令的發(fā)送與接收。教師機(jī)控制端實現(xiàn)軟件智能切換算法，檢測用戶錄課過程中的特定行為，并判斷決定以何種導(dǎo)播模式，通過5224端口向回放端發(fā)送指令；終端回放端接收控制端發(fā)出的控制指令，讀取特定端口的socket，并按導(dǎo)播模式顯示。

3.5 存儲模塊

云端存儲流程圖如圖6所示。智能導(dǎo)播錄制系統(tǒng)通過下位機(jī)根據(jù)內(nèi)置的導(dǎo)播模式，回放整合后的視頻，并形成新的一路TS流實現(xiàn)文件的保存，保存文件的格式為MPEG2-TS。教師可以通過U盤拷貝或者直接通過云端上傳存儲。

圖5 視頻數(shù)據(jù)編碼模塊的軟件流程圖

3.6 回放模塊

錄制下位機(jī)根據(jù)控制端控制指令讀取教師授課TS流、學(xué)生視頻TS流、教師講義TS流，并且接收特定端口傳出的控制信號。通過開源FFMPEG庫實現(xiàn)錄課過程中所有的視頻編解碼、編譯及播放功能[7]以及選擇導(dǎo)播模式來實現(xiàn)對TS流的解碼與架構(gòu)。通過下位機(jī)上的具有智能導(dǎo)播切換功能的軟件播放器，將TI DM365輸出的H.264視頻文件和AAC音頻文件以TS流上傳至云端服務(wù)器，提供點(diǎn)播回放功能。

圖6 云端存儲流程圖

4 結(jié)果及分析

4.1 系統(tǒng)成果

系統(tǒng)成果圖如圖7所示，在智能錄課導(dǎo)播機(jī)器人正面放置平板、攝像頭及麥克風(fēng)。平板模擬教師與學(xué)生面對面交流的情境，機(jī)器“學(xué)生”面對教師聽課，模擬學(xué)生課堂反應(yīng)；攝像頭能實時錄制教師上課和學(xué)生聽課的過程，集成智慧教室的功能；麥克風(fēng)放大老師的聲音。通過DM365芯片采集視頻信號至路由器，通過路由器及內(nèi)網(wǎng)交換同時結(jié)合多媒體講義混成輸出視頻，可直接上傳至云端服務(wù)器進(jìn)行廣播，通過PC、Android等終端供學(xué)生使用。本實驗調(diào)試時所使用的終端電腦為華碩N53T筆記本電腦。

4.2 軟件效果圖

如圖8是使用智能導(dǎo)播錄課機(jī)器人錄制的教學(xué)視頻所截取的一張畫中畫1（課件右主屏、教師頭像左下角小屏）的效果圖。

4.3 系統(tǒng)性能測試及分析

輸出視頻格式：MPEG2-TS；

導(dǎo)播方式：兩路音頻、三路視頻混疊后的六種智能導(dǎo)播切換模式；

輸出方式：USB、WiFi、網(wǎng)絡(luò)云盤；視頻清晰度：1 080 p；

音視頻延時率：＜100 ms。

智能導(dǎo)播錄課系統(tǒng)錄制的視頻格式為MPEG2-TS，MPEG2-TS是一種用于音效、影像與資料的通信協(xié)議。對HDV信號的采集與其他DV一樣實時采集，視頻源文件轉(zhuǎn)換成為MPEG2格式并保存。智能導(dǎo)播錄制系統(tǒng)所采用的導(dǎo)播方式為兩路音視頻混疊，并且音視頻的延時率達(dá)到小于100 ms。導(dǎo)播視頻根據(jù)教師上課課件以及教師上課的肢體反應(yīng)實時進(jìn)行切換，輸出視頻的分辨率達(dá)到1 080 p。錄制結(jié)束時，視頻可以直接通過USB輸出或者通過網(wǎng)絡(luò)直接上傳至云盤，方便學(xué)生進(jìn)行觀看。

圖7 系統(tǒng)成果圖

圖8 錄制效果圖（畫中畫1）

4.4 系統(tǒng)特色與優(yōu)勢

（1）系統(tǒng)通過簡約化的設(shè)計，將一個錄播教室的一整套功能濃縮到了一個單機(jī)中；

（2）系統(tǒng)通過便捷化的處理，把一套繁瑣的視頻處理程序精簡成了直接通過U盤輸出和云端存儲；

（3）系統(tǒng)具有經(jīng)濟(jì)化的思想，成本價格控制在1萬元左右；

（4）系統(tǒng)秉持著人性化的理念，將原本枯燥無味的錄制過程轉(zhuǎn)換成了一個模擬環(huán)境，讓教師能夠真實地感受上課環(huán)境，提高視頻的質(zhì)量。

5 結(jié)論

本文設(shè)計了一種基于TI DM365的嵌入式智能導(dǎo)播錄課系統(tǒng)，該系統(tǒng)能夠顯著地提高教師錄課視頻的質(zhì)量。通過智能導(dǎo)播錄課系統(tǒng)進(jìn)行視頻的錄制，在節(jié)約錄課成本的同時，與現(xiàn)有的其他錄課方式相比，機(jī)器所占的空間明顯減少，對操作者的處理技術(shù)水平幾乎沒有任何要求，同時輸出視頻的分辨率為1 080 p，音頻與視頻的延時率小于100 ms。與現(xiàn)有的錄課方式相比，本文設(shè)計的智能導(dǎo)播錄課系統(tǒng)簡約化、便捷化、經(jīng)濟(jì)化和人性化的特點(diǎn)相對突出，輸出視頻的優(yōu)質(zhì)性也更加顯著。

[1]劉斌.信息化教學(xué)有效性的理論思考——對信息化教學(xué)本質(zhì)的再認(rèn)識[J].現(xiàn)代教育技術(shù)，2013（3）：26-29.

[2]宋德清.MOOC在社區(qū)教育中的應(yīng)用路徑探索——基于開放大學(xué)建設(shè)的視角[J].遠(yuǎn)程教育雜志，2013（6）：68-74.

[3]張金磊，王穎，張寶輝.翻轉(zhuǎn)課堂教學(xué)模式研究[J].遠(yuǎn)程教育雜志，2012（4）：46-51.

[4]程國均，陳詠陶.注重學(xué)生參與的創(chuàng)新教學(xué)模式[J].西南民族學(xué)院學(xué)報：哲學(xué)社會科學(xué)版，2002（5）：240-242.

[5]陳衛(wèi)兵，徐重陽，劉衛(wèi)忠.ES流復(fù)用成MPEG-2 TS流的緩沖區(qū)控制策略及實現(xiàn)[J].中國有線電視，2003（5）：6-9.

[6]陳濤，黃東軍.MPEG-2／4AAC實時音頻編碼器實現(xiàn)性能優(yōu)化研究進(jìn)展[J].電聲技術(shù)，2008（5）：45-50.

[7]蔣志峰．FFmpeg的快速音視頻開發(fā)方法[J]．單片機(jī)與嵌入式系統(tǒng)應(yīng)用，2008（1）：69-71.

An embedded intelligent directed lessons recording system based on TIDM 365

Sun Xiaoqi，Wang Xiaodong，Tang Ruibin，Zhang Ting，Liu Jiaxuan，Chen Fen
（School of Information Science and Engineering，Ningbo University，Ningbo 315211，China）

In recent years，with the launch of MOOC，F(xiàn)lipped Classroom and other online education products，the Internet is gradually changing the traditional way of teaching.The key factor of those online education products is recording quality，individualized teaching videos.This paper describes an embedded intelligent directed lessons recording system based on TI DM365，which uses TI DM365 DSP chip receiving three-way video and two-way audio on hardware and provides USB，LAN and WiFi interfaces.Using FFmpeg open source library of advanced audio and video codec library libavcodec，the PC software of this system is developed by VS2013 C++.The system has a multi-channel audio and video francis decoding，six kinds of intelligence directed and switch modes，local，cloud storage and on-demand playback functions.System test results show that the system performance is stable，the delay of audio and video is less than 100 ms and the recorded video resolution reaches 1080 p，which suggest sound quality is good.Compared with the existing lessons record mode，the system has a series of advantages such as simplicity，convenience，economization and humanization.

intelligent directed；lessons recording system；FFmpeg；TI DM365；DSP chip technology

TP399

A

1674-7720（2015）13-0035-04

2015-02-05）

孫小期（1994-），通信作者，女，本科，主要研究方向：數(shù)字信號處理技術(shù)、視頻圖像處理與傳輸。E-mail：273851715@qq.com。

2015年浙江省大學(xué)生科技創(chuàng)新活動計劃（新苗人才計劃）項目；浙江省高等教育教學(xué)改革研究項目（jg2013044）；浙江省高等教育課堂教學(xué)改革項目（kg2013101）；浙江省普通本科高校新興特色專業(yè)建設(shè)項目（通信工程）；寧波市特色專業(yè)建設(shè)-通信工程（D00635128000）

王曉東（1970-），男，碩士生導(dǎo)師，副教授，主要研究方向：視頻圖像處理與傳輸、計算機(jī)網(wǎng)絡(luò)技術(shù)等。

湯銳彬（1994-），男，本科，主要研究方向：數(shù)字信號處理技術(shù)、視頻圖像處理與傳輸。