基于GM8180的嵌入式視頻服務(wù)器設(shè)計

吳昕,李詠梅

(1.廈門大學(xué); 2.集美大學(xué) 計算機(jī)工程學(xué)院,廈門361021)

吳昕(碩士研究生),主要研究領(lǐng)域為嵌入式系統(tǒng)和流媒體技術(shù);李詠梅(教授),主要研究領(lǐng)域為嵌入式系統(tǒng)和普適計算。

引 言

嵌入式網(wǎng)絡(luò)視頻服務(wù)器可將前端采集的視頻信號壓縮編碼后,通過IP網(wǎng)絡(luò)傳送到終端進(jìn)行顯示或記錄。與傳統(tǒng)的模擬閉路視頻監(jiān)控系統(tǒng)相比,由于采用IP網(wǎng)絡(luò)來傳輸數(shù)字視頻信號,擺脫了模擬信號線路衰減的距離限制,實現(xiàn)遠(yuǎn)程監(jiān)控。

目前流行的構(gòu)建嵌入式網(wǎng)絡(luò)視頻服務(wù)器的方案有ARM+DSP和ASIC兩種。前者以TI公司和 ADI公司為代表,其優(yōu)點在于具有很大的靈活性。利用DSP強(qiáng)大的計算能力,可以在前端嵌入式服務(wù)器中實現(xiàn)智能化和個性化的應(yīng)用。但是由于ARM+DSP方案涉及音視頻編解碼器的開發(fā),開發(fā)成本大和開發(fā)周期長使其飽受詬病。相比之下,ASIC方案通常在單芯片上集成視頻編碼器,使得開發(fā)人員能夠?qū)⒕性谝曨l服務(wù)器的設(shè)計當(dāng)中,大大縮減了開發(fā)成本和時間。本文介紹一種基于ASIC芯片GM8180的嵌入式網(wǎng)絡(luò)視頻服務(wù)器方案。

1 系統(tǒng)硬件結(jié)構(gòu)

GM8180是由臺灣智原(Faraday)公司推出的一款高性能SoC芯片,片上包含了主頻高達(dá)500 MHz的ARM9核以及H.264編/解碼引擎、MPEG4編/解碼引擎。除此之外,GM8180還集成了DDR控制器、Flash/S靜態(tài)存儲控制器,以及支持2路8位ITU-R BT.656視頻采集控制器、USB OTG 、MMC/SDC 、IDE 、I2C 、SPI、I2S 、AC97 等[1]。

系統(tǒng)框架如圖1所示,視頻服務(wù)器系統(tǒng)充分利用GM8180主芯片內(nèi)帶有的兩路視頻采集通道,外接Philips公司的SAA7113H視頻解碼芯片實現(xiàn)2路CVBS視頻信號采集。視頻編碼直接使用片內(nèi)集成的H.264編碼引擎進(jìn)行H.264視頻編碼壓縮,無需外接其他編碼芯片。音頻采集方面,GM8180直接與Wolfson公司的WM8731音頻編解碼芯片連接,實現(xiàn)音頻的采集和回放。在網(wǎng)絡(luò)方面,GM8180集成了以太網(wǎng)MAC控制器,外圍直接連接以太網(wǎng)物理接口芯片DM9161A,即可完成以太網(wǎng)功能。此外,系統(tǒng)還包括了實時時鐘、DDR、NOR Flash、電源模塊等。

圖1 視頻服務(wù)器系統(tǒng)框圖

1.1 視頻采集模塊

GM8180片上集成的視頻采集模塊可以提供2路8位采集通道。輸出ITU-R BT.656的CMOS視頻采集模塊,可以直接與GM8180相連接;輸出CVBS或者S-Video模擬信號的采集模塊,則需要外接視頻解碼芯片。本系統(tǒng)中的視頻解碼芯片采用的是Philips公司的SA7113H。SAA7113H支持隔行掃描,支持 PAL、NTSC等多種視頻輸入格式,輸出支持ITU-R BT.656等多種格式,通過I2C總線控制,即可實現(xiàn)對輸入模擬信號的預(yù)處理、水平和垂直同步信號的分離,以及亮度和色度的設(shè)置等[2]。

GM8180片內(nèi)集成了標(biāo)準(zhǔn)的I2C總線控制器,SAA7113H通過I2C總線與GM8180連接。在I2C總線上連接2塊SAA7113H時,可將其上的RTS0引腳懸空或拉低,為這兩塊SAA7113H配置不同的I2C地址。具體連接如圖2所示。

圖2 GM8180與SAA7113H接口

1.2 音頻采集模塊

GM8180支持多種音頻輸入接口,包括1個AC97和2個I2S接口。I2S是Philips公司為數(shù)字音頻設(shè)備之間的音頻數(shù)據(jù)傳輸而制定的一種總線標(biāo)準(zhǔn),主要用于家庭影院中的高質(zhì)量音頻D/A轉(zhuǎn)換器。AC97則是以Intel為首的5家計算機(jī)廠商制定的規(guī)格標(biāo)準(zhǔn),除規(guī)定音頻幀格式外,還具有控制功能[3]。

本系統(tǒng)使用Wolfson公司的WM8731音頻芯片,通過I2S總線連接GM8180。WM8731可以提供CD音質(zhì)的音頻錄音和回放,為16 Ω的負(fù)載提供50 mW的輸出功率。該器件具有多種功耗降低模式,在回放模式的下典型功率消耗為8.5 mW,同步錄音和回放時的功率消耗為24 mW。待機(jī)模式下,供電電流可降低到50 μ A[4]。

GM8180與WM8731的連接如圖3所示,WM8731能夠支持立體聲采集和回放,在系統(tǒng)設(shè)計中將 WM8731立體聲采集/回放的左右聲道分別拆分成2路獨立單聲道的采集/回放通道使用。

1.3 其他模塊

網(wǎng)絡(luò)方面,GM8180集成了以太網(wǎng)接口控制器,支持RMII接口,可直接連接以太網(wǎng)物理接口芯片DM9161A。DM9161A是Davicom公司生產(chǎn)的一款低功耗、高性能的以太網(wǎng)物理層芯片,它完全兼容IEEE 802.3u l0Base-T/l00Base-TX標(biāo)準(zhǔn),同時兼容ANSI TP-P(如 1995)標(biāo)準(zhǔn);支持MII和RMII兩種接口模式,可完成對網(wǎng)絡(luò)數(shù)據(jù)的接收解碼和對數(shù)據(jù)幀的編碼發(fā)送。

此外,實時時鐘芯片S35390A通過I2C總線連接主芯片GM8180為系統(tǒng)提供準(zhǔn)確、不間斷的時間信息以及定時報警服務(wù)。

2 系統(tǒng)軟件設(shè)計

在軟件的設(shè)計上,采用ARM-Linux 2.6操作系統(tǒng)作為嵌入式服務(wù)器軟件的承載平臺。ARM-Linux的源代碼完全免費開放,內(nèi)核可任意裁剪,應(yīng)用程序和驅(qū)動都非常豐富。在 ARM-Linux操作系統(tǒng)的基礎(chǔ)上,通過Video4Linux(V4L)接口采集的視頻圖像交由GM8180片內(nèi)的H.264編碼引擎進(jìn)行壓縮編碼;音頻上,通過OSS接口采集PCM數(shù)據(jù)進(jìn)行自適應(yīng)多速率窄帶語音(Adaptive Multi-Rate Narrowband,AMRNB)編碼。通過 RTSP流媒體服務(wù)器為用戶提供實時的音視頻訪問服務(wù)。

2.1 視頻采集驅(qū)動

V4L是Linux下用于獲取視頻數(shù)據(jù)的通用 API接口。將GM8180的視頻采集封裝成V4L接口,以便位于應(yīng)用層的RTSP服務(wù)器開發(fā)使用。V4L驅(qū)動程序需向操作系統(tǒng)內(nèi)核注冊video_device設(shè)備,用于指定文件操作接口,使得用戶層可以通過標(biāo)準(zhǔn)文件操作來采集視頻。

視頻采集的流程如圖4所示,用戶設(shè)置采集參數(shù)(例如圖像分辨率)時,驅(qū)動需要完成SAA7113H和GM8180片上視頻采集控制器的寄存器設(shè)置,以及驅(qū)動內(nèi)核態(tài)下圖像數(shù)據(jù)緩沖區(qū)的分配等工作。此后,應(yīng)用層以VIDIOCMCAPTURE標(biāo)志和VIDEOSYNC標(biāo)志為參數(shù)循環(huán)調(diào)用ioctl()函數(shù)來獲得視頻圖像數(shù)據(jù)。

圖3 GM8180與WM8731接口

當(dāng)應(yīng)用程序以VIDIOCMCAPTURE標(biāo)志調(diào)用ioctl（）函數(shù)時,驅(qū)動檢查采集控制器和DMA狀態(tài),如果當(dāng)前是正常的采集狀態(tài),則ioctl()系統(tǒng)調(diào)用返回;如果當(dāng)前不是正常的采集狀態(tài),則重新觸發(fā)采集控制器和DMA。當(dāng)應(yīng)用程序以VIDEOSYNC標(biāo)志調(diào)用ioctl()函數(shù)時,驅(qū)動先判斷采集緩沖區(qū)內(nèi)是否有圖像數(shù)據(jù),沒有則將調(diào)用者掛起在采集等待隊列中。直到采集完1幀完整的數(shù)據(jù),在DMA中斷響應(yīng)函數(shù)中調(diào)用wake_up()函數(shù)將采集等待隊列中的進(jìn)程喚醒,返回圖像數(shù)據(jù)給應(yīng)用層調(diào)用者。

圖4 視頻采集流程

2.2 H.264編碼引擎

GM8180片上集成支持基線檔次的H.264編碼引擎,該編碼引擎遵循AMBA 2.0總線規(guī)范。H.264編碼引擎通過AHB總線與主CPU和其他片上模塊相連。編碼引擎同時具有AHB主、從模塊功能:

◆當(dāng)主CPU訪問編碼引擎內(nèi)部寄存器時,編碼引擎為從模塊,主CPU作為主模塊;

◆當(dāng)編碼引擎通過內(nèi)建DMA讀寫系統(tǒng)內(nèi)存時,編碼引擎為主模塊,DDR控制器為從模塊。

H.264編碼引擎內(nèi)建了兩個DMA通道,通道0用于讀寫原始圖像、參考幀、重建幀等數(shù)據(jù),通道1用于將編碼完的H.264碼流回寫到系統(tǒng)內(nèi)存中。在編碼引擎工作之前,需要為圖像原始數(shù)據(jù)、參考幀、重建幀緩存分配物理上連續(xù)的內(nèi)存空間,并將緩存起始地址和長度以一定格式組織成DMA命令鏈數(shù)組,設(shè)置給編碼引擎DMA通道0。將存放編碼后碼流數(shù)據(jù)的緩存基址設(shè)置給通道1。而H.264編碼參數(shù),例如條帶類型、量化參數(shù)等則直接通過寄存器設(shè)置。

編碼1幀圖像時,H.264編碼引擎會根據(jù)DMA命令鏈數(shù)組中的圖像數(shù)據(jù)和參考幀緩存基址,以宏塊為單元讀入當(dāng)前幀和參考幀,進(jìn)行運動估計、運動補償、整型DCT變換和量化。通過DMA將重建幀寫到系統(tǒng)內(nèi)存中,更新參考幀緩存。最后進(jìn)行熵編碼,生成H.264碼流并通過DMA通道1寫回到系統(tǒng)內(nèi)存中。完成編碼之后,編碼引擎通過中斷通知主CPU。

2.3 RTSP流媒體服務(wù)器

實時流協(xié)議(Real Time Streaming Protocol,RTSP)是由Real Networks和Netscape公司共同提出的,該協(xié)議定義了一對多的應(yīng)用程序如何有效地通過IP網(wǎng)絡(luò)傳送多媒體數(shù)據(jù)的方法。RTSP協(xié)議構(gòu)建在實時傳輸協(xié)議(Realtime Transport Protocol,RTP)和實時控制協(xié)議(Real Time Control Protocol,RTCP)之上,它使用 TCP或者UDP完成數(shù)據(jù)傳輸[5-6]。

如圖 5所示,RTSP服務(wù)器軟件設(shè)計為分層結(jié)構(gòu),采用socket網(wǎng)絡(luò)編程和pthread多線程技術(shù)實現(xiàn)。系統(tǒng)設(shè)計一個單獨的線程用于監(jiān)聽RTSP端口以及進(jìn)行RTSP會話的信令交互處理,這樣的設(shè)計保證服務(wù)器能夠?qū)γ總€客戶連接作出快速的響應(yīng)。當(dāng)一個RTSP會話成功建立之后,服務(wù)器將為該會話分配一組RTP/RTCP端口以及相應(yīng)的緩沖區(qū),同時創(chuàng)建一個新的線程用于負(fù)責(zé)發(fā)送RTP和RTCP報文以及接收、分析客戶端反饋的RTCP接收者報告。在RTSP、RTP、RTCP協(xié)議實現(xiàn)和音視頻編碼器之間設(shè)計了一層實時流媒體管理層,通過它將音視頻采集和編碼驅(qū)動的初始化、采集數(shù)據(jù)、編碼以及在運行過程中更改采集或者編碼參數(shù)(如更改碼率、幀率、請求編碼關(guān)鍵幀)等操作抽象成統(tǒng)一的實時媒體文件接口。

圖5 RTSP服務(wù)器軟件結(jié)構(gòu)

結(jié) 語

本文設(shè)計的基于GM8180的嵌入式視頻服務(wù)器,通過片上的H.264編碼引擎實現(xiàn)2路D1分辨率的H.264實時編碼,通過軟件實現(xiàn)2路AM RNB音頻編碼,以及實時流媒體傳輸?shù)南嚓P(guān)協(xié)議。充分挖掘了GM8180這款A(yù)SIC芯片的潛在性能。

[1]Faraday.GM8180 Data Sheet,2008.

[2]Philips Electronics.SAA7113H Data Sheet,1999.

[3]鄭靈翔.嵌入式 Linux系統(tǒng)設(shè)計[M].北京:北京航空航天大學(xué)出版社,2008.

[4]Wolfson Microelectronics.WM8731 Data Sheet,2001.

[5]IETF.RFC2326-Real Time Streaming Protocol(RTSP)[S],1998-04.

[6]IETF.RFC3550-RTP:A Transport Protocol for Real-Time Applications[S],2003-07.