基于TMS320DM368的光電吊艙視頻壓縮系統(tǒng)設(shè)計(jì)

袁秋晨，閔躍軍，丁祝順，蔣鴻翔

（北京航天控制儀器研究所，北京100039）

基于TMS320DM368的光電吊艙視頻壓縮系統(tǒng)設(shè)計(jì)

袁秋晨，閔躍軍，丁祝順，蔣鴻翔

（北京航天控制儀器研究所，北京100039）

無(wú)人機(jī)光電吊艙視頻數(shù)據(jù)的實(shí)時(shí)壓縮處理是無(wú)人機(jī)光電吊艙的關(guān)鍵技術(shù)之一。以DM368為核心處理器，以嵌入式Linux為板級(jí)操作系統(tǒng)，設(shè)計(jì)出一套可供無(wú)人機(jī)光電吊艙使用的低功耗視頻實(shí)時(shí)壓縮系統(tǒng)。與傳統(tǒng)的嵌入式視頻H.264軟件編碼壓縮系統(tǒng)相比，本系統(tǒng)依賴DM368內(nèi)嵌的視頻協(xié)處理硬核處理H.264編碼，具有功耗低、處理延遲小、外部電路簡(jiǎn)單等諸多優(yōu)勢(shì)。同時(shí)系統(tǒng)以嵌入式Linux為板級(jí)操作系統(tǒng)，實(shí)時(shí)性強(qiáng)，可穩(wěn)定高效地管理視頻采集、硬核調(diào)度、串口通信、數(shù)據(jù)輸出等諸多任務(wù)。

光電吊艙；DM368；視頻壓縮；H.264編碼

0　引言

無(wú)人機(jī)光電吊艙是指懸掛在無(wú)人機(jī)外的艙體有效載荷容器裝置［1］。光電吊艙在無(wú)人機(jī)實(shí)戰(zhàn)中體現(xiàn)出的最大優(yōu)勢(shì)在于情報(bào)的獲取，而圖像數(shù)據(jù)又是情報(bào)數(shù)據(jù)的重要內(nèi)容之一，因此圖像處理技術(shù)對(duì)光電吊艙性能的提升產(chǎn)生很大的影響，各類圖像預(yù)處理算法在該領(lǐng)域均有著廣泛的應(yīng)用，如配準(zhǔn)、校正、圖像增強(qiáng)等［2-3］。

無(wú)人機(jī)光電吊艙的高清晰視頻的輸入主要由圖像傳感器采集得到，在壓縮數(shù)據(jù)前端得到的數(shù)據(jù)為YUV數(shù)字信號(hào)。數(shù)字化高清晰視頻需要的帶寬非常大，以本文的研究為例：60fps的720P （1650×750，4∶2∶2）格式需要占用帶寬為1650×750× 8×2×60=1188Mbit/s，這給視頻存儲(chǔ)與傳輸帶來了很大的困難，因此對(duì)無(wú)人機(jī)光電吊艙獲取的圖像進(jìn)行壓縮處理成為無(wú)人機(jī)光電吊艙視頻數(shù)據(jù)傳輸?shù)年P(guān)鍵技術(shù)。本文將重點(diǎn)研究光電吊艙的圖像壓縮技術(shù)。

無(wú)人機(jī)對(duì)于其承載的電子學(xué)設(shè)備有著很高的要求，其有限的能量供應(yīng)決定了其電子學(xué)設(shè)備必須具備體積小、重量輕、低功耗等特點(diǎn)［4］。傳統(tǒng)的嵌入式H.264板級(jí)壓縮系統(tǒng)多采用高性能DSP或FPGA實(shí)現(xiàn)軟件編碼，但此設(shè)計(jì)方案往往存在著成本高、功耗大、軟件實(shí)現(xiàn)復(fù)雜等弊端。本文基于TMS320DM368和嵌入式Linux技術(shù)設(shè)計(jì)出一種光電吊艙視頻實(shí)時(shí)壓縮處理系統(tǒng)。本系統(tǒng)依賴DM368內(nèi)嵌的視頻協(xié)處理硬核執(zhí)行H.264編碼，以嵌入式Linux為板級(jí)操作系統(tǒng)，可穩(wěn)定高效地管理視頻采集、硬核調(diào)度、串口通信、數(shù)據(jù)輸出等諸多任務(wù)。本系統(tǒng)平均功耗僅為2W，具有功耗低、成本低、體積小、重量輕、實(shí)時(shí)性強(qiáng)等諸多優(yōu)勢(shì)，能夠滿足無(wú)人機(jī)光電吊艙視頻壓縮的應(yīng)用需求。

1　系統(tǒng)架構(gòu)與硬件設(shè)計(jì)

1.1系統(tǒng)方案選型

目前相關(guān)產(chǎn)品中的圖像壓縮系統(tǒng)種類繁多，在這些圖像壓縮系統(tǒng)中，主要有以下兩種設(shè)計(jì)方案：

（1）基于ARM處理器的專用解碼芯片

這種方案的選擇主要是以ARM作為處理器內(nèi)核，搭載專用多媒體處理芯片。ARM核心處理器主要功能是完成與外設(shè)的通信及控制，通過專用處理器軟件實(shí)現(xiàn)多路音頻語(yǔ)音編解碼和視頻硬件加速引擎共同完成視頻編解碼的功能。針對(duì)1080P/1080i高清視頻壓縮，海思半導(dǎo)體公司推出了Hi3520芯片，它能夠以H.264或者M(jìn)PEG4編碼標(biāo)準(zhǔn)完成視頻壓縮，優(yōu)點(diǎn)是開發(fā)時(shí)間短、性能可靠，但是由于采用的是ASIC芯片，其靈活性較差，產(chǎn)品一旦定型，很難進(jìn)行二次開發(fā)。

（2）基于DSP和微控制單元的芯片

這種方案主要由通用DSP和MCU（Micro Control Unit）兩部分組成，DSP主要完成視頻數(shù)據(jù)的處理功能，外圍設(shè)備則主要由MCU來控制。一個(gè)典型的實(shí)例就是DSP+FPGA，由FPGA進(jìn)行邏輯與算法的實(shí)現(xiàn)，DSP完成對(duì)視頻數(shù)據(jù)的處理。這種方案可用的外圍設(shè)備接口豐富，在采用軟件算法時(shí)，可以方便地實(shí)現(xiàn)視頻編解碼標(biāo)準(zhǔn)的算法轉(zhuǎn)換和新標(biāo)準(zhǔn)的升級(jí)而不需要修改硬件，靈活性很高，但是采用軟件編解碼，在實(shí)現(xiàn)MPEG4或者H.264算法時(shí)難度很大，而且DSP與MCU之間的協(xié)調(diào)工作比較麻煩，會(huì)增大開發(fā)難度。

以上兩種設(shè)計(jì)方案均有不足之處，而本文所設(shè)計(jì)的圖像壓縮系統(tǒng)采用新型的專用視頻處理器，彌補(bǔ)了以上兩種方案的不足。

本文所研究的圖像壓縮系統(tǒng)的特點(diǎn)是采用控制器和硬件編解碼雙核處理器。采用的處理器芯片為TI公司的DaVinci系列TMD320DM368（以下統(tǒng)稱DM368）芯片。這種新型處理器基于ARM+硬件編碼器的雙核架構(gòu)，ARM處理器能夠出色地完成對(duì)各個(gè)模塊之間通信的控制，而硬件編解碼器可以滿足高清晰視頻極大的數(shù)據(jù)吞吐量和計(jì)算量的要求，同時(shí)開發(fā)者不必干預(yù)雙核之間的通信與協(xié)調(diào)，另外硬件編解碼速度很快、功耗低，彌補(bǔ)了前兩種方案中的不足，是一種具有廣闊應(yīng)用前景的處理器架構(gòu)。在開發(fā)的軟件設(shè)計(jì)方面，TI專門針對(duì)DaVinci系列給出了嵌入式Linux系統(tǒng)設(shè)計(jì)的軟件開發(fā)包，這些都給開發(fā)者提供了更多的便利。

1.2系統(tǒng)架構(gòu)設(shè)計(jì)

本系統(tǒng)以DM368為核心處理器，主要由視頻采集模塊、通信模塊、電源模塊和存儲(chǔ)器模塊組成。本系統(tǒng)的硬件架構(gòu)設(shè)計(jì)框圖如圖1所示。

圖1　系統(tǒng)硬件架構(gòu)Fig.1　Hardware architecture of system

從圖1中可以看到，DM368通過異步外部存儲(chǔ)器接口（AEMIF）與外部存儲(chǔ)器NAND Flash相連，DDR2與DM368的同步外部存儲(chǔ)器專用接口連接，視頻數(shù)據(jù)通過DM368的圖像傳感器接口（ISIF），系統(tǒng)采用14針的JTAG接口與仿真器XDS560U-PLUS相接。DM368具有的很多功能在本系統(tǒng)中都沒有用到，因此在設(shè)計(jì)時(shí)需要注意對(duì)不用功能對(duì)應(yīng)引腳的處理。

1.3硬件電路設(shè)計(jì)

（1）視頻采集模塊

文中所設(shè)計(jì)的無(wú)人機(jī)光電吊艙系統(tǒng)采用的光電載荷為紅外相機(jī)和可見光相機(jī)CCD一體機(jī)，其中紅外和可見光圖像輸出信號(hào)格式為外行場(chǎng)同步加YUV格式信號(hào)，紅外圖像信號(hào)和可見光圖像信號(hào)一起輸出到FPGA中，F(xiàn)PGA將根據(jù)控制命令選擇其中一路圖像信號(hào)輸出至圖像壓縮板。如圖2所示。

（2）通信模塊

通信模塊有兩個(gè)部分，串口通信與以太網(wǎng)通信。本文所設(shè)計(jì)的吊艙系統(tǒng)主要使用串口通信。串口通信在主機(jī)與宿主機(jī)之間主要負(fù)責(zé)顯示系統(tǒng)的啟動(dòng)以及與Linux進(jìn)行交互時(shí)內(nèi)核、文件系統(tǒng)等的下載信息。

圖2　圖像采集電路示意圖Fig.2　Schematic diagram of image acquisition circuit

DM368上有兩個(gè)UART口，使用UART0作為串口設(shè)備與主機(jī)進(jìn)行連接，采用RS-232作為串口通信協(xié)議。

本文設(shè)計(jì)采用的是Maxim公司的通用串口收發(fā)芯片MAX3221，與主處理器之間有一收一發(fā)兩根線的連接，設(shè)置工作在全雙工狀態(tài)。其原理圖如圖3所示。

圖3　RS232接口電路原理圖Fig.3　RS232 interface circuit schematic diagram

（3）電源模塊設(shè)計(jì)

電源模塊的設(shè)計(jì)是系統(tǒng)正常工作的前提。表1給出了整個(gè)圖像壓縮系統(tǒng)的供電需求情況。TMS320DM368的供電電壓分別為1.35V、1.8V和3.3V，其上電順序首先為1.35V，其次為1.8V，最后才是3.3V。而掉電順序則相反。為了滿足電壓設(shè)計(jì)的要求，本文選用TI公司的TPS6525作為電源芯片。

表1　系統(tǒng)供電分析表Table1　Power supply system analysis table

（4）存儲(chǔ)器模塊設(shè)計(jì)

DM368作為一個(gè)嵌入式系統(tǒng)的核心處理器，同標(biāo)準(zhǔn)電腦CPU一樣，需要“內(nèi)存”“外存”設(shè)備輔助其工作。DM368內(nèi)嵌的DDR2接口以及DDR2控制器可以方便地外接DDR2設(shè)備。一般的，Linux操作系統(tǒng)穩(wěn)定而流暢的運(yùn)行需要80MB的內(nèi)存空間，應(yīng)用層程序所開辟的緩存區(qū)大約需要30MB左右的內(nèi)存空間［5］，并綜合考慮低功耗要求等因素，本系統(tǒng)選用的內(nèi)存芯片為128MB的芯片K4T1G164QF-BCF7。

DM368集成的AEMIF接口可以方便地外接外部存儲(chǔ)器。該外部存儲(chǔ)器需要有足夠的空間存儲(chǔ)Bootloader，Linux內(nèi)核以及文件系統(tǒng)。本系統(tǒng)綜合考慮存儲(chǔ)空間需要以及低功耗需求，最終選取了 一 片 128MB的 NANDFLASH芯 片K9F1G08U0B作為本系統(tǒng)的外存芯片。

2　系統(tǒng)軟件設(shè)計(jì)

本軟件將通過VPFE接口對(duì)可見光相機(jī)CCD一體機(jī)與紅外相機(jī)的圖像進(jìn)行視頻數(shù)據(jù)采集；地面站發(fā)送的控制指令在經(jīng)過FPGA疊加內(nèi)部控制指令之后，通過UART串行接口進(jìn)行接收，并根據(jù)協(xié)議進(jìn)行功能操作；采集的圖像經(jīng)過DM368進(jìn)行H.264編碼壓縮之后的圖像幀，以及系統(tǒng)的復(fù)接數(shù)據(jù)幀通過SPI接口進(jìn)行發(fā)送；同時(shí)將壓縮后的圖像幀存入SD卡，并可以通過網(wǎng)口進(jìn)行輸出。

2.1軟件架構(gòu)

軟件架構(gòu)的頂層設(shè)計(jì)如圖4所示。

圖4　軟件架構(gòu)的頂層設(shè)計(jì)Fig.4　The top layer software architecture design

1）SystemServer是實(shí)現(xiàn)系統(tǒng)控制功能的進(jìn)程，如文件管理、網(wǎng)絡(luò)接口拔插響應(yīng)、AvServer API接口的消息機(jī)制再封裝等，提供對(duì)于AvServer、配置文件、HttpServer等組件進(jìn)行操作的多種API接口。SystemServer進(jìn)程負(fù)責(zé)配置各種參數(shù)，使用ControlSystemData（）接口接收項(xiàng)目指定的控制指令與調(diào)試用控件的指令，并最終通過消息機(jī)制實(shí)現(xiàn)AvServer的功能調(diào)度。

2）AvServer是實(shí)現(xiàn)系統(tǒng)主要功能的進(jìn)程，如VPFE接口的圖像采集、H.264編碼壓縮、SWOSD字符疊加、六檔電子變倍等功能。AvServer進(jìn)程由SystemServer啟動(dòng)與配置參數(shù)，啟動(dòng)后從Video設(shè)備采集圖像數(shù)據(jù)進(jìn)行編碼壓縮，通過GetAvData（）接口提供壓縮后的圖像數(shù)據(jù)給Videosend與HttpServer進(jìn)程。

3）Videosend進(jìn)程是實(shí)現(xiàn)數(shù)據(jù)發(fā)送與接收的進(jìn)程，Videosend進(jìn)程提供壓縮后的圖像數(shù)據(jù)給地面站，同時(shí)也負(fù)責(zé)接收地面站指令，進(jìn)行解譯后調(diào)用SystemServer的ControlSystemData（）接口實(shí)現(xiàn)功能響應(yīng)。

4）Http Server進(jìn)程與Videosend功能類似，作為網(wǎng)絡(luò)輸出的預(yù)留接口，除提供壓縮圖像之外還可以直接通過網(wǎng)頁(yè)控件訪問與控制，便于調(diào)試［6］。

2.2數(shù)據(jù)流

使用紅外或可見光載荷的軟件數(shù)據(jù)流示意圖如圖5所示。

圖5　數(shù)據(jù)流Fig.5　Data flow

1）ISIF從可見光CCD一體機(jī)或紅外一體機(jī)產(chǎn)生的行場(chǎng)信號(hào)中采集到Y(jié)UV格式的數(shù)據(jù)，在這里圖像分辨率為1280×720，采集到的數(shù)據(jù)進(jìn)入DDR。

2）ISIF傳遞給DDR的數(shù)據(jù)為1280×720的YUV格式圖像，經(jīng)過IPIPE，再通過RSZ縮放（具體縮放方式取決于電子變倍的參數(shù)）為項(xiàng)目后端需要的1024×768分辨率圖像，依然為YUV格式。

3）縮放之后的圖像使用軟件OSD疊加字符顯示之后，進(jìn)入Encode模塊進(jìn)行編碼壓縮，產(chǎn)生1024×768分辨率的H264格式圖像，保存在DDR中。

4）每當(dāng)新的一幀圖像產(chǎn)生，Videosend進(jìn)程將通過AvServer的共享內(nèi)存進(jìn)行訪問，并最終發(fā)送給地面終端。

3　實(shí)驗(yàn)結(jié)果

本系統(tǒng)軟件開發(fā)環(huán)境如下：

1）嵌入式Linux內(nèi)核版本號(hào)為2.6.32.17；

2）交叉編譯環(huán)境arm-none-linux-gnueabi-4.3.3；

3）DMAI軟件版本號(hào)為2.20.00.15；

4）宿主機(jī)VMWare-Ubuntu-12.04。

在實(shí)驗(yàn)室環(huán)境下，以可見光圖像為例，使用地面站解碼系統(tǒng)為接收端評(píng)估本系統(tǒng)效果。試驗(yàn)表明，本系統(tǒng)運(yùn)行穩(wěn)定，串口命令響應(yīng)無(wú)延遲，地面接收端輸出的圖像清晰流暢，沒有失真及馬賽克現(xiàn)象引入。系統(tǒng)延遲約為0.6s～0.9s。此處需要補(bǔ)充說明的是上述延遲時(shí)間是由本系統(tǒng)編碼端硬核編碼、SPI傳輸、地面解碼端解碼等共同決定的。系統(tǒng)在12V穩(wěn)壓電源供電情況下，工作時(shí)輸出電流為0.17A左右，功耗約為2W。圖6是解碼端的圖像效果截圖。

圖6　解碼端圖像效果截圖Fig.6　Graphic result captured from decoding system

4　結(jié)論

無(wú)人機(jī)有限的能量供應(yīng)決定了其電子學(xué)設(shè)備必須具備體積小、重量輕、低功耗等特點(diǎn)。本文結(jié)合工程應(yīng)用背景，設(shè)計(jì)出一套可供無(wú)人機(jī)光電吊艙使用的低功耗視頻實(shí)時(shí)壓縮系統(tǒng)。系統(tǒng)以DM368為核心處理器，以嵌入式Linux為板級(jí)操作系統(tǒng)。系統(tǒng)軟件完成了對(duì)于DM368芯片與紅外相機(jī)或可見光CCD控制器的控制，以及其他邏輯代碼來實(shí)現(xiàn)視頻數(shù)據(jù)采集、電子變倍、視頻H.264編碼壓縮、字符疊加等功能。試驗(yàn)結(jié)果表明，與傳統(tǒng)的嵌入式視頻H.264軟件編碼壓縮系統(tǒng)相比，本系統(tǒng)在處理數(shù)字視頻源的H.264編碼任務(wù)時(shí)，平均功耗僅為2W，具有功耗低、成本低、體積小、重量輕、實(shí)時(shí)性強(qiáng)等諸多優(yōu)勢(shì)，能夠滿足無(wú)人機(jī)光電吊艙視頻壓縮的應(yīng)用需求。

本系統(tǒng)以DM368為核心處理單元，依賴內(nèi)嵌的視頻協(xié)處理器編碼H.264具有一定的弊端。其一，由于系統(tǒng)調(diào)用DM368固化的協(xié)處理壓縮硬核，用戶僅能對(duì)開放的端口進(jìn)行控制，對(duì)未開放的端口則不能控制；其二，由于DM368內(nèi)嵌的協(xié)處理壓縮硬核需在嵌入式Linux的管理調(diào)度下運(yùn)行，不能在無(wú)操作系統(tǒng)的環(huán)境下運(yùn)行。嵌入式Linux是一種實(shí)時(shí)化操作系統(tǒng)，但是“實(shí)時(shí)”的概念是指系統(tǒng)正常加載運(yùn)行后，系統(tǒng)調(diào)度和響應(yīng)的實(shí)時(shí)。在嵌入式Linux沒有加載完成之前，系統(tǒng)無(wú)法對(duì)外界激勵(lì)做出正常響應(yīng)，因此本系統(tǒng)不適宜在“上電即運(yùn)行的”特殊項(xiàng)目背景下工作，本系統(tǒng)內(nèi)核經(jīng)優(yōu)化剪裁處理后，啟動(dòng)時(shí)間約為15s。盡管存在上述弊端，但是以DM368為核心的視頻壓縮系統(tǒng)以其功耗低、延遲小、成本低，體積小、實(shí)時(shí)性強(qiáng)等諸多優(yōu)勢(shì)成為業(yè)界主流的視頻壓縮技術(shù)方案之一。

［1］馮琦，周德云.軍用無(wú)人機(jī)光電吊艙發(fā)展趨勢(shì)［J］.電光與控制，2003，10（1）∶9-13. FENG Qi，ZHOU De-yun.The development tread of unmanned air vehicle［J］.Electronics Optics&Control，2003，10（1）∶9-13.

［2］楊權(quán)，劉晶紅，馬曉飛.基于圖像處理的機(jī)載光電平臺(tái)自動(dòng)調(diào)焦方法［J］.液晶與顯示，2011，26（5）∶677-682. YANG Quan，LIU Jing-hong，MA Xiao-fei.Auto-focusing method based on image processing for airborne electro-optical imaging platform［J］.Chinese Journal of Liquid Crystals and Displays，2011，26（5）∶677-682.

［3］尹傳歷，王嘯哲.機(jī)載嵌入式圖像增強(qiáng)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)［J］.液晶與顯示，2013，28（4）∶604-607. YIN Chuan-li，WANG Xiao-zhe.Design and realization of airborne embedded image enhancement system ［J］. Chinese Journal of Liquid Crystals and Displays，2013，28（4）∶604-607.

［4］魯劍鋒.無(wú)人機(jī)光電載荷圖像處理器的設(shè)計(jì)［J］.中國(guó)光學(xué)，2011，4（5）∶448-452. LU Jian-Feng.Design of image system in opto-electrical playloads on UAV［J］.Chinese Journal of Optics，2011，4 （5）∶448-452.

［5］王飛.基于Davinci技術(shù)的視頻編碼系統(tǒng)實(shí)現(xiàn)［D］.西安電子科技大學(xué)，2012. WANG Fei.Implementation of video encoding system based on Davinci technology［D］.Xidian University，2012.

［6］ Application_DesignGuide_IPNC_DM36x［M］.Texas Instruments Incorporated，2010.

Design of Dlectro-optical Pod Video Encoding System Based on TMS320DM368

YUAN Qiu-chen，MIN Yue-jun，DING Zhu-shun，JIANG Hong-xiang
（Beijing Institute ofAerospace Control Devices，Beijing 100039）

Real-time UAV electro-optical pod video data compression is one of the key technology of UAV electrooptical pod.In this paper we propose a real-time，low-power video encoding system design，based on DM368 processor and embedded Linux operating system.Compared with traditional embedded video H.264 encoding system design，we use DM368 inner video image co-processing to process the encoding task，which has the advantage of low-power consumption，low processing delay，and simple external circuit design.Furthermore，we utilize the real-time，stable and efficient embedded Linux operating system，capable of processing multi-task，such as video capturing，hard-core scheduling，serial communication，and data transmission.

electro-optical pod；DM368；video compression；H.264 encoding

TP394.1

A

1674-5558（2016）03-01063

10.3969/j.issn.1674-5558.2016.02.013

2015-01-12

袁秋晨，女，導(dǎo)航、制導(dǎo)與控制專業(yè)，碩士，研究方向?yàn)閳D像處理。