基于RTP的機載網絡視頻同步回放技術

郝 朝，王 灝

(中國飛行試驗研究院，陜西 西安 710089)

0 引 言

機載視頻數(shù)據(jù)是飛行試驗測試數(shù)據(jù)中的重要組成部分，視頻圖像因為全面、直觀、真實地反映當前飛機與設備工作狀態(tài)等優(yōu)點成為試飛工程師給出飛機試飛結論的重要依據(jù)[1]。

目前在飛行試驗中，視頻遙測與監(jiān)控仍然采用主流的PCM[2]架構，將機載數(shù)字視頻信號以PCM流的形式傳輸至地面進行解析。一般航電系統(tǒng)多路視頻數(shù)據(jù)使用機載記錄器對其進行分開記錄，飛行結束后，通過地面卸載將各路視頻數(shù)據(jù)還原為標準視頻格式文件(*.m2t)，采用通用視頻播放軟件如暴風影音即可進行播放。隨著基于Mesh架構[3-4]的網絡電臺的出現(xiàn)，由于任務需求，機載視頻通過網絡電臺以RTP/RTCP協(xié)議的網絡數(shù)據(jù)包的形式實現(xiàn)網絡化遙測與記錄，有別于現(xiàn)有的PCM結構的遙測數(shù)字視頻傳輸系統(tǒng)，視頻數(shù)據(jù)與其他測試參數(shù)以網絡數(shù)據(jù)包的形式全部記錄在一個網絡數(shù)據(jù)文件(*.enet)中。因為機載采集系統(tǒng)和遙測傳輸方式的改變，導致記錄的視頻數(shù)據(jù)格式發(fā)生變化，現(xiàn)有的視頻回放軟件無法滿足型號任務新需求。

根據(jù)以上需求，為了保證機載多路網絡視頻數(shù)據(jù)回放任務，研究基于RTP/RTCP[5-6]的機載網絡視頻同步回放技術。通過對機載記錄網絡數(shù)據(jù)進行提取，將網絡視頻數(shù)據(jù)分流并進行預處理，使用FFmpeg進行圖像解碼，并利用SDL進行顯示。

1 RTP/RTCP協(xié)議

機載網絡攝像頭將視頻圖像以RTP/RTCP協(xié)議網絡數(shù)據(jù)包的形式通過交換機發(fā)送給記錄器進行記錄。記錄器將RTP/RTCP網絡數(shù)據(jù)包進行封裝，加上UDP頭、IP頭、MAC頭寫入文件中。

實時傳輸協(xié)議(real-time transport protocol，RTP)是用來為音視頻等多媒體數(shù)據(jù)提供端到端的實時傳輸服務。RTP實時傳輸音視頻流，傳輸服務質量由對應的實時傳輸控制協(xié)議(real-time transport control protocol，RTCP)來控制。在RTP會話期間，網絡攝像頭周期性地以組播形式發(fā)送RTCP包，包中含有已發(fā)送的視頻數(shù)據(jù)包數(shù)量、丟包數(shù)量等信息，因此，網絡攝像頭可以利用這些信息動態(tài)地改變視頻圖像的傳輸速率。

當網絡攝像頭開啟時，同時建立了一個RTP會話，確定了一個由一個網絡地址和奇偶兩個端口組成的目的傳輸?shù)刂?。偶?shù)的UDP端口2n分配給RTP視頻數(shù)據(jù)包，相鄰的奇數(shù)UDP端口2n+1分配給RTCP包，構成一個UDP端口對。RTP/RTCP數(shù)據(jù)包通過該UDP端口對進行發(fā)送。

RTP協(xié)議從網絡攝像頭接收視頻圖像碼流，將其進行封裝，得到RTP數(shù)據(jù)包；RTCP協(xié)議從網絡攝像頭接收控制信息，將其進行封裝成RTCP數(shù)據(jù)包。RTP和RTCP兩種協(xié)議的配合使用，可以通過有效的反饋和最小的開銷使視頻數(shù)據(jù)包的傳輸效率達到最優(yōu)。

當采用RTP對H.264碼流進行打包封裝時，封裝格式定義三個不同的基本結構，接收端通過RTP包的第一個字節(jié)后5位來識別當前打包結構。

(1)單個封包模式：一個獨立的NALU用一個RTP包封裝。序列參數(shù)集SPS與圖像參數(shù)集PPS由于數(shù)據(jù)量較少，小于MTU(最大傳輸單元)，一般為單個NALU，采用單個RTP包封裝模式進行傳輸。NAL頭類型域與原始 NAL單元類型相同。。

(2)聚合封包模式：用于將多個NAL單元打包到單個RTP數(shù)據(jù)包中。由于視頻圖像數(shù)據(jù)較大，一幀圖像數(shù)據(jù)量一般均大于RTP數(shù)據(jù)包長度，因此這種封裝格式應用較少。

(3)分片封包模式：將一個獨立的NALU打包到多個RTP包。一個獨立的NALU被分割成多個連續(xù)的NAL單元字節(jié)。相同NALU的分片必須使用遞增的RTP序號進行順序發(fā)送，可以通過該序列號判斷RTP數(shù)據(jù)包的丟包情況。相似地，NAL單元必須按照RTP順序號的順序進行封裝。

2 系統(tǒng)框架設計

機載網絡視頻回放系統(tǒng)功能結構如圖1所示。

圖1 系統(tǒng)功能結構

對于機載記錄數(shù)據(jù)處理模塊，具體功能如下：

(1)數(shù)據(jù)分流：通過對數(shù)據(jù)包進行判別，將機載記錄網絡數(shù)據(jù)分流提取為普通低采數(shù)據(jù)、網絡視頻數(shù)據(jù)和高采振動數(shù)據(jù)等多個數(shù)據(jù)文件。

(2)視頻數(shù)據(jù)預處理：對網絡視頻數(shù)據(jù)文件進行處理，將RTP視頻數(shù)據(jù)包進行解封裝與組包，還原成完整的一幀圖像，對RTCP數(shù)據(jù)包進行解析，在每一幀圖像前加上標識符、時間戳、該幀圖像數(shù)據(jù)長度等信息。

對于視頻數(shù)據(jù)回放模塊，具體功能如下：

(1)多路視頻同步回放：實現(xiàn)多路視頻的同步回放，保持時間基本一致；

(2)逐幀播放：對關鍵數(shù)據(jù)段進行逐幀播放，包括上一幀和下一幀；

(3)數(shù)據(jù)截取：對關鍵數(shù)據(jù)段進行截取，保存為單獨的視頻文件；

(4)時間跳轉：實現(xiàn)快速跳轉至指定時間的視頻畫面；

(5)截圖：將當前時刻的圖像保存為BMP文件；

(6)視頻解碼：將一幀視頻圖像解碼為YUV數(shù)據(jù)；

(7)圖像顯示：利用SDL對YUV圖像數(shù)據(jù)進行顯示；

(8)圖像處理：采用一定算法實現(xiàn)圖像旋轉、1/4局部顯示等功能。

機載網絡視頻數(shù)據(jù)回放流程如圖2所示。

首先對機載記錄的數(shù)據(jù)文件進行處理，將網絡視頻數(shù)據(jù)分流出來，然后對網絡數(shù)據(jù)包進行解包、計算時間等預處理，形成可用于快速回放的數(shù)據(jù)文件。網絡遙測記錄的視頻數(shù)據(jù)包格式與預處理視頻數(shù)據(jù)文件保持一致，均可進行回放。通過讀取一幀數(shù)據(jù)送給FFmpeg進行解碼，然后調用SDL進行顯示。

圖2 數(shù)據(jù)回放流程

3 關鍵技術

3.1 基于FFmpeg和SDL的視頻播放技術

FFmpeg[7-9]是一個開源的、跨平臺的音視頻流方案，可對音視頻進行錄制、轉換以及流化的操作。libavcodec是一套先進的音頻/視頻編解碼庫，用于各種類型聲音/圖像的編碼與解碼。libavformat用于解析各種格式封裝的音視頻，包括獲取音視頻解碼所需的關鍵信息等功能；libswscale實現(xiàn)各種圖像像素格式的轉換以及圖像大小縮放功能。libavutil是一個公共工具函數(shù)庫。在獲得完整的NALU后，將其送入FFmpeg緩存進行解碼，解碼流程為：(1)初始化解碼器；(2)注冊容器和CODEC；(3)查找H.264解碼器；(4)打開H.264解碼器；(5)為解碼器分配內存；(6)解碼一幀視頻圖像，得到YUV數(shù)據(jù)。

SDL[10-11](simple direct media layer)是開源的、跨平臺的多媒體開發(fā)庫。SDL本身不具備字符顯示的功能，需要用外部擴展庫SDL_ttf顯示文字。SDL顯示YUV[12-13]數(shù)據(jù)流程為：(1)初始化SDL和TTF庫；(2)創(chuàng)建window，打開字體；(3)基于窗口創(chuàng)建渲染器；(4)創(chuàng)建圖像紋理，設置文本表面；(5)設置圖像紋理數(shù)據(jù)；(6)創(chuàng)建文本紋理數(shù)據(jù)；(7)將圖像紋理和文本紋理復制給渲染器。

3.2 機載網絡視頻預處理技術

機載記錄數(shù)據(jù)格式為標準的以太網數(shù)據(jù)包，格式為[MAC Header][IP Header][UDP Header][Payload]。記錄器將所有經過機載網絡交換機的數(shù)據(jù)包均記錄下來，包括普通數(shù)據(jù)、視頻數(shù)據(jù)、振動數(shù)據(jù)和其他網絡數(shù)據(jù)。因此首先采用數(shù)據(jù)分流技術將網絡攝像頭視頻數(shù)據(jù)提取出來。數(shù)據(jù)分流流程如圖3所示。

圖3 數(shù)據(jù)分流流程

將視頻數(shù)據(jù)提取出來之后，為了實現(xiàn)視頻數(shù)據(jù)的快速拖動回放，首先將對RTP協(xié)議封裝的H.264視頻數(shù)據(jù)進行解包，還原成完整的一幀NALU，在每一幀圖像數(shù)據(jù)前加上標識符、時間戳和數(shù)據(jù)長度。標識符代表一幀圖像的開始，時間戳代表當前圖像的時間，數(shù)據(jù)長度代表當前圖像所占字節(jié)數(shù)。

3.3 機載多路網絡視頻快速同步回放技術

對多路視頻進行同步回放時，采用時間戳同步技術，將視頻畫面精確到幀。一般視頻幀率為25 fps，相鄰兩幀視頻畫面的時間差為40 ms，因此只需開始播放2路視頻畫面時間保持一致，逐幀順序播放顯示即可保持多路視頻之間同步。

在拖動進度條時，只需移動文件指針至指定位置，查找標識符直到一幀圖像開始。然后以某一路視頻為基準，對其他路視頻進行查找，當時間戳相差最小時，開始逐幀播放即可保持多路視頻間的同步。首先以視頻1為時間戳基準，讀取并顯示當前一幀圖像，然后該線程進入等待狀態(tài)并通知視頻2線程。視頻2線程依次讀取一幀圖像并計算當前時間差，如果該幀與基準幀時間差最小，則顯示該圖像并且通知視頻1線程讀取下一幀圖像。

圖4 時間跳轉邏輯處理流程

時間跳轉處理邏輯流程如圖4所示。首先讀取當前一幀數(shù)據(jù)，比較當前時間Tn(s)與指定時間Td(s)，如果Tn

3.4 基于BMP位圖文件的截圖功能

BMP[14-15]格式位圖文件是Windows操作系統(tǒng)中的標準圖像文件格式，是一種設備無關位圖。為了實現(xiàn)截圖功能，將YUV數(shù)據(jù)轉換為RGB數(shù)據(jù)，然后加上54字節(jié)的文件頭和位圖信息頭寫入BMP文件。

YUV與RGB的彩色空間變換關系[8]如下：

對變換得出的R、G、B值進行檢查，如果RGB數(shù)值大于255，則賦值為255；如果小于0，則賦值為0。

一個BMP圖像文件由位圖文件頭、位圖信息頭、調色板和位圖數(shù)據(jù)4部分組成[16]：

(1)位圖文件頭包含BMP位圖文件的類型、文件大小、位圖起始位置等信息，其結構定義如下：

struct stcBITMAPFILEHEADER

{

INT16 FileType; //必須為“BM”

INT32 FileSize; //文件大小

INT16 Reserved1; //為0

INT16 Reserved2; //為0

INT32 DataOffset; //位圖數(shù)據(jù)起始位置

};

(2)位圖信息頭數(shù)據(jù)結構。包含BMP圖像的尺寸、壓縮類型等信息，其結構定義如下：

struct stcBITMAPINFOHEADER

{

INT32 Size;//所占字節(jié)數(shù)

INT64 PicWidth; //寬度

INT64 PicHeight; //高度

INT16 Planes; //為1

INT16 Bits; //每個像素所需位數(shù)

INT32 CprssType; //壓縮類型

INT32 ImageSize;

INT64 XDPI; //水平分辨率

INT64 YDPI ; //垂直分辨率

INT32 lrUsed;

INT32 lrmajor;

};

當每個像素所需位數(shù)為1時，代表1個字節(jié)為8個像素；

當每個像素所需位數(shù)為4時，代表1個字節(jié)為2個像素；

當每個像素所需位數(shù)為8時，代表1個字節(jié)為1個像素；

當每個像素所需位數(shù)為24時，代表3個字節(jié)為1個像素。

(3)調色板。真彩色圖(24位的BMP)不需要調色板。

(4)位圖數(shù)據(jù)。按照行內從左到右、行間從下到上的順序對位圖的每一個像素值進行掃描。

4 應用效果

機載多路網絡視頻數(shù)據(jù)同步回放界面如圖5所示，能夠實現(xiàn)多路網絡視頻數(shù)據(jù)文件的同步回放，具有暫停、上一幀、下一幀、截圖、圖像旋轉、時間跳轉等功能。

圖5 機載多路網絡視頻數(shù)據(jù)同步回放軟件界面

5 結束語

論述了多路機載網絡視頻數(shù)據(jù)同步回放系統(tǒng)的設計與實現(xiàn)。通過對網絡包數(shù)據(jù)進行分流提取，對RTP視頻數(shù)據(jù)包進行解包、時間計算等預處理形成預處理文件，采用FFmpeg和SDL對一幀圖像進行解碼與顯示，采用時間戳同步機制實現(xiàn)多路網絡視頻的精確同步回放。實際應用效果表明該系統(tǒng)能夠實現(xiàn)多路機載網絡視頻數(shù)據(jù)的快速同步回放，有效提高試飛效率。