嵌入式Linux下基于FFmpeg的視頻硬件編解碼

劉建敏，楊斌

（西南交通大學(xué)信息科學(xué)與技術(shù)學(xué)院，成都610031）

引 言

目前，智能手機(jī)、PDA和平板電腦等越來(lái)越多的嵌入式設(shè)備支持高清視頻采集和播放功能，高清視頻的采集或播放功能正廣泛用于游戲設(shè)備、監(jiān)控設(shè)備、視頻會(huì)議設(shè)備和數(shù)字網(wǎng)絡(luò)電視等嵌入式系統(tǒng)中。這些功能的實(shí)現(xiàn)建立在高性能視頻硬件編解碼技術(shù)基礎(chǔ)之上。本文闡述了基于FFmpeg的H.264視頻硬件編解碼在S3C6410處理器上的實(shí)現(xiàn)方法，為數(shù)字娛樂(lè)、視頻監(jiān)控和視頻通信系統(tǒng)開發(fā)過(guò)程中的高清視頻硬件編解碼的實(shí)現(xiàn)提供參考。

FFmpeg［1］是一個(gè)開源免費(fèi)跨平臺(tái)的視頻和音頻流方案，屬于自由軟件。它包含非常先進(jìn)的音頻／視頻編解碼庫(kù)libavcodec，提供了錄制、轉(zhuǎn)換以及流化音視頻的完整解決方案。FFmpeg支持MPEG4、FLV等40多種編碼，以及AVI、ASF等90多種解碼。目前國(guó)內(nèi)較為流行的播放器暴風(fēng)影音和國(guó)外較為流行的Mplayer在音頻／視頻編解碼方面都用到了FFmpeg。

S3C6410［2］是三星公司推出的應(yīng)用處理器芯片，基于ARM11架構(gòu)，主頻最高可達(dá)800MHz。它具有多媒體硬件板電腦和游戲機(jī)等手持移動(dòng)設(shè)備和其他高性能嵌入式設(shè)備。國(guó)產(chǎn)手機(jī)魅族M8的處理器使用的就是S3C6410。

雖然FFmpeg提供了簡(jiǎn)單的應(yīng)用程序編程接口（API），可以很方便地實(shí)現(xiàn)多種格式的視頻軟件編解碼［3］，但是軟件編解碼在處理復(fù)雜視頻編解碼（如H.264）時(shí)無(wú)法運(yùn)用到處理速度不快、內(nèi)存空間不多的嵌入式環(huán)境中。為了在資源有限的嵌入式環(huán)境下使用FFmpeg實(shí)現(xiàn)復(fù)雜視頻編解碼，下面在分析FFmpeg視頻編碼流程和S3C6410處理器視頻編解碼方法的基礎(chǔ)上，闡述嵌入式Linux操作系統(tǒng)下基于FFmpeg的H.264硬件編解碼在S3C6410處理器上的實(shí)現(xiàn)方法。

1 FFmpeg視頻編解碼流程

FFmpeg主要有encode／decode、muxer／demuxer和內(nèi)存操作3個(gè)模塊。encode／decode模塊用于音視頻的編碼和解碼，存放在libavcodec子目錄中；muxer／demuxer模塊用于音頻和視頻的合并與分離（也稱混合器模塊），存放在libavformat目錄中；內(nèi)存等常用模塊存放于libavutil目錄中。下面以解碼過(guò)程為例分析FFmpeg視頻編解碼流程。

解碼基本流程共分4步:

①注冊(cè)所有可能用到的編解碼器和混合器。av＿register＿all（void）函數(shù)中通過(guò)執(zhí)行REGISTER＿M(jìn)UXDEMUX（X，x）和REGISTER＿ENCDEC（X，x），把所有FFm－peg支持的混合器和編解碼器相關(guān)信息以鏈?zhǔn)降慕Y(jié)構(gòu)存放在內(nèi)存中。

②打開視頻文件。av＿open＿input＿file（AVFormat－Context＊＊ic＿ptr，const char＊filename，AVInputFormat＊fmt，int buf＿size，AVFormatParameters＊ap）函數(shù)中偵測(cè)文件的格式，根據(jù)文件格式從鏈?zhǔn)降幕旌掀髦姓业较鄬?duì)應(yīng)的混合器（demuxer）并分離出視頻信息。

③獲取視頻信息。通過(guò)av＿find＿stream＿info（AVFormatContext＊ic）函數(shù)獲取視頻格式。根據(jù)視頻格式，在鏈?zhǔn)降囊曨l解碼器中找到相應(yīng)的視頻解碼器，并通過(guò)avcodec＿open（AVCodecContext＊avctx，AVCodec＊codec）函數(shù)將解碼器打開用于下一步視頻的解碼。

④解碼一幀視頻，通過(guò)avcodec＿decode＿video（AVCodecContext＊avctx，AVFrame＊picture，int＊got＿picture＿ptr，const uint8＿t＊buf，int buf＿size）函數(shù)解碼一幀視頻。

FFmpeg的編碼過(guò)程與解碼過(guò)程類似，不同的是第3步根據(jù)要求編碼的格式在鏈?zhǔn)降囊曨l編碼器中找到相應(yīng)的視頻編碼器，并執(zhí)行編碼過(guò)程。

通過(guò)以上對(duì)FFmpeg視頻編解碼流程分析可以知道，為了在FFmpeg中添加自定義的視頻編解碼器，并在程序運(yùn)行時(shí)使用這個(gè)編解碼器，關(guān)鍵在于如下兩點(diǎn):

①根據(jù)FFmpeg對(duì)編解碼器的描述，實(shí)現(xiàn)自定義編解碼器。

②通過(guò)REGISTER＿ENCDEC（X，x）函數(shù)將自定義的視頻編解碼器添加到視頻編解碼器鏈中。在獲取視頻信息時(shí)，保證需要編碼或解碼的視頻能找到視頻編解碼器鏈中自定義的視頻編解碼器。

2 S3C6410處理器視頻編解碼方法

S3C6410視頻編解碼軟件架構(gòu)［4］如圖1所示。底層為操作系統(tǒng)空間，上層為用戶空間，視頻編解碼器通過(guò)驅(qū)動(dòng)和操作系統(tǒng)以設(shè)備文件的形式使用，使用的方法和普通文件一樣，包括文件打開和關(guān)閉、文件讀寫和輸入／輸出控制（ioctl，input／output control）。

圖1 S3C6410視頻編解碼軟件架構(gòu)

具體操作方法如下:

①通過(guò)open函數(shù)打開編解碼器設(shè)備文件；

②使用mmap方法在用戶空間和驅(qū)動(dòng)空間之間映射輸入／輸出緩存空間，這樣做的好處是可以快速進(jìn)行數(shù)據(jù)輸入／輸出；

③通過(guò)ioctl設(shè)備編解碼參數(shù)，初始化編解碼器；

④輸入數(shù)據(jù)，通過(guò)ioctl執(zhí)行編解碼過(guò)程，輸出數(shù)據(jù)；

⑤通過(guò)close方法關(guān)閉編解碼器設(shè)備文件。

值得注意的是，無(wú)論編碼還是解碼，處理的數(shù)據(jù)都是以一幀幀的形式操作的，所以第4步是一個(gè)不斷循環(huán)的過(guò)程，直到所有數(shù)據(jù)處理完成。另外，雖然編解碼器以設(shè)備文件的形式使用，但是它不能使用標(biāo)準(zhǔn)的文件讀寫操作，查看編解碼的設(shè)備驅(qū)動(dòng)可以發(fā)現(xiàn)，其文件讀寫函數(shù)是空的，這一點(diǎn)三星公司的開發(fā)文檔并沒有說(shuō)明。

3 H.264硬件編解碼實(shí)現(xiàn)

FFmpeg的H.264硬件編解碼［5］實(shí)現(xiàn)就是自定義一個(gè)視頻編解碼器，加入到FFmpeg庫(kù)中。這個(gè)視頻編解碼器使用S3C6410處理視頻硬件編解碼功能來(lái)實(shí)現(xiàn)H.264的視頻編碼和解碼過(guò)程，這樣使用FFmpeg庫(kù)的多媒體程序可以用訪問(wèn)FFmpeg其他編解碼器一樣的方法使用這個(gè)自定義的編解碼器。添加自定義編解碼器的關(guān)鍵是根據(jù)FFmpeg中對(duì)編解碼的描述定義編解碼器，并實(shí)現(xiàn)定義中的相關(guān)函數(shù)。

在libavcodec／avcodec.h中的AVCodec結(jié)構(gòu)體是定義FFmpeg編解碼器的關(guān)鍵結(jié)構(gòu)體，包括編解碼器的名字、類型（聲音／視頻）、編解碼器的識(shí)別號(hào)（CodecID）、支持格式和一些用于初始化、編碼、解碼和關(guān)閉的函數(shù)指針。

解碼器的名字為s3cx264，類型為視頻。CodecID為H264，表示這個(gè)解碼器用于H.264視頻編解碼。初始化、編碼、解碼和關(guān)閉函數(shù)指針?lè)謩e指向X264＿init、X264＿frame、X264＿decodec和X264＿close函數(shù)。

添加s3cx264編解碼器到編解器鏈中，關(guān)鍵是通過(guò)修改libavcodec／allcodecs.c文件實(shí)現(xiàn)，修改如下:

這樣，在程序運(yùn)行時(shí)調(diào)用av＿register＿all（void）函數(shù)后，就可以把自定義的編解碼器s3cx264添加到FFmpeg存放在內(nèi)存中的解編碼器鏈中。值得提出的是，對(duì)同一個(gè)視頻格式FFmpeg有多個(gè)編解碼器與之相對(duì)應(yīng)。如H.264格式的視頻，F(xiàn)Fmpeg本身就帶有對(duì)應(yīng)的軟解碼器，現(xiàn)在添加了硬解碼器，為了避免不確定是哪一個(gè)解碼器在執(zhí)行，可以把自定義的硬件編解碼器在注冊(cè)時(shí)放在注冊(cè)過(guò)程的最前面，這樣編解碼器在添加到解編器鏈中時(shí)就會(huì)放在靠前的位置，查找時(shí)就可以優(yōu)于軟件解碼器找到硬解碼器。

把硬件編解碼器s3cx264注冊(cè)到編解碼器鏈后，還要完成X264＿init、X264＿frame、X264＿decodec和X264＿close函數(shù)，編解碼器才能正常工作。以下結(jié)合前面對(duì)S3C6410視頻編解碼過(guò)程的分析，以編碼為例詳細(xì)闡述實(shí)現(xiàn)過(guò)程。

定義X264Context結(jié)構(gòu)體，保存設(shè)備文件描述符、編碼參數(shù)和輸入／輸出地址等信息，用于FFmpeg模塊間數(shù)據(jù)的傳遞:

X264＿init實(shí)現(xiàn)的是編碼器初始化過(guò)程，用于編碼器設(shè)備文件的打開、內(nèi)存空間的映射、編碼參數(shù)設(shè)置和獲取

編解碼數(shù)據(jù)輸入／輸出地址。

static av＿cold int X264＿init（AVCodecContext＊avctx）｛X264Context＊x4＝avctx－＞priv＿data；

／／打開編碼器設(shè)備文件

x4－＞dev＿fd＝open（MFC＿DEV＿NAME，O＿RDWR｜O＿NDELAY）；

／／內(nèi)存空間映射

x4－＞addr＝（uint8＿t＊）mmap（0，BUF＿SIZE，PROT＿READ｜PROT＿WRITE，MAP＿SHARED，x4－＞dev＿fd，0）；

／／編碼參數(shù)設(shè)置

ioctl（x4－＞dev＿fd，S3C＿M(jìn)FC＿IOCTL＿M(jìn)FC＿H264＿ENC＿INIT，＆x4－＞enc＿init）；

／／獲取輸入／輸出地址

ioctl的參數(shù)為S3C＿M(jìn)FC＿IOCTL＿M(jìn)FC＿H264＿ENC＿INIT，表示使用H.264編碼。

X264＿frame函數(shù)執(zhí)行編碼過(guò)程。需要注意的是data參數(shù)保存了需要編碼的數(shù)據(jù)，是一個(gè)四維的數(shù)組，要把它轉(zhuǎn)換成一維數(shù)組用于S3C6410編碼器輸入。另外，編碼數(shù)據(jù)存在空的情況，也就是空幀。這是需要處理的，方法是返回“0”，表示沒有輸出數(shù)據(jù)，否則程序運(yùn)行時(shí)會(huì)出現(xiàn)段錯(cuò)誤。

／／編碼數(shù)據(jù)輸出

X264＿close關(guān)閉函數(shù)用于編碼結(jié)束后的資源釋放，包括取消空間映射和關(guān)閉設(shè)備文件。

解碼函數(shù)的實(shí)現(xiàn)過(guò)程類似于編碼函數(shù)，包括空間轉(zhuǎn)換、執(zhí)行解碼和解碼數(shù)據(jù)輸出。初始化時(shí)使用S3C＿M(jìn)FC＿IOCTL＿M(jìn)FC＿H264＿DEC＿INIT參數(shù)，執(zhí)行時(shí)使用S3C＿M(jìn)FC＿IOCTL＿M(jìn)FC＿H264＿ENC＿EXE參數(shù)。

4 運(yùn)行測(cè)試

s3cx264編解碼器添加到FFmpeg后，可以通過(guò)以下方式測(cè)試:

①用如下命令編譯FFmpeg。

②運(yùn)行.／ffmpeg－codecs查看可以找到s3cx264編解碼器，如圖2所示。

圖2 FFmpeg顯示s3cx264編解碼器信息

③結(jié)合USB攝像頭測(cè)試s3cx264編碼。運(yùn)行.／ffmpeg－s 320x240－r 50－f video4linux2－i／dev／video2－vcodec s3cx264test.mp4可以看到FFmpegg正使用s3cx264編碼器將USB攝像頭采集的數(shù)據(jù)編碼壓縮成test.mp4文件。test.mp4能夠正常播放顯示。

以上測(cè)試說(shuō)明已經(jīng)成功地將s3cx264硬件視頻編碼器添加到了FFmpeg中，能夠編碼視頻數(shù)據(jù)，可以運(yùn)用到其他使用FFmpeg庫(kù)的多媒體程序中。

結(jié) 語(yǔ)

對(duì)于多媒體開發(fā)來(lái)說(shuō)，編解碼時(shí)使用FFmpeg多媒體庫(kù)是一個(gè)不錯(cuò)的選擇，支持較多的音視頻編解碼，編程接口簡(jiǎn)單易用。了解FFmpeg編解碼過(guò)程，熟悉FFmpeg硬件編解碼器添加方法，對(duì)多媒體開發(fā)，尤其是資源有限的嵌入式多媒體開發(fā)有很大幫助。本文通過(guò)分析FFmpeg視頻編解碼過(guò)程和三星S3C6410處理器視頻硬件編解碼方法，在FFmpeg庫(kù)中成功添加S3C6410硬件編解碼器，使FFmpeg庫(kù)具有H.264視頻格式的硬件編解碼能力，可運(yùn)用于游戲設(shè)備、監(jiān)控設(shè)備、視頻會(huì)議設(shè)備和數(shù)字網(wǎng)絡(luò)電視等嵌入式系統(tǒng)中，同時(shí)也為其他嵌入式設(shè)備添加別的視頻格式的編解碼器到FFmpeg多媒體庫(kù)提供了參考。

［1］http:／／www.ffmpeg.org／.

［2］Samsung.S3C6410Datasheet，2010.

［3］李少春.基于FFMPEG的嵌入式視頻監(jiān)控系統(tǒng)［J］.電子技

［4］API Document S3C6400／6410Multi－Format Codec，2008.

［5］FFmpeg codec HOWTO［EB／OL］.2010［2011－01］.http:／／wiki.multimedia.cx／index.php？title＝FFmpeg＿codec＿HOWTO／.