基于Android的MJPEG網(wǎng)絡(luò)攝像機(jī)設(shè)計(jì)

陳家佳，姚俊

（重慶郵電大學(xué) 網(wǎng)絡(luò)控制技術(shù)與智能儀器儀表教育部重點(diǎn)實(shí)驗(yàn)室，重慶 400065）

1 系統(tǒng)硬件組成與網(wǎng)絡(luò)架構(gòu)

攝像機(jī)硬件核心采用三星公司推出的基于ARM9架構(gòu)的S3C2440A芯片，該處理器主頻達(dá)到400MHz可以滿足實(shí)時(shí)壓縮，MJPEG視頻流可以達(dá)到320×240分辨率25fps的性能要求。外圍搭配64MB SDRAM、256MB NAND Flash，網(wǎng)絡(luò)功能由DM9000以太網(wǎng)MAC控制芯片負(fù)責(zé)，攝像頭模塊由USB控制器控制，系統(tǒng)供電由3片LM71117組成，分別輸出3.3V、1.8V、1.25V 電 壓，輔助外圍接口構(gòu)成攝像機(jī)硬件結(jié)構(gòu)。S3C2440A系統(tǒng)硬件框圖如圖1所示。

網(wǎng)絡(luò)攝像機(jī)是互聯(lián)網(wǎng)上的TCP／IP設(shè)備，系統(tǒng)網(wǎng)絡(luò)拓?fù)鋱D如圖2所示。其中在家庭區(qū)域內(nèi)根據(jù)安防的特點(diǎn)在大門走廊、客廳內(nèi)、陽(yáng)臺(tái)區(qū)域分別布置攝像機(jī)，再由網(wǎng)線連接到路由器，配置路由器參數(shù)映射每個(gè)攝像機(jī)獨(dú)立端口與IP地址，即完成Internet接入。遠(yuǎn)端由固定位置的PC機(jī)，移動(dòng)位置的3G筆記本和隨身攜帶的3GAndroid手機(jī)組成，PC機(jī)可以通過(guò)WEB瀏覽器訪問(wèn)與控制網(wǎng)絡(luò)攝像機(jī)，Android手機(jī)通過(guò)客戶端實(shí)現(xiàn)實(shí)時(shí)訪問(wèn)。

圖1 S3C2440A系統(tǒng)硬件框圖

2 系統(tǒng)軟件設(shè)計(jì)

2.1 網(wǎng)絡(luò)攝像機(jī)軟件設(shè)計(jì)

搭建攝像機(jī)需要Linux系統(tǒng)環(huán)境，首先移植Bootloader，對(duì)Linux 2.6.32內(nèi)核進(jìn)行裁剪，加載 Linux UVC（USB video device class）驅(qū)動(dòng)及相關(guān)驅(qū)動(dòng)，將編譯好的Linux系統(tǒng)鏡像燒寫到ARM板Nand Flash中，對(duì)Bootloader設(shè)置啟動(dòng)引導(dǎo)地址，即完成軟件運(yùn)行環(huán)境搭建［2］。

圖2 系統(tǒng)網(wǎng)絡(luò)拓?fù)鋱D

分析網(wǎng)絡(luò)攝像機(jī)性能需求與拓展性，須滿足下列條件：

◆視頻監(jiān)控實(shí)時(shí)性；

◆支持多客戶端同時(shí)連接；

◆圖像識(shí)別算法或預(yù)留接口；

◆功能模塊化滿足后期開(kāi)發(fā)可擴(kuò)展。

因此，采用多線程架構(gòu)與互斥鎖機(jī)制來(lái)保證實(shí)時(shí)性、模塊化的思想設(shè)計(jì)代碼結(jié)構(gòu)。軟件程序主流程如圖3所示。

圖3 軟件程序主流程

其中主要實(shí)現(xiàn)如下功能。

①初始化Linux V4L2接口，必須按照V4L2標(biāo)準(zhǔn)結(jié)構(gòu)初始化結(jié)構(gòu)體，其中包括struct v4l2＿capability cap；struct v4l2＿format fmt；struct v4l2＿buffer buf；struct v4l2＿requestbuffers rb；struct v4l2＿streamparm setfps。此外將視頻設(shè)備名、視頻寬度、視頻高度、幀率、視頻格式和抓取方法傳遞給函數(shù)init＿videoIn（struct vdIn＊vd，char＊device，int width，int height，int fps，int format，int grabmethod）實(shí)現(xiàn)初始化。值得注意的是眾多USB camera并不支持JPEG格式視頻流直接抓取，針對(duì)YUYV格式抓取卻有廣泛支持。后期進(jìn)行圖像識(shí)別算法操作時(shí)直接分析YUYV原始圖像數(shù)據(jù)，將節(jié)省JPEG壓縮數(shù)據(jù)轉(zhuǎn)換為原始圖像數(shù)據(jù)的大量運(yùn)算開(kāi)銷，因此采用YUYV抓取模式。

②創(chuàng)建核心圖像處理線程。在該線程內(nèi)實(shí)現(xiàn)：抓取功能。

◆UVC設(shè)備單幀抓取，uvcGrab（struct vdIn＊vd）函數(shù)實(shí)現(xiàn)單幀YUYV格式的原始圖像拷貝到內(nèi)存，采用高效的mmap內(nèi)存映射方法讀?。?/p>

◆JPEG核心算法實(shí)現(xiàn)，JPEG壓縮算法占用大量CPU時(shí)間，下一小節(jié)將詳細(xì)討論。

③創(chuàng)建套接字接口。為實(shí)現(xiàn)多用戶同時(shí)連接網(wǎng)絡(luò)攝像機(jī)，必須采用socket服務(wù)線程，每當(dāng)有新用戶連接同時(shí)產(chǎn)生一個(gè)新線程與之對(duì)應(yīng)，實(shí)現(xiàn)多用戶端同步監(jiān)控。

④搭建基于Web瀏覽器訪問(wèn)方式的web主頁(yè)。嵌入式設(shè)備資源有限，輕量級(jí)的 Web Server主要有：Boa、Httpd、Thttpd等。本設(shè)計(jì)選用開(kāi)源的Boa、交叉編譯Boa源碼配置boa.conf文件，配置系統(tǒng)etc自啟動(dòng)shell加入Boa程序，將編寫HTML頁(yè)面文件放入系統(tǒng)中對(duì)應(yīng)的www目錄后即可正常工作。

2.2 MJPEG壓縮算法研究與實(shí)現(xiàn)

MJPEG（Motion Joint Photographic Experts Group）視頻編碼格式，把運(yùn)動(dòng)的視頻序列作為連續(xù)的靜止圖像來(lái)處理，這種壓縮方式單獨(dú)完整地壓縮每一幀，編輯過(guò)程中可隨機(jī)存儲(chǔ)每一幀，可進(jìn)行精確到幀的編輯。MJPEG單幀壓縮算法為JPEG（Joint Photographic Experts Group）。人眼視覺(jué)生理特性決定眼睛對(duì)構(gòu)成圖像的不同頻率成分具有不同的敏感度。JPEG壓縮是有損壓縮［3］，但損失的部分是人類視覺(jué)不容易察覺(jué)到的部分，利用眼睛對(duì)色彩域中的高頻信息部分不敏感的特點(diǎn)，節(jié)省大量需要處理的數(shù)據(jù)信息。一幀原始圖像數(shù)據(jù)對(duì)其進(jìn)行JPEG算法編碼過(guò)程分兩大部分：

①空間冗余度，去除視覺(jué)上的多余信息；

②結(jié)構(gòu)（靜態(tài)）冗余度，去除數(shù)據(jù)本身的多余信息。

JPEG編碼中主要涉及包括：DCT、zigzag編碼、量化、RLE編碼、范式 Huffman編碼、DC（直流分量）的編碼。JPEG編碼流程如圖4所示。

圖4 JPEG編碼流程

DCT（Discrete Cosine Transform）變換，又稱離散余弦變換是可逆的、離散的正交變換。它將原始圖像色彩空間域轉(zhuǎn)換為頻譜域。由于相鄰兩點(diǎn)像素色彩很多是接近的，壓縮這些不需要的數(shù)據(jù)必須利用圖像信號(hào)的頻譜特性。JPEG壓縮原理的理論依據(jù)是圖像信號(hào)頻譜線大都分布在0～6MHz范圍內(nèi)，而且一幅圖像內(nèi)大多數(shù)為低頻頻譜線，而高頻的譜線只占圖像比例很低的圖像邊緣或者細(xì)微紋理細(xì)節(jié)的信號(hào)時(shí)才出現(xiàn)。根據(jù)這一特性，在做數(shù)字圖像處理時(shí)對(duì)包含信息量大的低頻譜區(qū)域分配較多的比特?cái)?shù)，相反的對(duì)于包含信息量低的高頻譜區(qū)域分配較少的比特?cái)?shù)，達(dá)到圖像壓縮的目的，而圖像質(zhì)量并沒(méi)有肉眼可察覺(jué)的降低。除了DCT變換，常用的變化算法還有：Walsh－Hadamard沃爾什哈達(dá)瑪變換、哈爾變換、傅氏變換等。

DCT變換公式為：

其中當(dāng)u＝v＝0時(shí)，C（u）＝（2）－1／2，C（v）＝（2）－1／2；當(dāng)u＝v≠0時(shí)C（u）＝1，C（v）＝1。f（i，j）經(jīng)過(guò) DCT變換之后，F(xiàn)（0，0）是直流系數(shù)，其他參數(shù)時(shí)為交流系數(shù)。經(jīng)過(guò)DCT變換后一幅圖像的DCT系數(shù)塊集中在8×8矩陣的左上方，這里直流DC系數(shù)幅度最大，這一矩陣區(qū)域集中了圖像的大部分低頻頻譜分量，離矩陣左上角越遠(yuǎn)的高頻頻譜幾乎不含圖像信息。變換過(guò)程本身雖然并不產(chǎn)生壓縮作用，但是變換后的頻率系數(shù)卻非常有利于碼率壓縮。

量化是對(duì)DCT系數(shù)的一個(gè)優(yōu)化過(guò)程，利用了肉眼的高頻不敏感特性對(duì)數(shù)據(jù)進(jìn)行大幅壓縮。整個(gè)過(guò)程是簡(jiǎn)易的把頻率域的每個(gè)成份除以對(duì)應(yīng)的常數(shù)，并對(duì)結(jié)果四舍五入取整，整個(gè)流程的目的是減少非零的系數(shù)以及增加零值系數(shù)數(shù)目。量化是有損運(yùn)算，是圖像質(zhì)量下降的主要因素。對(duì)于人眼對(duì)亮度與色差的敏感性不一致，分別使用亮度量化表與色度量化表。對(duì)量化后的數(shù)據(jù)采用zigzag蛇形編碼，這是因?yàn)榻涣鞣至恐泻写罅康牧阒担瑉igzag編碼可以產(chǎn)生更多連續(xù)的零值，對(duì)下一步使用行程編碼非常有利。

行程編碼（Run Length Coding）是一種根據(jù)相同數(shù)據(jù)連續(xù)重復(fù)多次的情況簡(jiǎn)化表示的算法。例如，5555333333999按照行程編碼表示為（5，4）（3，6）（9，3）可以對(duì)數(shù)據(jù)，尤其是大量的零值壓縮數(shù)據(jù)長(zhǎng)度。

編碼后的數(shù)據(jù)還須通過(guò)Huffman編碼來(lái)壓縮，Huffman編碼的最大特點(diǎn)是使出現(xiàn)頻率較高的數(shù)字小于8位，而出現(xiàn)頻率低的數(shù)字大于8位，這使得數(shù)據(jù)大幅壓縮。

到此數(shù)據(jù)的壓縮過(guò)程結(jié)束，對(duì)壓縮后的數(shù)據(jù)按照J(rèn)PEG文件格式要求進(jìn)行保存，加上文件開(kāi)始標(biāo)記Start Of Image＝FFD8，文件結(jié)束標(biāo)記End Of Image＝FFD9，量化表標(biāo)記Define Quantization Table＝FFDB，霍夫曼編碼表標(biāo)記Ddfine Huffman Table＝FFC4，幀開(kāi)始標(biāo)記Start Of Frame＝FFC0等標(biāo)記，再加上圖片識(shí)別信息字節(jié)標(biāo)記就最終形成完整的可用于傳輸或存儲(chǔ)的JPEG幀圖像，通過(guò)套接字接口不間斷地發(fā)送JPEG圖像即形成MJPEG視頻流。

為提高CPU效率，減少進(jìn)程間切換產(chǎn)生的開(kāi)銷，將壓縮算法函數(shù)集成到單一線程里。JPEG核心壓縮編碼函數(shù)MCUcode實(shí)現(xiàn)如下：

其中Y1、Y2、Y3、Y4對(duì)應(yīng)水平排列的4像素亮度值，CB、CR是水平排列以2像素為1單位像素的色度值。

3 Android客戶端設(shè)計(jì)

Android是Google公司推出的針對(duì)移動(dòng)設(shè)備的操作系統(tǒng)，底層采用Linux內(nèi)核，應(yīng)用程序采用類Java語(yǔ)言編寫，并運(yùn)行于類JVM虛擬機(jī)的Dalvik虛擬機(jī)之上。該系統(tǒng)具有開(kāi)放源碼免費(fèi)授權(quán)的優(yōu)勢(shì)，功能完善和成熟，已獲得廠商的廣泛支持和大量市場(chǎng)份額。eclipse IDE開(kāi)發(fā)環(huán)境友善，因此選用Android系統(tǒng)作為物聯(lián)網(wǎng)攝像機(jī)客戶端開(kāi)發(fā)平臺(tái)。

Android程序一般由多個(gè) Activity、Intent、Content Provider、Service等 程 序 框 架 組 成［4］，其 中 最 基 礎(chǔ) 的 是Activity活動(dòng)類，該類相當(dāng)于軟件運(yùn)行時(shí)的一個(gè)頁(yè)面，在頁(yè)面之上可添加各種控件，如button按鍵、ImageView圖片、Text boxes、Lists列表等。除此以外還負(fù)責(zé)監(jiān)聽(tīng)系統(tǒng)事件，負(fù)責(zé)啟動(dòng)其他的Activity類。在多個(gè)Activity類之間跳轉(zhuǎn)就需要用到Intent類，Intent類有兩個(gè)重要部分：動(dòng)作和動(dòng)作對(duì)應(yīng)的數(shù)據(jù)。常用的動(dòng)作有 MAIN、VIEW、PICK、EDIT等，動(dòng)作數(shù)據(jù)則以 URI形式表示。通過(guò)Intent類還能傳遞參數(shù)，作用類似鏈條串起Activity類，Activity類跳轉(zhuǎn)圖如圖5所示。

圖5 Activity類跳轉(zhuǎn)圖

解析視頻流須先由網(wǎng)絡(luò)獲取數(shù)據(jù)流，實(shí)現(xiàn)的方法代碼如下：

對(duì)已獲取的數(shù)據(jù)流按照J(rèn)PEG標(biāo)準(zhǔn)文件頭分段，實(shí)現(xiàn)的方法代碼如下：

需要注意的是，在AndroidManifest.xml文件中需加上 ＜uses－permission android：name＝"android.permission.INTERNET"＞＜／uses－permission＞語(yǔ)句，表示程序擁有網(wǎng)絡(luò)的完整訪問(wèn)權(quán)限。獲取每幀數(shù)據(jù)后繼承Android SDK中提供的view.SurfaceView類與graphics.Canvas類，將收到的完整幀圖像按隊(duì)列順序不間斷地顯示在視窗框架類中，對(duì)人眼視覺(jué)幀率超過(guò)5fps時(shí)即有視頻效果，到25fps即是電影流暢度。對(duì)于定點(diǎn)定位監(jiān)控，經(jīng)過(guò)測(cè)試出于節(jié)省帶寬費(fèi)用考慮設(shè)定5fps即能滿足基本需求，10fps是較為合理參數(shù)。將編譯后應(yīng)用程序安裝到手機(jī)中，Android實(shí)時(shí)監(jiān)控截圖如圖6所示。

圖6 Android實(shí)時(shí)監(jiān)控截圖

結(jié) 語(yǔ)

本文描述了網(wǎng)絡(luò)攝像機(jī)的軟件設(shè)計(jì)與MJPEG算法原理，結(jié)合Android移動(dòng)技術(shù)，開(kāi)發(fā)了整套系統(tǒng)；并實(shí)際應(yīng)用于驗(yàn)證系統(tǒng)，取得了良好結(jié)果。期望在后續(xù)工作中涉足圖像識(shí)別算法、物體追蹤算法、人體行為偵測(cè)算法等圖像領(lǐng)域，使網(wǎng)絡(luò)攝像機(jī)變得更智能。

［1］龔曉飛.嵌入式Linux系統(tǒng)下的視頻服務(wù)器設(shè)計(jì)［J］.電子測(cè)量技術(shù)，2010（4）：33－4.

［2］Neil Matthew，Richard Stones.Linux程序設(shè)計(jì)［M］.陳健，宋健健，譯.4版.北京：人民郵電出版社，2010.

［3］余濤.JPEG原理詳細(xì)實(shí)例分析在嵌入式Linux中的應(yīng)用［EB／OL］.［2008－09］.http：／／www.ibm.com／developerworks／cn／linux／l－cn－jpeg／index.html.

［4］楊豐盛.Android應(yīng)用開(kāi)發(fā)解密［M］.北京：機(jī)械工業(yè)出版社，2010.