一種基于ARM的嵌入式圖像處理系統(tǒng)研究

陸旭　梁光明　陳韻迪

摘要：隨著嵌入式技術(shù)的發(fā)展，嵌入式圖像處理得到了越來(lái)越廣泛的應(yīng)用。該研究主要設(shè)計(jì)出一種通用圖像處理系統(tǒng)，能對(duì)采集的圖像做各種處理，滿(mǎn)足大部分圖像處理要求。以ARM Cortex—A8處理器（S5PV210）為核心搭建硬件平臺(tái)，以嵌入式Linux系統(tǒng)構(gòu)建軟件開(kāi)發(fā)環(huán)境[1]，設(shè)計(jì)基于V4L2接口的視頻圖像采集程序，然后對(duì)圖像進(jìn)行保存和處理。該系統(tǒng)能實(shí)時(shí)、高速處理圖像數(shù)據(jù)，可用于各領(lǐng)域的嵌入式圖像處理。

關(guān)鍵詞：Linux硬件平臺(tái)軟件平臺(tái)V4L2圖像采集圖像處理

中圖分類(lèi)號(hào)：TP394.41 文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1007-9416（2016）06-0000-00

1 引言

嵌入式圖像處理在軍事領(lǐng)域、自動(dòng)化生產(chǎn)、航天航空、通信領(lǐng)域、電子醫(yī)療、工農(nóng)業(yè)生產(chǎn) 、公共安全等領(lǐng)域得到了越來(lái)越廣泛的應(yīng)用。嵌入式圖像處理技術(shù)與傳統(tǒng)的PC機(jī)圖像處理技術(shù)相比，其最為顯著的優(yōu)點(diǎn)是嵌入式系統(tǒng)具有體積小、功耗低、成本低、性能高、速度快等。 基于ARM的嵌入式圖像處理系統(tǒng)的實(shí)現(xiàn)，體現(xiàn)出了其穩(wěn)定性好、 易于開(kāi)發(fā)維護(hù)、通用性強(qiáng)、成本低等特點(diǎn)。嵌入式系統(tǒng)的強(qiáng)大的兼容性，模塊化設(shè)計(jì)，使其開(kāi)發(fā)的時(shí)間短，易于維護(hù)，嵌入式圖像處理系統(tǒng)的小巧性，使其配置拆裝靈活，設(shè)計(jì)出實(shí)時(shí)的，能夠高速處理圖像數(shù)據(jù)的嵌入式通用圖像處理系統(tǒng)是十分有研究意義的[2]。本研究設(shè)計(jì)的通用圖像處理系統(tǒng)能實(shí)現(xiàn)圖像采集、顯示、保存、關(guān)閉，并能對(duì)圖像預(yù)處理，如，圖像灰度化、二值化、腐蝕、膨脹、銳化、直方圖均衡化、平滑、邊緣檢測(cè)等。

2 系統(tǒng)硬件平臺(tái)的搭建

如圖1所示，本系統(tǒng)通過(guò)攝像頭進(jìn)行圖像采集，并將采集數(shù)據(jù)送至ARM處理器進(jìn)行圖像處理，配載512M的DDR2作為系統(tǒng)內(nèi)存和512M的Nand Flash為系統(tǒng)存儲(chǔ)器以?huà)燧d嵌入式Linux操作系統(tǒng)和運(yùn)行圖形用戶(hù)應(yīng)用程序，期間通過(guò)LCD顯示屏將采集圖像及處理過(guò)程實(shí)時(shí)顯示給用戶(hù)，并可以通過(guò)觸摸屏進(jìn)行人機(jī)交互，處理結(jié)果既可以保存于掉電數(shù)據(jù)不丟失的Flash存儲(chǔ)器中，也可以利用USB接口或SD卡接口將圖像存儲(chǔ)于U盤(pán)和SD卡中，以備后續(xù)查詢(xún)和操作。為了調(diào)試程序、燒寫(xiě)系統(tǒng)以及與PC機(jī)的通信，保留了USB接口、USB轉(zhuǎn)串口和網(wǎng)線(xiàn)接口以連接到上位PC機(jī)，最后加入電源管理，組成了整個(gè)硬件開(kāi)發(fā)平臺(tái)[3]。

本系統(tǒng)選用三星公司生產(chǎn)的S5PV210微處理器，運(yùn)行最大頻率可達(dá) 1GHz，處理器內(nèi)部為64/32位總線(xiàn)結(jié)構(gòu)，32/32KB一級(jí)緩存，512KB二級(jí)緩存。它在圖像處理方面有獨(dú)特的優(yōu)勢(shì)：S5PV210的視頻編碼支持MPEG-4/H.263/H.264等格式，解碼支持MPEG2/VC1/Xvid等格式，支持高清 HDMI TV 輸出；內(nèi)嵌了圖形加速引擎（SGX540），對(duì)圖像處理提供強(qiáng)大的硬件加速支持。本系統(tǒng)選用的攝像頭是最高分辨率為640×480的彩色USB攝像頭，其傳感器為CMOS，最大幀數(shù)為30幀/S.系統(tǒng)選用的顯示器是最大分辨率為800×480的彩色液晶電容屏。攝像頭通過(guò)ARM外擴(kuò)的USB接口與系統(tǒng)連接，液晶屏通過(guò)薄膜線(xiàn)與ARM外擴(kuò)的薄膜線(xiàn)卡槽相連進(jìn)行數(shù)據(jù)傳送[1]。

3 系統(tǒng)軟件平臺(tái)的設(shè)計(jì)

嵌入式軟件設(shè)計(jì)包括嵌入式操作系統(tǒng)和圖形用戶(hù)應(yīng)用程序，在設(shè)計(jì)視頻圖像采集程序之前，應(yīng)預(yù)先移植嵌入式操作系統(tǒng)。本研究搭建的是Linux嵌入式操作系統(tǒng)環(huán)境。通過(guò)使用arm-linux-gcc建立交叉編譯環(huán)境、移植Bootloader、移植Linux內(nèi)核、制作根文件系統(tǒng)等步驟，完成ARM平臺(tái)上嵌入式Linux系統(tǒng)的搭建[1]。然后在PC上基于Qt編寫(xiě)ARM平臺(tái)下的圖形用戶(hù)應(yīng)用程序，實(shí)現(xiàn)的主要內(nèi)容包括：人機(jī)交互界面的編寫(xiě)，提供友好的人機(jī)交互平臺(tái)，方便用戶(hù)操作；圖像的采集、顯示、保存和關(guān)閉功能；編寫(xiě)圖像處理算法對(duì)采集的圖像進(jìn)行去噪、灰度化、二值化、銳化、邊緣檢測(cè)等處理。圖2是軟件平臺(tái)結(jié)構(gòu)：

3.1 視頻圖像采集程序的設(shè)計(jì)

本視頻圖像采集程序是基于Video 4 Linux 2（V4L2）接口進(jìn)行設(shè)計(jì)的。V4L2是V4L的改進(jìn)版。V4L2是 Linux系統(tǒng)中關(guān)于視頻設(shè)備的內(nèi)核驅(qū)動(dòng)，其主要用來(lái)圖片、視頻、音頻等信息的采集。目前 V4L2被廣泛應(yīng)用于遠(yuǎn)程會(huì)議、可視電話(huà)、視頻監(jiān)控以及其他多種嵌入式多媒體終端。在 Linux 系統(tǒng)下，所有的外設(shè)都被當(dāng)作一種文件，即“設(shè)備文件”，USB 攝像頭也一樣。V4L2 提供了一系列的接口函數(shù)，用于TV卡、視頻捕捉卡和USB攝像頭等視頻設(shè)備的應(yīng)用編程[4]。V4L2為USB攝像頭提供了基本的I/O操作函數(shù)open、read、write、close，并把這些函數(shù)定義在 file_operations 結(jié)構(gòu)體中。本系統(tǒng)采集視頻圖像程序的流程如圖3。

通常來(lái)說(shuō)，應(yīng)用程序和設(shè)備有3種交換數(shù)據(jù)的方法，直接read/write、用戶(hù)指針和內(nèi)存映射三種。很多設(shè)備帶有自己的數(shù)據(jù)緩沖區(qū)，或者驅(qū)動(dòng)本身在內(nèi)核空間中維護(hù)一片內(nèi)存區(qū)域，為了讓用戶(hù)空間程序安全的訪問(wèn)，內(nèi)核往往要從設(shè)備內(nèi)存或者內(nèi)核空間內(nèi)存復(fù)制數(shù)據(jù)到用戶(hù)空間，從而便多了復(fù)制內(nèi)存數(shù)據(jù)這一環(huán)節(jié)，增加了系統(tǒng)處理時(shí)間。本設(shè)計(jì)采用內(nèi)存映射的方法，用mmap函數(shù)把在內(nèi)存空間中獲取的視頻幀映射到用戶(hù)空間。應(yīng)用程序在調(diào)用緩存數(shù)據(jù)時(shí)，緩存符合先進(jìn)先出的模式。采集圖像時(shí)，利用兩幀圖像的緩存，一幀圖像緩存存完后發(fā)送出去，將第二幀圖像覆蓋前一幀，交替使用，從而實(shí)現(xiàn)了視頻圖像的實(shí)時(shí)采集。

3.2 圖像預(yù)處理

圖像預(yù)處理是指對(duì)原始圖像進(jìn)行修復(fù)、增強(qiáng)、二值化、色彩空間轉(zhuǎn)換等操作，以便于執(zhí)行后續(xù)的處理。當(dāng)前預(yù)處理相關(guān)的主要方法有：圖像去噪、圖像銳化和邊緣檢測(cè)等。

3.2.1 圖像灰度化

考慮到彩色的圖像的數(shù)據(jù)量較大，而灰度圖像的數(shù)據(jù)量較小但圖像的邊緣、形狀等特征依然存在，為了在不影響后續(xù)的圖像處理的要求下，減小系統(tǒng)的數(shù)據(jù)處理量、增加系統(tǒng)的

處理速度，本設(shè)計(jì)中，把ARM平臺(tái)采集的彩色的視頻圖像通過(guò)灰度化處理將其變成灰度圖像[5]。

3.2.3圖像去噪

本系統(tǒng)圖像噪聲的來(lái)源有三個(gè)方面 ：1）光電、電磁轉(zhuǎn)換過(guò)程中引入的噪聲；2）CMOS圖像傳感器單像素模數(shù)轉(zhuǎn)換的誤差和采集圖像的不穩(wěn)定性；3）由物理量的不連續(xù)性引起的自然起伏性噪聲。本系統(tǒng)的圖像平滑采用鄰域平均法對(duì)原始圖像中的噪聲進(jìn)行消除。

鄰域平均法是一種簡(jiǎn)單的空域平滑濾波技術(shù) ，可以看作是平滑線(xiàn)性濾波器即均值濾波，設(shè)有一幅 的原始圖像 ， 經(jīng)過(guò)鄰域平均法處理后的圖像為 ，如公式（3）所示。

使用鄰域平均法對(duì)圖像去噪后會(huì)使圖像略微模糊，但圖像變得更加平滑。去噪后的圖像如上圖5（b）所示。

3.2.4圖像銳化

圖像銳化就是補(bǔ)償圖像的輪廓，直接圖像的邊緣及灰度跳變的部分，使圖像變得清晰，圖像平滑往往使圖像中的邊界、輪廓變得模糊，經(jīng)過(guò)圖像銳化處理，圖像的邊緣、輪廓線(xiàn)以及圖像的細(xì)節(jié)會(huì)變得清晰[6]。本設(shè)計(jì)設(shè)置一個(gè)閥值 ，像素的RGB分量梯度大于 ，則像素的RGB分量加上某一個(gè)值a，若加上a后像素的RGB分量大于255，則RGB分量取為255。

3.2.5邊緣提取

圖像邊緣信息是圖像識(shí)別中提取圖像特征的一個(gè)重要屬性，通過(guò)對(duì)目標(biāo)邊緣的檢測(cè)來(lái)實(shí)現(xiàn)將目標(biāo)圖像與背景的分割。邊緣的兩側(cè)分屬于不同的區(qū)域，邊緣的像素的灰度，與周?chē)南袼囟加幸粋€(gè)階躍變化。邊緣檢測(cè)的方法有很多，比如 Sobel 算子，Robert 算子，Canny 算子，都能夠檢測(cè)到圖像的邊緣。一般對(duì)圖像進(jìn)行邊緣檢測(cè)之前要將圖像灰度化，本設(shè)計(jì)采用Sobel算子直接對(duì)原始彩色圖像進(jìn)行邊緣提取。設(shè)有一幅 的原始圖像 ， 與Sobel算子進(jìn)行卷積處理后的圖像為 ，公式如下。

4 結(jié)語(yǔ)

本研究設(shè)計(jì)了以S5PV210為核心的嵌入式圖像處理系統(tǒng)，首先搭建系統(tǒng)的硬件平臺(tái)與軟件平臺(tái)，然后在Qt上編寫(xiě)基于Video 4 Linux 2（V4L2） 視頻圖像采集與處理程序，對(duì)采集到的圖像做各種處理，并對(duì)一些圖像處理算法做了改進(jìn)。實(shí)現(xiàn)結(jié)果驗(yàn)證了該系統(tǒng)的可靠性，該系統(tǒng)能實(shí)時(shí)、高速處理圖像數(shù)據(jù)。本研究設(shè)計(jì)的基于ARM的嵌入式圖像處理系統(tǒng)可用于各領(lǐng)域的圖像處理，并對(duì)研究手持式、便攜式的圖像處理具有很大的參考價(jià)值。

參考文獻(xiàn)

[1]邱文勝，牛麗，蘇秉華，王源圓.基于ARM的嵌入式超分辨率復(fù)原系統(tǒng)設(shè)計(jì)[J].深圳大學(xué)學(xué)報(bào)（理工版），2015（3）：311-316.

[2]王學(xué)賓.于ARM的嵌入式圖像處理技術(shù)的研究[D].河北工業(yè)大學(xué)，2012.

[3]吳健.基于ARM的嵌入式USB圖像采集與處理系統(tǒng)[D].合肥工業(yè)大學(xué)，2012.

[4]張歡歡.基于嵌入式圖像處理的儀表智能識(shí)別技術(shù)研究[D].浙江理工大學(xué)，2015.

[5]謝浪平.基于ARM的視頻圖像采集與處理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].湖南大學(xué)，2014.

[6]張濱.昆蟲(chóng)翅膀圖像分類(lèi)算法的設(shè)計(jì)與實(shí)現(xiàn)[D].北京郵電大學(xué)，2010.