嵌入式ARM MPcore平臺JPEG并行編碼的研究

廖醒宇，余水來

(長春理工大學 電子信息工程學院，長春 130022)

?

嵌入式ARM MPcore平臺JPEG并行編碼的研究

廖醒宇，余水來

(長春理工大學 電子信息工程學院，長春 130022)

針對JPEG編碼這一典型應用，結合ARM同構多核架構特點，基于JFIF數(shù)據(jù)交換格式語法層可并行化特點提出一種JPEG并行編碼策略。實驗結果表明，該方法可以顯著提升JPEG編碼效率，適用于大分辨率及實時性要求較高的圖像壓縮應用，同時為視頻的并行編碼提供了參考。

嵌入式平臺；ARM MPcore；JPEG編碼；Exynos-4412

引　言

在嵌入式平臺上實現(xiàn)JPEG圖像編碼，按不同的處理芯片可大體包括： FPGA實現(xiàn)[1]、DSP實現(xiàn)[2]、ARM實現(xiàn)[3]。其中FPGA方案雖然速度較快，但功能單一，DSP處理器雖然具備強大數(shù)字運算能力，但對系統(tǒng)的控制能力遠不如ARM處理器[4]。與此同時，按處理器內核數(shù)劃分又可分為單核實現(xiàn)和多核實現(xiàn)。相比單核DSP與FPGA方式，采用單核ARM方案在一些實時性要求高的場合往往達不到壓縮速率的要求。另外，在嵌入式多核處理器平臺上實現(xiàn)JPEG編碼算法,目前比較多的方法是采用異構多核架構，即ARM核加DSP核。

在這種結構中，ARM處理器主要負責圖像數(shù)據(jù)讀取、預處理以及調度，而DSP主要負責大量數(shù)據(jù)運算[5]。這種設計方式，雖然在一定程度上可以提高系統(tǒng)性能，但是成本高，并且沒有實現(xiàn)真正意義上的并行處理，造成了硬件資源的極大浪費[6]。為此，本文針對ARM MPcore同構多核架構，利用JFIF數(shù)據(jù)交換格式語法規(guī)范可并行化特點，提出一種JPEG并行編碼策略，以提高編碼效率，滿足更高的實時性要求。

1　ARM MPcore同構多核處理器

ARM系列處理器自ARM11起引入了MPcore(Multi-Processor core)架構，隨后的Cortex系列(如A8、A9、A15等)都支持該多核架構。MPcore架構作為一種典型的對稱同構多核架構，每個核心都有相同大小的、私有的、由數(shù)據(jù)緩存和指令緩存構成的一級緩存(L1 Cache)，同時多個處理器通過窺探控制單元(Snoop Control Unit)在一個共享的二級緩存(L2 Cache)上進行核間通信。其主要結構示意圖如圖1所示。

圖1　ARM MPcore處理器結構示意圖

由于所有處理器采用相同的硬件結構，因此其訪問內存空間的權利相同，并且任意進程或線程均可以運行在不同內核上，使得程序的并行化處理成為可能[7]。

2　JPEG并行編碼原理與實現(xiàn)

2.1JPEG壓縮編碼原理簡介

JPEG編碼標準主要用于靜態(tài)連續(xù)灰度或彩色圖像的壓縮處理。為了適應不同應用場合要求，其編碼處理有基線順序編碼DCT、累進編碼、無損編碼及層次編碼4種操作模式[8]。對于嵌入式系統(tǒng)而言，在考慮運算量和資源占用的條件下，多采用最基本的基線順序編碼模式，該模式主要流程如圖2所示。

圖2　基于DCT編碼的簡化流程圖

基線順序編碼過程主要由顏色空間轉換及采樣(圖2中未給出)、正向DCT、量化、熵編碼4部分組成。由于JPEG文件采用的顏色空間為YCbCr，而大多數(shù)圖像采集設備及顯示設備使用的為RGB顏色空間，為此在編碼前需要進行顏色空間轉換。同時，由于人眼對圖像亮度分量(Y)的敏感度遠大于色度分量(Cb/Cr)，為此在進行圖像壓縮時，可對兩種顏色分量采用不同采樣因子進行采樣，如每個像素點采樣一個亮度分量值，而每4個像素點只取一個色度分量值，這樣在提高壓縮率的同時也能有效減少計算量。顏色空間轉換后，將每個分量的采樣值首先進行8×8分塊處理，這些子數(shù)據(jù)塊又稱數(shù)據(jù)單元，然后再將各數(shù)據(jù)單元中的采樣值減去128進行平移以作為二維FDCT(Forward Discrete Cosine Transform，正向離散余弦變換)的有效輸入。

對于一個8×8數(shù)據(jù)單元，經FDCT變換后，能量主要集中在左上角幾個系數(shù)中，其中(0,0)處系數(shù)稱為DC系數(shù)，而其他63個系數(shù)稱為AC系數(shù)。為了實現(xiàn)更大程度壓縮，在FDCT之后，需要進行量化操作。量化是有損壓縮中圖像質量損失的主要原因，其主要通過對每個數(shù)據(jù)單元中的DC系數(shù)和AC系數(shù)進行不同比例的壓縮，從而達到更大程度保留低頻分量、消除高頻分量的目的。量化后的每個數(shù)據(jù)單元中，除左上角幾個系數(shù)外，大多數(shù)AC系數(shù)變?yōu)?。為了增加連續(xù)0的數(shù)目，量化后的每個數(shù)據(jù)單元中的系數(shù)需要進行Zig-Zag之字形重排，使得頻率較低的系數(shù)在前，頻率較高系數(shù)(大多為0)在后。隨后對每個數(shù)據(jù)單元中的DC系數(shù)和AC系數(shù)分別進行DPCM(Differential Pulse Code Modulation，差分脈沖編碼調制)編碼及行程長度(Run Length)編碼獲得其中間格式，最后通過Huffman編碼將這些中間格式編碼成最終的JPEG碼流。

2.2并行編碼原理

JPEG壓縮標準中給出了3種壓縮的數(shù)據(jù)格式：交換格式(JFIF)、圖像數(shù)據(jù)縮略格式、表規(guī)范縮略格式。為了不失一般性，本文僅討論交換格式。標準的JFIF數(shù)據(jù)交換格式通常為參數(shù)、標記以及熵編碼后的數(shù)據(jù)段按一定次序組成的集合，其語法格式如圖3所示。

圖3　JFIF數(shù)據(jù)交換格式圖

由圖3可知，JFIF壓縮數(shù)據(jù)格式以一個SOI(Start Of Image)標記開始，包含一個幀(Frame)，并以一個EOI(End Of Image)標記表示結束。其中一個幀由表指標數(shù)據(jù)、幀頭(Frame header)及若干掃描段(對于基線順序編碼模式，有且僅有一個掃描段)組成。而每個掃描段又由表指標數(shù)據(jù)、掃描頭(Scan header)、熵編碼段(ECS)、重啟標記(RST)組成。而熵編碼段則由若干個經熵編碼后獲得的最小編碼單元(MCU)的順序序列組成。所謂最小編碼單元，則根據(jù)采樣因子的不同，由若干個數(shù)據(jù)單元組成。綜上可知，JFIF是一種嵌套的數(shù)據(jù)格式。

需要指出的是，掃描段中的重啟標記RST必須與定義的重啟間隔(DRI)標記段(圖中屬于misc段)成對出現(xiàn)。也就是說，若JFIF格式中不存在DRI標記段，則Scan中的ECS段是連續(xù)的(未插入RSTm)；若JFIF格式中存在DRI標記段，則需要在Scan中除最后一個ECS段外，每隔一定數(shù)目的MCU需要插入RSTm標記。MCU重啟間隔的數(shù)目在DRI標記段中定義，而RSTm標記中m的值在0～7 之間進行周期循環(huán)。如2.1節(jié)所述，基線順序編碼模式是以數(shù)據(jù)單元為單位依次進行FDCT、量化、Zig-Zag排序、DC系數(shù)差分預測編碼、AC系數(shù)行程長度編碼、中間格式Huffman編碼。其中由于DC系數(shù)采用的是差分預測編碼，所以對同一個顏色分量來說，除首個數(shù)據(jù)單元外，后一個數(shù)據(jù)單元中編碼的DC系數(shù)實際上是該DC系數(shù)與前一個數(shù)據(jù)單元中DC系數(shù)的差值。而DRI標記段的作用就是定義每隔多少個MCU重新定義新的“首個數(shù)據(jù)單元”，并在最后一個MCU右邊插入一個RSTm，以便解碼時知道在該處之后需要重新進行差分解碼。

為此，在對圖像進行編碼時，可將圖像數(shù)據(jù)進行按行或按列分割成若干份進行并行編碼，再將各編碼為JFIF格式的子圖的公共數(shù)據(jù)部分及熵編碼段數(shù)據(jù)提取，并在兩子圖熵編碼段間插入RST重啟標記，最后添加DRI標記段并修改各標記段中一些參數(shù)信息，即可獲得一張完整的符合JFIF語法規(guī)范的編碼圖像。這種間隔重啟功能擺脫了各子圖數(shù)據(jù)間的耦合性，不僅編碼后的圖像可被標準解碼器解碼，同時由于JFIF格式中采用由一個X’FF字節(jié)與一個非0或X’FF字節(jié)組成的2字節(jié)代碼來表示各個標記,為此在合并提取公共數(shù)據(jù)或熵編碼段數(shù)據(jù)時，無需進行解碼操作，只需找到相應標記，便可直接進行數(shù)據(jù)提取操作。這些查找、提取操作花費的時間遠遠小于編碼時間，故采用分割-融合的方式在多核架構平臺上進行并行編碼以大大提高編碼速度。

還有觀點認為侵犯的客體是公司、企業(yè)人員職務行為的廉潔性。筆者認為該觀點不可取。商業(yè)賄賂犯罪應當區(qū)別于國家工作人員賄賂犯罪?？紤]到市場經濟活動中競爭的特性，還考慮到經營者所從事活動的非公務性，從這兩點出發(fā)，因此我們不應對普通公司、企業(yè)的人員提出較為苛刻的要求，要求其職務行為的廉潔性。

2.3并行編碼實現(xiàn)

根據(jù)以上分析，本文提出一種分割-融合的并行編碼策略，其流程圖如圖4所示。

圖4　并行編碼方案流程圖

算法首先讀取RGB圖像數(shù)據(jù)，并創(chuàng)建n個編碼子線程，隨后在數(shù)據(jù)分割模塊中按列將圖像數(shù)據(jù)分割成n份,并按序分配給各子線程進行并行編碼。其中，子線程編碼的標準JPEG編碼器，本文將第三方開源JPEG編碼庫libjpeg-turbo-1.4.1移植到嵌入式平臺上，通過調用其庫函數(shù)進行編碼。libjpeg-turbo作為高度優(yōu)化的開源圖像編解碼庫，相比傳統(tǒng)的libjpeg庫針對ARM Cortex架構做了進一步優(yōu)化，可獲得更快的圖像編解碼速度。當各子線程編碼結束后便告知主線程通過子圖合并模塊將各子圖進行融合，最終獲得一張完整、符合JFIF語法規(guī)范的編碼圖。其中子圖融合模塊是算法實現(xiàn)的關鍵部分，其流程圖如圖5所示。

圖5　子圖融合流程圖

模塊首先檢測輸入子圖的量化表、熵編碼表、幀頭中的信息，以確保各子圖編碼時采用的量化表及Huffman編碼表等參數(shù)一致；完成檢測后，需要提取各個子圖的公共信息，例如量化表、熵編碼表、各標記段中某些特定信息(如長度、采樣精度、水平采樣因子、垂直采樣因子等)。此外，由于幀頭中記錄了圖像的尺寸信息，因此在進行融合時需要對其進行修改，同時在幀內還需插入DRI標記段并計算MCU重啟間隔的數(shù)目；最后，提取各子圖熵編碼ECS信息并插入RST重啟標記，合成一張符合JFIF數(shù)據(jù)交換格式規(guī)范的JPEG圖像。其中DRI標記段中MCU重啟間隔數(shù)目計算規(guī)則如下：假設各子圖的尺寸大小一致，且寬高分別為w和h，此時各子圖的 MCU個數(shù)相同且與圖像各顏色分量水平和垂直采樣因子有關，設3個顏色分量的水平和垂直采樣因子的最大值分別為Hmax和Vmax。此時重啟間隔數(shù)目Ri計算公式如下：

由于libjpeg-turbo默認的采樣方式為4∶2∶2，即最大水平和垂直采樣因子均為2，此時

Ri=w×h/256

3　并行編碼性能分析

本文采用迅為iTop-4412嵌入式開發(fā)平臺。該平臺采用Samsung Exynos-4412多核處理器，擁有對稱的4核ARM Cortex-A9 MPcore架構，各內核擁有32 KB一級緩存同時共享1 MB二級緩存。嵌入式平臺采用Ubuntu12.04操作系統(tǒng)，交叉工具鏈為arm-none-linux-gnueabi-4.4.1。

3.2性能測試

本文采用計算并行度的方式來評價并行編碼的優(yōu)化性能，其表達式如下所示：

mp=Tp/T1×100%

其中，T1表示算法在串行運行下的時間，Tp表示算法在并行運行下的時間。并行度越小，說明算法并行度越高。

對一幅分辨率為1280×720的24位RGB彩色圖像，分別采用串行、2個并行編碼子線程、4個并行編碼子線程及6個并行編碼子線程進行編碼測試，其中l(wèi)ibjpeg-turbo圖像質量因子為80，其結果如表1所列。

表1　不同并行編碼子線程數(shù)對應編碼時間表

從表1中可以看出，當編碼子線程數(shù)小于等于4時，并行度分別為65.3%和31.2%，高于理論上的50%和25%。這是由于操作系統(tǒng)對線程的調度及線程間通信以及子圖融合模塊需要耗費一定時間。同時，雖然理論上并行編碼子線程數(shù)目越大越好，但由于實際物理核心數(shù)為4，當線程數(shù)過多時，各線程會對處理器產生競爭關系，導致編碼效率降低。編碼前后的圖片對比如圖6所示，兩者在視覺上變化不大。

圖6　編碼前后圖片重建后對比圖

結　語

通過對ARM MPcore多核處理器硬件架構分析，針對JPEG編碼提出一種并行優(yōu)化策略，操作簡便，具有良好的通用性。

本文以4核ARM Cortex-A9 MPcore(Exynos-4412)處理器為實驗平臺，結合libjpeg-turbo開源編解碼庫，對一張720P的24位彩色RGB圖片進行編碼并行度測試，結果表明并行編碼策略具有良好的并行度。同時，當并行編碼線程數(shù)小于物理核心數(shù)時，編碼速率與并行線程數(shù)成正比；而當并行線程數(shù)超過物理核心數(shù)時，由于過多線程的競爭會導致編碼性能降低。

總而言之，多媒體技術一直是嵌入式平臺關鍵技術之一,如何充分發(fā)揮嵌入式多核處理器的并行性能，實現(xiàn)程序并行化處理是值得研究的重要方向。

[1] 徐潔.基于FPGA的JPEG圖像壓縮系統(tǒng)的實現(xiàn)[D].大連:大連理工大學,2013.

[2] 馬亮.基于DSP的JPEG視頻壓縮系統(tǒng)的實現(xiàn)[J].電子設計工程,2009,16(9):82-85.

[3] 張長春,楊浩.基于ARM的JPEG編碼器設計與實現(xiàn)[J].微計算機信息,2010(11):99-101.

[4] 王戰(zhàn)盟.基于ARM的嵌入式靜態(tài)圖像顯示系統(tǒng)的研究與實現(xiàn)[D].廣州:廣東工業(yè)大學,2007.

[5] 程志.基于Omap5910嵌入式平臺的并行JPEG壓縮算法[J].計算機工程與設計,2008,29(16):4124-4125.

[6] 張琦.多核系統(tǒng)中的程序性能優(yōu)化研究[D].合肥:中國科學技術大學,2010.

[7] 楊川,楊斌.嵌入式ARM多核處理器并行化方法的研究[J].單片機與嵌入式系統(tǒng)應用,2014(7):9-12.

[8] William B Pennebaker,Joan L Mitchell．JPEG:Still Image Data Compression Standard[M].London:Chapman&Hall,1993.

Research on JPEG Parallel Encoding of Embedded ARM MPcore Platform

Liao Xingyu,Yu Shuilai

(School of Electronic and Information Technology,Changchun University of Science and Technology,Changchun 130022,China)

In this paper,aiming at the typical application of JPEG encoding,a parallel encoding strategy based on JFIF data interchange format syntax combined with the characteristics of the ARM MPcore structure is proposed.The experiment results show that the proposed method can significantly improve the efficiency of JPEG encoding,which is suitable for the high resolution and real-time requirements of image compression applications.It provides a certain reference for the video parallel encoding.

embedded platform;ARM MPcore;JPEG encoding;Exynos-4412

TP311.1

A

(責任編輯：薛士然2015-10-26)