可信JPEG XR圖像采集研究與實現(xiàn)

陳自剛， 朱海華

（1.南陽理工學(xué)院計算機(jī)與信息工程學(xué)院，河南南陽 473004；2.南陽師范學(xué)院計算機(jī)與信息技術(shù)學(xué)院，河南南陽 473061）

由于數(shù)字圖像信息的修改已變得非常容易， 因此數(shù)字圖像的可信性常受到懷疑。如何使數(shù)字圖像信息可信是目前研究的熱點。JPEG XR標(biāo)準(zhǔn)采用許多先進(jìn)的圖像壓縮技術(shù)，具有可逆的變換算法，并且無損壓縮和有損壓縮采用同一種算法，其編解碼過程占用的內(nèi)存很小，采用全整數(shù)運算，有效降低了計算復(fù)雜度，使得JPEG XR較易于嵌入式實現(xiàn)。JPEG XR碼流結(jié)構(gòu)便于提取基于圖像內(nèi)容的二值特征信息，便于在JPEG XR圖像中引入半脆弱水印技術(shù)實現(xiàn)圖像的魯棒性認(rèn)證和內(nèi)容認(rèn)證，而GPS（Global Positioning System）全球定位系統(tǒng)能給出準(zhǔn)確的定位信息和時間信息，這些都為構(gòu)造可信JPEG XR圖像采集系統(tǒng)提供了有力保證。

1 硬件設(shè)計

Samsung公司推出的ARM芯片S3C2410A內(nèi)部結(jié)構(gòu)復(fù)雜、功能強(qiáng)大［1］。S3C2410A芯片基于16／32位ARM920T內(nèi)核，采用5級流水線和哈佛結(jié)構(gòu)，提供1.1 MIPS／MHz的性能，是高性能和低功耗的硬宏單元，具有獨立的16 KB指令緩存和16 KB數(shù)據(jù)緩存；支持USB HOST模式和4通道DMA模式，并支持TFT彩色顯示屏最大虛擬屏大小4 M字節(jié)，64 K色彩模式下最大的虛擬屏為2 048×1 024，擁有基于DMA模式或者中斷模式工作的3通道的通用異步接收／發(fā)送裝置（UART）。存儲管理器（MMU）支持大／小端模式，有8個存儲器Bank，每個Bank支持尋址128 MB，共計能尋址1 GB。

UBX－G6010－NT［2］是u－blox最小的GPS芯片，采用了高性能的u－blox 6定位引擎。UBXG6010－NT的輔助GPS（A－GPS）服務(wù)通過無線網(wǎng)絡(luò)或互聯(lián)網(wǎng)向GPS接收機(jī)提供衛(wèi)星數(shù)據(jù)，如星歷、年歷、精確時間及衛(wèi)星狀態(tài)，以縮短定位計算時間。即使在不利的信號條件下，輔助數(shù)據(jù)也能使GPS接收機(jī)在數(shù)秒內(nèi)計算出位置。在被屏蔽的環(huán)境中（如室內(nèi)和車庫）或存在GPS干擾信號時，可通過LEON－G模塊的Cell LocateTM（基于基站的定位技術(shù)）對GPS接收機(jī)數(shù)據(jù)進(jìn)行補(bǔ)充［3］?？尚艌D像采集系統(tǒng)硬件設(shè)計如圖1所示。

圖1 可信圖像采集系統(tǒng)硬件框架

盡管S3C2410A具有8通道的多路復(fù)用10位的A／D轉(zhuǎn)換器，最大支持500 KSPS。但是結(jié)合CCD進(jìn)行圖像的采集與A／D轉(zhuǎn)換，不能達(dá)到高清圖像要求，所以借助CMOS技術(shù)實現(xiàn)圖像采集并傳輸至USB接口。

系統(tǒng)加電時，以外部中斷方式向S3C2410A的中斷控制器發(fā)送“圖像采集”中斷請求，調(diào)用基于USB接口的圖像采集中斷服務(wù)程序，啟動CMOS進(jìn)行圖像采集。同時啟動DMA傳輸，實現(xiàn)通過內(nèi)部AHB總線將圖像數(shù)據(jù)傳送至SRAM存儲器中的緩沖區(qū)。DMA傳輸結(jié)束時向中斷控制器發(fā)送中斷請求（INT－DMA0），ARM920T內(nèi)核調(diào)用顯示中斷服務(wù)程序?qū)D像回顯在TFT屏幕上。系統(tǒng)加電時，UBX－G6010－NT啟動，借助于UART串行接口將定位信息和時間信息送至顯示緩沖區(qū)的指定位置（即顯示在屏幕指定位置），如果在被屏蔽的環(huán)境中或存在GPS干擾信號而無法定位時，由LEON－G模塊的Cell LocateTM進(jìn)行定位并送至UBX－G6010－NT，最終通過UART串行接口傳送至指定位置，這樣就得到了擁有定位信息和時間信息的原始圖像。GPS定位信息和時間信息是可信圖像采集系統(tǒng)的一個必備條件。

2 基于JPEG XR的半脆弱水印技術(shù)

JPEG XR圖像中引入半脆弱水印技術(shù)的目的是實現(xiàn)JPEG XR圖像的魯棒性認(rèn)證和內(nèi)容認(rèn)證。JPEG XR圖像的內(nèi)部有多個色彩通道，其中第1個通道是亮度通道。一幅JPEG XR圖像在水平方向和垂直方向上可以含有1～4 096列分割塊。每個分割塊大小均相同，是一個二維的相鄰宏塊的集合。每個宏塊由4×4塊構(gòu)成，每個塊由4×4采樣點構(gòu)成［4－5］。

JPEG XR圖像的頻率模式碼流結(jié)構(gòu)以分割塊為基本單位，每個分割塊中包含DC、LP（低通）、HP（高通）和彈性位4個系數(shù)包。每個分割塊的DC系數(shù)和LP系數(shù)包含了圖像的主要能量信息［6］，只需提取每個分割塊的DC系數(shù)和LP系數(shù)就能得到圖像的特征信息，使得實現(xiàn)基于圖像內(nèi)容的半脆弱水印變得比較方便，不用對原JPEG XR圖像進(jìn)行任何分割和處理。

2.1 JPEG XR圖像嵌入水印過程

含半脆弱水印的JPEG XR圖像形成過程主要包括構(gòu)造基于圖像內(nèi)容的二值水印信息、水印信息置亂［7］和嵌入水印等過程。JPEG XR圖像嵌入水印過程框圖如圖2所示。

圖2 JPEG XR圖像嵌入水印過程框圖

2.2 基于JPEG XR圖像的二值水印

JPEG XR圖像的頻率模式碼流結(jié)構(gòu)以分割塊為基本單位。每16×16像素的宏塊在第1次變換時就能產(chǎn)生一個本宏塊內(nèi)容的4×4像素的二值水印信息，對每個分割塊依次處理就能得到基于圖像內(nèi)容的二值水印信息。這里對DC系數(shù)和LP系數(shù)分開處理提取和構(gòu)造圖像特征。

定義如下：

其中，i為圖像的第i個分割塊；j為第i個分割塊的第j個宏塊；k為第j個宏塊在第1次LBT變換后的第k個LP系數(shù)。k＝0時，只計算第i個分割塊的DC系數(shù)；1≤k≤15時，還要計算第j個宏塊在第1次LBT變換后的LP系數(shù)。

α為分割塊的DC系數(shù)閾值，α取每個分割塊的所有DC系數(shù)的平均值。

β為分割塊的LP系數(shù)閾值，β取每個分割塊的所有LP系數(shù)的平均值。

基于M×N的JPEGXR圖像，由（1）式和（2）式構(gòu)造基于DC系數(shù)和LP系數(shù)提取的1／4×M ×1／4×N的二值水印矩陣。

2.3 半脆弱水印的嵌入

JPEG XR編解碼算法［8］支持多種外部圖像格式，但JPEG XR內(nèi)部只支持Y（YUV中的Y）、YUV4∶2∶0、YUV4∶2∶2、YUV4∶4∶4、n通道和YUVK等6種圖像格式，由此可知Y分量是不可或缺的。

半脆弱水印嵌入過程如下：

（1）將JPEG XR碼流解碼至色彩變換階段后、LBT變換前（如圖2所示），此時能得到JPEG XR 6種內(nèi)部像素支持格式中的某一種。

（2）根據(jù)置亂后的二值水印點的位置從映射關(guān)系找到解碼后圖像對應(yīng)像素點（位置）；由（1）式和（2）式共同構(gòu)建M′×N′像素的二值水印時，其對應(yīng)的位置關(guān)系是｛（M，N）｜M＝4 M′且N＝4 N′｝。

（3）提取該像素點的色彩空間的Y分量值。

（4）將該像素點的Y分量值的最低有效位替換為二值水印點的值。

（5）按照J(rèn)PEG XR編碼過程重新進(jìn)行LBT變換，最終生成含有二值水印的JPEG XR碼流。

2.4 半脆弱水印提取與比較

在對JPEG XR圖像認(rèn)證時，首先從JPEG XR圖像中提取基于圖像內(nèi)容的二值水印信息，與重新構(gòu)造的該圖像相應(yīng)位置的二值圖像信息進(jìn)行比較。如果兩者一致，則說明圖像未被篡改；如果兩者不一致，則說明圖像已被篡改，根據(jù)位置關(guān)系就能發(fā)現(xiàn)哪個（些）宏塊或者塊被篡改，即對篡改處進(jìn)行定位，如圖3所示。

水印提取與比較過程如下：

（1）將JPEG XR碼流解碼至色彩變換階段后、LBT變換前（如圖2所示），此時能得到JPEG XR 6種內(nèi)部像素支持格式中的某一種。

（2）找到每個塊（或者宏塊）含有二值水印的像素點；由（1）式和（2）式共同構(gòu)建二值水印時，隱藏二值水印的像素點為：

｛（M，N）｜M mod 4＝0且N mod 4＝0｝。

（3）提取該像素點的Y分量值。

（4）根據(jù)該像素點的Y分量值的最低有效位獲取水印點的二值。

（5）提取隱藏在該圖像中的置亂了的二值水印信息。

（6）對二值水印信息反置亂，獲取嵌入在JPEG XR圖像中的水印。

（7）與由該圖像頻率模式碼流中的DC系數(shù)包和低通系數(shù)包重新構(gòu)造的二值圖像特征信息進(jìn)行比較，發(fā)現(xiàn)是否有篡改，如果有篡改則定位。

圖3 半脆弱水印提取定位框圖

3 算法移植

3.1 算法移植流程

如果只是進(jìn)行程序代碼移植，則具有半脆弱水印技術(shù)的JPEG XR編解碼器執(zhí)行效率不高，因此根據(jù)如前所述的關(guān)于半脆弱水印技術(shù)的設(shè)計方案，對JPEG XR編解碼器簡化，并結(jié)合S3C2410A特點進(jìn)行定制。具體的流程如圖4所示。

圖4 實現(xiàn)流程

首先分析JPEG XR編解碼器，根據(jù)S3C2410A系統(tǒng)自身特征，進(jìn)行編解碼調(diào)整。數(shù)據(jù)類型調(diào)整為32位有符號整數(shù)，實現(xiàn)外部的RGB888到內(nèi)部圖像的分量變換和比特深度變換。鑒于半脆弱水印算法是基于JPEG XR碼流的頻率模式構(gòu)造的，可以對空間模式及其函數(shù)進(jìn)行簡化。在內(nèi)存空間建立不同的多塊區(qū)域以存儲外部圖像緩沖信息和不同編解碼階段的緩沖信息，并進(jìn)行相應(yīng)的分配，從而使得JPEG XR編解碼器在移植過程中減少誤差，滿足實際的JPEG XR編解碼要求。

然后構(gòu)建ARM－Linux交叉編譯工具（因為JPEG XR編解碼器使用Glibc庫，所以構(gòu)建ARM－Linux而非ARM－Elf交叉編譯工具），為了提高JPEG XR編解碼和半脆弱水印算法的效率，構(gòu)建目標(biāo)機(jī)為S3C2410A的交叉編譯工具，編譯生成適合于S3C2410A工作在ARM狀態(tài)的32位字對齊的ARM指令，并進(jìn)行匯編級別的優(yōu)化。S3C2410A采用5級流水線結(jié)構(gòu)，通過調(diào)整指令順序或者插入wait時鐘周期，避免相鄰指令對寄存器或者存儲器等結(jié)構(gòu)相關(guān)的對象進(jìn)行操作，避免數(shù)據(jù)相關(guān)或因循環(huán)或者轉(zhuǎn)移而產(chǎn)生的控制相關(guān)，從而提高流水線的性能。S3C2410A擁有16個32位的寄存器，匯編過程中合理高效地利用這些寄存器，可以提高編解碼效率。S3C2410A擁有16 KB指令緩存，合理組織代碼在存儲器的存放位置，可以提高CACHE命中率。

最后將具有半脆弱水印技術(shù)的JPEG XR編解碼算法移植到S3C2410A上，并測試可信JPEG XR圖像采集過程與顯示過程。

3.2 數(shù)據(jù)塊定義與存儲器分配

S3C2410A的存儲控制器提供了訪問外部存儲器所需要的控制信號。通過總線控制器OM［1∶0］設(shè)定為10，使得總線工作在32 bit的總線寬度，且工作在32位模式時對基本字長32位字按照小端方式存儲。數(shù)據(jù)塊定義見表1所列。存儲器分配如下：表1中的“代碼”存放在Bank0－ROM，表1中的其他數(shù)據(jù)塊存放在Bank1－SRAM。

用4片128 K×8的EPROM存儲器芯片采用位擴(kuò)展形式構(gòu)造128 K×32的ROM存儲體。用2片128 K×16的SRAM存儲器芯片為一組采用位擴(kuò)展形式構(gòu)造128 K×32的SRAM存儲體，多組128 K×32的SRAM存儲體采用字?jǐn)U展形式構(gòu)造更大的32位SRAM存儲體。采用多體交叉存取技術(shù)，可以有效地提高總線利用率，從而提高存儲器的存取速度。

分析JPEG XR編解碼算法發(fā)現(xiàn)，在編解碼的任意階段只需要很少的緩存空間來存放數(shù)據(jù)（在這里使用S3C2410A內(nèi)的16 KB的數(shù)據(jù)高速緩存），并且所有的操作都能SIMD（Single Instruction Multiple Data，單指令多數(shù)據(jù)流）指令化。

表1 數(shù)據(jù)塊定義

3.3 GPS模塊的數(shù)據(jù)結(jié)構(gòu)定義

GPS芯片UBX－G6010－NT有1個UART、1個USB V2.0（全速12 Mb／s）、1個DDC和1個SPI等不同的串行接口。這里設(shè)計用UART與S3C2410A的串口1相連接，且波特率為115 200波特。數(shù)據(jù)結(jié)構(gòu)定義如下［9］：

4 測 試

本實驗測試時使用的是S3C2410A開發(fā)板，結(jié)合USB接口的CMOS攝像頭模塊和串口的GPS模塊，借鑒現(xiàn)成的程序代碼，移植具有半脆弱水印技術(shù)的JPEG XR編解碼算法，實現(xiàn)640×480（鑒于3.5寸顯示屏最高支持640×480的分辨率）的圖像采集，GPS時間信息顯示在圖像右上角，GPS定位信息顯示在圖像右下角。在TFT真彩LCD上動態(tài)顯示攝像頭捕捉到的圖像，如圖5所示。

圖5 JPEG XR圖像采集

半脆弱水印技術(shù)實驗圖像為圖5中截取的256×256×8的亮度通道，如圖6a所示。半脆弱水印圖像使用提取既有DC系數(shù)又有LP系數(shù)的64×64的二值水印信息，如圖6b所示。對圖像進(jìn)行篡改，如圖6c所示。提取水印圖像中的64×64的二值水印信息，與水印圖像的特征信息對比，進(jìn)行篡改定位，如圖6d所示。

圖6 半脆弱水印測試

目前支持JPEG XR的圖像處理軟件較少，以上JPEG XR圖像顯示是在PC中安裝JPEG XR reference software v1.6后的Xnviewv1.98.5f軟件完成的。

實驗中采用峰值信噪比（PSNR）來評價嵌入水?。ㄓ蒁C系數(shù)和LP系數(shù)構(gòu)建二值水?。┖髨D像的質(zhì)量，并用相關(guān)系數(shù)（NC）來評價提取出的水印圖像和原水印圖像的相似性。幾種常見攻擊操作下的實驗結(jié)果見表2所列，其中的剪切實驗結(jié)果是基于圖6c的篡改剪切而計算的。

表2 4種攻擊方式下的實驗結(jié)果

將定制優(yōu)化前后的含有半脆弱水印技術(shù)的JPEG XR編解碼算法交叉編譯后生成的JPEG XR.EXE，移植到S3C2410A上編碼256×256× 8的圖像（如圖6a）的時間對比，見表3所列，其定制優(yōu)化后的運行時間明顯降低。

表3 time命令測試的定制優(yōu)化前后運行時間 ms

5 結(jié)束語

本文研究由CMOS采集原始圖像，借助GPS全球定位系統(tǒng)獲取定位信息和時間信息，添加在該圖像合適位置，將半脆弱水印技術(shù)引入JPEG XR圖像中。在S3C2410A上移植定制并優(yōu)化的JPEG XR編解碼算法和半脆弱水印算法，解決這一圖像標(biāo)準(zhǔn)的完整性和有效性的保護(hù)問題，提高JPEG XR數(shù)字圖像的可信性，也有助于推動這一新圖像標(biāo)準(zhǔn)的推廣和應(yīng)用。

［1］ Samsung Electronics.S3C2410A 200 MHz ＆266 MHz 32－BIT RISC microprocessor user’s manual，Revision 1.0［EB／OL］.（2004－03－01）［2011－05－18］.http：／／www.samsung.com／Products／Semiconductor／.

［2］ U－blox.UBX－G6010－NT product summary［EB／OL］.［2011－09－01］.http：／／www.u－blox.com／images／downloads／Product－Docs／UBX－G6010－NT＿ProductSummary－%28GPS.G6－HW－10007%29.pdf.

［3］ Marshall C，F(xiàn)enger C，Moioli S.Hybrid positioning and Cell LocateTM［EB／OL］.（2011－07－01）［2011－09－01］.http：／／www.u－blox.com／images／downloads／Product－Docs／Cell Locate－whitepaper－%28GSM－X－11001%29. pdf.

［4］ ISO／IEC CD 29199－2：2010，JPEG XR Image Coding System，Part 2：Image Coding Specification［S］.

［5］ ISO／IEC CD 29199－3：2010，JPEG XR Image Coding System，Part 3：Motion JPEG XR［S］.

［6］ 孫見青，汪榮貴，李守毅.基于DC分量和AC分量相結(jié)合的數(shù)字水印技術(shù)［J］.合肥工業(yè)大學(xué)學(xué)報：自然科學(xué)版，2007，30（7）：825－828.

［7］ 林愛英，吳莉莉，蘇 金，等.一種用哈達(dá)瑪矩陣進(jìn)行置亂變換的盲水印算法［J］.合肥工業(yè)大學(xué)學(xué)報：自然科學(xué)版，2010，33（9）：1351－1354.

［8］ ISO／IEC FCD 29199－5：2010，JPEG XR Image Coding System，Part 5：Reference Software［S］.

［9］ 張洋溢，王 忠.基于ARM的GPS／GPRS多功能手持終端的設(shè)計與實現(xiàn)［J］.計算機(jī)測量與控制，2011，19（12）：3050－3053.