CMOS圖像傳感器自動(dòng)白平衡算法及其FPGA實(shí)現(xiàn)

董國(guó)偉 侯作勛 王震 潘錚 劉明 關(guān)晨輝

?

CMOS圖像傳感器自動(dòng)白平衡算法及其FPGA實(shí)現(xiàn)

董國(guó)偉 侯作勛 王震 潘錚 劉明 關(guān)晨輝

（北京空間機(jī)電研究所，北京100094）

為提高圖像處理效果和處理速度，使處理后圖像顏色與人眼視覺(jué)主觀感受到的顏色保持一致，文章提出了一種改進(jìn)的自動(dòng)白平衡算法。該方法以灰度世界法和全反射理論法為基礎(chǔ)，通過(guò)自動(dòng)評(píng)估圖像的色彩豐富性并確定相應(yīng)的規(guī)則動(dòng)態(tài)選取優(yōu)勢(shì)算法進(jìn)行處理。設(shè)計(jì)實(shí)現(xiàn)了相應(yīng)的FPGA處理模塊，通過(guò)采用高效的并行流水線(xiàn)技術(shù)，充分考慮硬件模塊內(nèi)部潛在的并行度，確保系統(tǒng)的實(shí)時(shí)處理能力。文章算法的優(yōu)勢(shì)在于對(duì)圖像的自適應(yīng)性和計(jì)算的快速性。對(duì)不同場(chǎng)景圖像，該方法產(chǎn)生不同的閾值參數(shù)，進(jìn)而選取不同的優(yōu)勢(shì)算法，確保系統(tǒng)的自適應(yīng)性；對(duì)高速視頻圖像，該方法建立了一個(gè)簡(jiǎn)化的優(yōu)勢(shì)算法選取規(guī)則，有利于FPGA硬件電路的實(shí)現(xiàn)，從而保證了計(jì)算的快速性。仿真試驗(yàn)表明，基于該算法設(shè)計(jì)實(shí)現(xiàn)的FPGA硬件處理系統(tǒng)，對(duì)不同的場(chǎng)景均取得較好的處理效果，針對(duì)分辨率為1920像元×1080像元的視頻圖像，達(dá)到了優(yōu)于25幀/s的實(shí)時(shí)處理速度。該算法硬件電路開(kāi)銷(xiāo)少，實(shí)時(shí)性好，適應(yīng)性強(qiáng)，能有效提高圖像品質(zhì)，具有廣闊的應(yīng)用前景。

圖像傳感器 自動(dòng)白平衡算法 現(xiàn)場(chǎng)可編程門(mén)陣列 航天遙感

0 引言

CMOS圖像傳感器具有集成度高、成本低、動(dòng)態(tài)范圍寬、功耗小，以及抗彌散、抗輻照能力強(qiáng)等優(yōu)越性能[1]。因此，不僅被廣泛應(yīng)用于安防監(jiān)控、工業(yè)測(cè)量等領(lǐng)域，而且被越來(lái)越多的應(yīng)用于遙感相機(jī)、星敏感器、可視遙測(cè)、目標(biāo)跟蹤等空間光學(xué)系統(tǒng)中[2]，隨著CMOS工藝的發(fā)展，CMOS圖像傳感器芯片的集成度不斷提高，基于CMOS傳感器設(shè)計(jì)的相機(jī)已成為市場(chǎng)的主流產(chǎn)品[3]。

數(shù)字圖像處理包括圖像插值、白平衡、YUV變換、圖像增強(qiáng)等[4-5]。白平衡的作用是自動(dòng)調(diào)節(jié)在不同色溫光照條件下拍攝圖像的顏色，使得這些圖像的視覺(jué)主觀感受和標(biāo)準(zhǔn)光源下拍攝的圖像一致[6]?，F(xiàn)有的白平衡算法包括：灰度世界算法（Gray World Method，GWM）[7]、全反射理論算法（Perfect Reflector Method，PRM）[7]、GWM和PRM正交組合算法（Quadratic Combining GWM & PRM，QCGP）[7]、模糊規(guī)則算法（Fuzzy Rule Method，F(xiàn)RM）[8]、Chikane算法[9]及文獻(xiàn)[10-11]的算法等。其處理效果嚴(yán)重依賴(lài)于相應(yīng)算法的運(yùn)算復(fù)雜度。由于應(yīng)用于CMOS相機(jī)系統(tǒng)中的實(shí)時(shí)圖像處理算法需要采用嵌入式硬件電路實(shí)現(xiàn)，因此需要在圖像處理效果、運(yùn)算時(shí)間與計(jì)算復(fù)雜度等方面進(jìn)行綜合考慮。在較小硬件開(kāi)銷(xiāo)的前提下，如何提高圖像處理速度和圖像品質(zhì)是硬件友好型圖像處理算法的關(guān)鍵所在[12]。

本文提出一種基于GWM算法和PRM算法融合的改進(jìn)算法。目前QCGP算法利用二次方程式把GWM算法和PRM算法結(jié)合，既可以對(duì)圖像進(jìn)行白平衡色彩修正且效果不錯(cuò)，又能保留兩種算法理論的優(yōu)點(diǎn)。但是由于計(jì)算復(fù)雜度高，實(shí)時(shí)性受到制約。本文面向CMOS圖像傳感器應(yīng)用，設(shè)計(jì)一種適合FPGA實(shí)現(xiàn)的改進(jìn)型實(shí)時(shí)自動(dòng)白平衡算法。通過(guò)對(duì)GWM算法和PRM算法改進(jìn)和融合，在適當(dāng)增加硬件開(kāi)銷(xiāo)的基礎(chǔ)上，有效提高了系統(tǒng)的處理速度和白平衡處理效果。

1 算法簡(jiǎn)述

作為本文提出算法的基礎(chǔ)，有必要對(duì)于GWM、PRM和QCGP算法進(jìn)行簡(jiǎn)要介紹。

1.1 常用GWM、PRM和QCGP算法

任意一幅圖像，當(dāng)它有足夠的色彩變化，則它的紅R、綠G、藍(lán)B的DN（Digital Number）均值會(huì)趨于一致。這是自動(dòng)白平衡算法設(shè)計(jì)時(shí)普遍采納的的基礎(chǔ)理論?；谶@一理論假設(shè)，GWM算法思路是統(tǒng)計(jì)出圖像中紅綠藍(lán)三分量DN均值，找到合適的計(jì)算方法使三個(gè)均值趨于相等。GWM算法思路簡(jiǎn)單易于實(shí)現(xiàn)，但是當(dāng)圖像中色彩不豐富時(shí)，該算法往往會(huì)導(dǎo)致圖像失真。

PRM算法也是在自動(dòng)白平衡處理時(shí)廣泛應(yīng)用的理論。該理論認(rèn)為將圖像上“最亮點(diǎn)”作為參考“白點(diǎn)”，并進(jìn)行相應(yīng)的白平衡處理可以取得較好的處理效果。實(shí)際應(yīng)用時(shí)，一般將“最亮點(diǎn)”定義為三個(gè)顏色分量DN值之和的最大值，或者YCbCr（Y表示亮度，Cb、Cr表示色度）空間中的Y最大值。PRM算法具有與GWM算法相同的優(yōu)點(diǎn)，簡(jiǎn)單易實(shí)現(xiàn)，但是當(dāng)圖像的部分區(qū)域出現(xiàn)過(guò)度曝光時(shí)，可能造成該算法失效。實(shí)際應(yīng)用時(shí)，僅使用一個(gè)點(diǎn)作為參考，其處理效果往往不甚理想。一種改進(jìn)的方法是選取圖像上最亮部分的均值作為參考進(jìn)行圖像自動(dòng)白平衡處理，例如，計(jì)算圖像中亮度前20%部分的均值作為參考值[7]。

無(wú)論是PRM算法還是GWM算法，都需要圖像滿(mǎn)足兩種算法各自的假設(shè)，只有這樣效果才比較理想。如果把這兩種算法的優(yōu)點(diǎn)組合使用，就能得到一種更好的算法，QCGP算法利用二次方程式把GWM算法和PRM算法結(jié)合，既可以對(duì)圖像進(jìn)行白平衡色彩修正且效果不錯(cuò)，又能保留兩種算法理論的優(yōu)點(diǎn)。

1.2 本文算法

分析比較可知，GWM算法和PRM算法均存在固有問(wèn)題。當(dāng)圖像中色彩不豐富時(shí)，采用GWM算法進(jìn)行處理往往會(huì)導(dǎo)致圖像失真；而當(dāng)圖像的部分區(qū)域出現(xiàn)過(guò)度曝光時(shí)，采用PRM算法進(jìn)行處理可能失效。而QCGP算法雖然綜合利用了兩種算法的優(yōu)點(diǎn)，但是由于其算法相對(duì)復(fù)雜，對(duì)于百萬(wàn)像素的實(shí)時(shí)圖像數(shù)據(jù)，其計(jì)算時(shí)間長(zhǎng)，難以滿(mǎn)足實(shí)時(shí)性要求。

針對(duì)上述白平衡算法的固有問(wèn)題，本文提出了一種改進(jìn)的自動(dòng)白平衡算法。通過(guò)判斷圖像的均值色差cd，動(dòng)態(tài)選用GWM算法或PRM算法。

圖像均值色差定義如下式所示：

式中 Max(a1,a1,a1)、Min(a1,a1,a1)表示圖像紅、綠、藍(lán)DN均值a1、a1、a1的最大值和最小值。

均值色差可以表示圖像色彩豐富度，cd值大，說(shuō)明紅、綠、藍(lán)中的某一色偏多，算法選擇上，使用接近于PRM算法的自動(dòng)白平衡算法進(jìn)行處理；cd值小，說(shuō)明紅、綠、藍(lán)三色相當(dāng)，使用接近于GWM算法的自動(dòng)白平衡算法進(jìn)行處理。

算法選擇及接近程度通過(guò)閾值參數(shù)v來(lái)確定，其與cd的關(guān)系如下式所示：

式中a=Max(a1,a1,a1)；i=Min(a1,a1,a1)。經(jīng)過(guò)多次實(shí)驗(yàn)，當(dāng)cd≥2，即算法選擇接近PRM算法時(shí)，v在60至220區(qū)間能夠取得好的效果；當(dāng)1.5≤cd＜2，即算法選擇在PRM算法與GWM算法間過(guò)度時(shí)，v在40至200區(qū)間能夠取得好的效果。

根據(jù)閾值參數(shù)v，選取圖像中紅、綠、藍(lán)DN值同時(shí)大于v的像素點(diǎn)作為選取樣點(diǎn)。

v值越大，選取樣點(diǎn)數(shù)越少，本文算法與PRM算法接近程度越大；v值越小，選取樣點(diǎn)數(shù)越多，本文算法與GWM算法接近程度越大。

統(tǒng)計(jì)選取樣點(diǎn)圖像中紅、綠、藍(lán)DN均值a2、a2、a2，來(lái)確定調(diào)整系數(shù)、、。確定公式為：

=n/a2；=n/a2；=n/a2（3）

式中n=(a2+a2+a2)/3。

最后偏色校正，對(duì)圖像數(shù)據(jù)中顏色分量數(shù)據(jù)進(jìn)行調(diào)整，公式如下：

式中′、′、′為白平衡后圖像的三個(gè)顏色分量數(shù)據(jù)。

2 FPGA實(shí)現(xiàn)

為了有效提高時(shí)序，降低延時(shí)，便于優(yōu)化升級(jí)。在FPGA設(shè)計(jì)時(shí)采用模塊化設(shè)計(jì)方法[13-14]，在模塊實(shí)現(xiàn)時(shí)，采用并行算法和流水線(xiàn)技術(shù)[15-17]。FPGA采用Xilinx公司Virtex-2系列XQR2V3000型號(hào)芯片。

圖1為CMOS相機(jī)FPGA圖像處理系統(tǒng)的總體框圖，其中自動(dòng)白平衡模塊處于系統(tǒng)的核心位置，并在圖中以灰框標(biāo)出。

圖1 CMOS相機(jī)FPGA圖像處理系統(tǒng)總體框圖

圖2給出了自動(dòng)白平衡模塊的結(jié)構(gòu)圖。該模塊按照功能劃分為三個(gè)子模塊，分別是色溫估計(jì)、增益計(jì)算和偏色校正子模塊。

其中，色溫估計(jì)子模塊統(tǒng)計(jì)輸入圖像數(shù)據(jù)信息，計(jì)算出均值色差cd和閾值參數(shù)v；增益計(jì)算子模塊對(duì)圖像數(shù)據(jù)再次統(tǒng)計(jì)，選出樣點(diǎn)和確定調(diào)整系數(shù)、、；偏色校正子模塊是根據(jù)調(diào)整系數(shù)、、對(duì)圖像數(shù)據(jù)進(jìn)行校正，輸出校正后的白平衡圖像。

圖2 自動(dòng)白平衡模塊結(jié)構(gòu)圖

在計(jì)算閾值參數(shù)時(shí)，需要統(tǒng)計(jì)整幅圖像信息。確定調(diào)整系數(shù)時(shí)，同樣要統(tǒng)計(jì)相同圖像信息，因此，會(huì)出現(xiàn)滯后現(xiàn)象，即本幅圖像用的閾值參數(shù)v，是上一幅圖像計(jì)算出來(lái)的。為了有效解決這一問(wèn)題，在設(shè)計(jì)時(shí)，單獨(dú)把色溫估計(jì)子模塊置于前端數(shù)據(jù)流中，即緊鄰CMOS驅(qū)動(dòng)模塊。經(jīng)過(guò)該結(jié)構(gòu)調(diào)整，當(dāng)計(jì)算出閾值參數(shù)v時(shí)，圖像數(shù)據(jù)恰好存入SDRAM中；而當(dāng)圖像數(shù)據(jù)從SDRAM中讀出時(shí)，這幅圖像的閾值參數(shù)v已送入后面的增益計(jì)算模塊中，調(diào)整和細(xì)化后的電路結(jié)構(gòu)如圖3所示。

圖3 改進(jìn)的自動(dòng)白平衡模塊結(jié)構(gòu)框圖

電路結(jié)構(gòu)調(diào)整后，由于CMOS驅(qū)動(dòng)模塊輸出的是Bayer格式圖像，而非插值后的彩色圖像，因此，色溫估計(jì)子模塊在統(tǒng)計(jì)圖像信息時(shí)，需要以2×2塊作為一個(gè)紅綠藍(lán)像素單元進(jìn)行統(tǒng)計(jì)。Bayer格式圖像2×2塊中包含了1個(gè)紅色分量、2個(gè)綠色分量和1個(gè)藍(lán)色分量，其中2個(gè)綠色分量取均值作為該像素單元的綠色分量。本文圖像分辨率為1920像元×1080像元，以2×2塊為紅綠藍(lán)像素單元，實(shí)際統(tǒng)計(jì)像素為960像元×540像元。

色溫估計(jì)子模塊中，統(tǒng)計(jì)均值功能實(shí)現(xiàn)時(shí)，電路采用并行結(jié)構(gòu)設(shè)計(jì)，把2×2塊像素單元中的紅綠藍(lán)分量分離開(kāi)來(lái)，分成三路并行處理；每路數(shù)據(jù)都是對(duì)整幅圖像進(jìn)行統(tǒng)計(jì)均值，因此需要高位寬累加器和除法器，高位寬器件會(huì)加大系統(tǒng)延時(shí)，為減少延時(shí)，采用按行統(tǒng)計(jì)均值的思想，先計(jì)算出行均值，再對(duì)行均值累加，求出整幅圖像的均值。由于圖像數(shù)據(jù)是連續(xù)輸入的，為了實(shí)時(shí)計(jì)算，累加器和除法器采用流水線(xiàn)技術(shù)，以累加器為例，圖4給出了三級(jí)流水線(xiàn)設(shè)計(jì)的累加器電路圖，實(shí)現(xiàn)=+累加和運(yùn)算，其中為8bit，為30bit；均值色差功能電路用于統(tǒng)計(jì)三均值（a1、a1和a1）的最大值a和最小值i。a與i的比值為均值色差cd，為滿(mǎn)足精度要求和避免小數(shù)運(yùn)算，電路設(shè)計(jì)上采用先乘后除的思路，而乘法采用移位操作，這樣減少了硬件開(kāi)銷(xiāo)，左移4bit，計(jì)算出的值相當(dāng)于cd乘16；閾值產(chǎn)生功能電路實(shí)現(xiàn)了式（2）的邏輯運(yùn)算，對(duì)cd值所在區(qū)間進(jìn)行判斷，為避免產(chǎn)生大的組合邏輯而影響時(shí)序，先用寄存器產(chǎn)生相應(yīng)的標(biāo)志位，再根據(jù)標(biāo)志位、最大值和最小值，選擇出閾值v。

圖4 累加器電路圖

增益計(jì)算子模塊中，在樣點(diǎn)選取功能電路實(shí)現(xiàn)時(shí)，采用并行結(jié)構(gòu)，分四路并行處理，前三路為樣點(diǎn)像元DN值統(tǒng)計(jì)，后一路為樣點(diǎn)數(shù)統(tǒng)計(jì)。先選取圖像中紅、綠、藍(lán)DN值都大于v的像元作為樣點(diǎn)，然后對(duì)所有樣點(diǎn)進(jìn)行累加，計(jì)算出均值a2、a2和a2；增益產(chǎn)生功能電路實(shí)現(xiàn)了對(duì)應(yīng)式（3）的數(shù)值計(jì)算。首先計(jì)算出n=(a2+a2+a2)/3；后計(jì)算出、和。同樣為提高精度和避免小數(shù)運(yùn)算，電路中n左移10bit，使計(jì)算出的結(jié)果、和放大1023倍，有效位精確到小數(shù)點(diǎn)后三位。

偏色校正子模塊中，電路設(shè)計(jì)采用并行結(jié)構(gòu)和流水線(xiàn)技術(shù)，分三路進(jìn)行偏色校正。由于每路都要實(shí)現(xiàn)連續(xù)乘法運(yùn)算，為提高實(shí)時(shí)性，專(zhuān)門(mén)設(shè)計(jì)了一個(gè)四級(jí)流水線(xiàn)乘法器，用移位和加法操作來(lái)實(shí)現(xiàn)實(shí)時(shí)乘法運(yùn)算，節(jié)省了硬件資源，其電路圖如圖5所示，圖中實(shí)現(xiàn)=×運(yùn)算，其中為16bit，為8bit，為24bit。LS表示向左移位操作，LS后數(shù)字表示左移位數(shù)，來(lái)自信號(hào)，為8bit位寬，每2bit為一個(gè)選擇器的選擇信號(hào)。

以上電路實(shí)現(xiàn)采用同步化設(shè)計(jì)[18]，系統(tǒng)時(shí)鐘為80MHz，統(tǒng)一時(shí)鐘上升沿采樣。系統(tǒng)延時(shí)有兩部分組成，一是從CMOS傳感器讀出圖像數(shù)據(jù)并存儲(chǔ)到外部SDRAM中的時(shí)間；二是從外部SDRAM按行讀出圖像數(shù)據(jù)并實(shí)時(shí)處理的時(shí)間。本文這兩部分時(shí)間分別是11ms和27ms，這兩部分時(shí)間之和為最小幀周期38ms，因此最大幀頻為26.3幀/s。

圖5 乘法器電路圖

3 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證算法的有效性，本文進(jìn)行了多項(xiàng)測(cè)試：1）對(duì)多種不同色彩的圖像進(jìn)行測(cè)試，并對(duì)各種白平衡算法進(jìn)行對(duì)比；2）統(tǒng)計(jì)圖像的信息，并對(duì)各種白平衡算法進(jìn)行比較；3）對(duì)CMOS相機(jī)系統(tǒng)進(jìn)行實(shí)際測(cè)試，驗(yàn)證圖像自動(dòng)白平衡算法效果。

為了驗(yàn)證算法的魯棒性，每項(xiàng)測(cè)試均選取不同類(lèi)型圖像進(jìn)行多次測(cè)試。下面以其中的兩幅圖像為例進(jìn)行分析說(shuō)明。

圖6和圖7分別為色彩豐富和色彩單一場(chǎng)景圖像的處理效果，其中（a）為原始圖像，（b）、（c）、（d）和（e）分別為GWM算法、PRM算法、QCGP算法和本文算法白平衡后的圖像。

圖6 色彩豐富圖像自動(dòng)白平衡算法對(duì)比

圖7 色彩單一圖像自動(dòng)白平衡算法對(duì)比

比較可知，圖6中，GWM算法和本文提出算法的處理效果較好，QCGP算法次之，PRM算法效果差。造成PRM算法效果差的原因是圖像中有部分區(qū)域出現(xiàn)過(guò)曝光。圖7中，本文算法和PRM算法效果最好，QCGP算法次之，GWM算法失效。

由對(duì)比驗(yàn)證可知，本文算法兼具了GWM算法和PRM算法的優(yōu)勢(shì)。

由于本文的白平衡算法是在RGB域中進(jìn)行處理的，因此專(zhuān)門(mén)統(tǒng)計(jì)了經(jīng)四種算法處理后圖像的RGB均值，如表1所示。同時(shí)也給出了本文算法處理過(guò)程中的樣點(diǎn)均值和調(diào)整系數(shù)，如表2所示。

表1 圖像均值對(duì)比表

Tab.1 Comparison of mean values of images

表2樣點(diǎn)均值及調(diào)整系數(shù)

Tab.2 Mean value of sampling points and modulation coefficients

從表1中可以看出，在色彩豐富的圖6中，本文算法與GWM算法的RGB均值接近；在色彩單一的圖7中，本文算法與PRM算法的RGB均值接近。從而驗(yàn)證了算法效果在圖像色彩豐富時(shí)，接近GWM算法；在圖像色彩不豐富時(shí)，接近于PRM算法。

圖8和圖9為本文提出的算法對(duì)一般自然場(chǎng)景測(cè)試時(shí)的處理效果。圖中，（a）為白平衡前圖像，（b）為白平衡后的圖像。

（a）白平衡前圖像 （b）白平衡后圖像

（a）Image before auto white balance proccessing （b）Image after auto white balance proccessing

圖8 CMOS相機(jī)室外圖像

Fig.8 Outdoor images by CMOS camera

（a）白平衡前圖像 （b）白平衡后圖像

（a）Image before auto white balance proccessing （b）Image after auto white balance proccessing

圖9 CMOS相機(jī)室內(nèi)圖像

Fig.9 Indoor images by CMOS camera

由圖可知，本文實(shí)現(xiàn)的圖像自動(dòng)白平衡算法，在實(shí)際測(cè)試時(shí)，無(wú)論是室內(nèi)還是室外，都取得比較好的效果。

4 結(jié)束語(yǔ)

本文提出了一種基于圖像色彩豐富度評(píng)估的自動(dòng)白平衡算法，在RGB彩色空間域中，綜合利用了GWM算法和PRM算法的優(yōu)勢(shì)，進(jìn)而通過(guò)FPGA實(shí)現(xiàn)了上述算法，通過(guò)高效的并行流水線(xiàn)技術(shù)，同時(shí)充分考慮硬件模塊內(nèi)部的潛在并行度，滿(mǎn)足了系統(tǒng)的實(shí)時(shí)性要求。在圖像分辨率為1920像元×1080像元的情況下，處理幀頻大于等于25幀/s。該算法硬件開(kāi)銷(xiāo)少，實(shí)時(shí)性好，適應(yīng)性強(qiáng)，能有效提高圖像品質(zhì)，具有廣闊的應(yīng)用前景。

[1] 王軍, 李國(guó)宏. CMOS圖像傳感器在航天遙感中的應(yīng)用[J]. 航天返回與遙感, 2008, 29(2): 42-47. WANG Jun, LI Guohong. The Application of CMOS Image Sensor in Space Remote Sensing[J]. Spacecraft Recovery & Remote sensing, 2008, 29(2): 42-47. (in Chinese)

[2] 尤政, 李濤. CMOS 圖像傳感器在空間技術(shù)中的應(yīng)用[J]. 光學(xué)技術(shù), 2002, 28(1): 31-35. YOU Zheng, LI Tao. Application of CMOS Image Sensor in Space Technology[J]. Optical Technique, 2002, 28(1): 31-35. (in Chinese)

[3] KLEINFELDER S. High-speed, High-sensitivity, Low-noise Scientific CMOS Image Sensors[C]//Microelectronics: Design, Technology, and Packaging. Perth, Australia: SPIE, 2003: 194-205.

[4] BILCU R C. Multiframe Auto White Balance[J]. Signal Processing Letters IEEE, 2011, 18(3): 165-168.

[5] 郭惠楠, 曹劍中, 周祚峰, 等. 彩色數(shù)字圖像色彩平衡的客觀性評(píng)價(jià)方法[J]. 紅外與激光工程, 2013, 42(z1): 214-218. GUO Huinan, CAO Jianzhong, ZHOU Zuofeng, et al. Objective Evaluation Approach of Color Balance for Colorful Digital Image [J]. Infrared and Laser Engineering, 2013, 42(z1): 214-218. (in Chinese)

[6] VUONG Q K, YUN S H, KIM S. A New Auto Exposure and Auto White-Balance Algorithm to Detect High Dynamic Range Conditions Using CMOS Technology[C]//Proceedings of the World Congress on Engineering and Computer Science 2008, San Francisco, October 22-24, 2008.

[7] LIU Y C, CHAN W H, CHEN Y Q. Automatic White Balance for Digital Still Camera[J]. IEEE Transactions on Consumer Electronics, 1995, 41(3): 460-466.

[8] WANG J, LIU Y, LIU F, et al. A Method of Automatic White Balance Using Fuzzy Logic[C]//IEEE Circuits and Systems Society. The 2000 IEEE Asia-Pacific Conference on Circuits and Systems, Tianjin, China: IEEE, 2000: 615-617. DOI: 10.1109/APCCAS.2000:913576.

[9] CHEN C L, LIN S H. Formulating and Solving a Class of Optimization Problems for High-performance Gray World Automatic White Balance[J]. Applied Soft Computing, 2011, 11(1): 523-533.

[10] WENG C C, CHEN H, FUH C S. A Novel Automatic White Balance Method for Digital Still Cameras[J]. Images & Recognition, 2006, 4(12): 3801-3804.

[11] LIN J. An Automatic White Balance Method Based on Edge Detection[C]//Alexander Belozertsev. 2006 IEEE International Symposium on Consumer Electronics. St. Petersburg, Russia: IEEE. 2006: 1-4.

[12] 王敏, 李斌橋, 徐江濤. 基于色溫估計(jì)的自動(dòng)白平衡算法研究[J]. 光電子·激光, 2011(12): 1872-1875. WANG Min, LI Binqiao, XU Jiangtao. Auto White Balance Algorithm Based on Color-temperature Estimation[J]. Journal of Optoelectronics·Laser, 2011(12): 1872-1875. (in Chinese)

[13] GENOVESE M, NAPOLI E. ASIC and FPGA Implementation of the Gaussian Mixture Model Algorithm for Real-time Segmentation of High Definition Video[J]. IEEE Transactions on Very Large Scale Integration Systems, 2013, 22(3): 537-547.

[14] 楊會(huì)玲, 王軍, 楊會(huì)偉. 高幀頻CMOS實(shí)時(shí)圖像采集系統(tǒng)設(shè)計(jì)[J]. 微計(jì)算機(jī)信息, 2008, 24(30): 309-311. YANG Huiling, WANG Jun, YANG Huiwei. Design of High Frame Frequency CMOS Real-time Image Acquisition System[J]. Microcomputer Information, 2008, 24(30): 309-311. (in Chinese)

[15] 陳必威, 梁志毅, 王延新, 等. 基于FPGA的高幀速CMOS成像系統(tǒng)設(shè)計(jì)[J]. 計(jì)算機(jī)測(cè)量與控制, 2012, 20(5): 1397-1400. CHEN Biwei, LIANG Zhiyi, WANG Yanxin, et a1. Design of a High Speed CMOS Imaging System Based on FPGA[J]. Computer Measurement & Control, 2012, 20(5): 1397-1400. (in Chinese)

[16] 陳國(guó)柱, 劉濤, 李元宗. 基于FPGA的圖像采集與存儲(chǔ)系統(tǒng)的設(shè)計(jì)[J]. 機(jī)械工程與自動(dòng)化, 2007(4): 44-46. CHEN Guozhu, LIU Tao, LI Yuanzong. Design of Image Sampling and Storage System Based on FPGA[J]. Mechanical Engineering & Automation, 2007(4): 44-46. (in Chinese)

[17] 王建華, 劉纏牢, 陳大川, 等. 基于DSP+FPGA技術(shù)的實(shí)時(shí)視頻采集系統(tǒng)的設(shè)計(jì)[J]. 國(guó)外電子測(cè)量技術(shù), 2007, 26(9): 42-44. WANG Jianhua, LIU Chanlao, CHEN Dachuan, et al. Design of Real-time Video Processing System Based on DSP+FPGA[J]. Foreign Electronic Measurement Technology, 2007, 26(9): 42-44. (in Chinese)

[18] DIAZ J, ROS E, PELAYO F, et al. FPGA Based Real-time Optical-flow System[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2006, 16(2): 274-279.

Design and FPGA Implementation of Auto White Balance Method for CMOS Image Sensor

DONG Guowei HOU Zuoxun WANG Zhen PAN Zheng LIU Ming GUAN Chenhui

（Beijing Institute of Space Mechanics & Electricity, Beijing 100094, China）

In order to improve image processing quality and boost processing rate so that the processed images? colors become as same as the colors of human vision feeling, the paper proposes a kind of improved auto white balance method for CMOS camera image processing system. The proposed method is based on the gray world method and the perfect reflector method, and it can choose the proper method between the above two methods automatically by estimating the richness of color in the images. The corresponding FPGA processing modules are designed to implement the methods. Especially, the high-performance parallel pipelined technology and the inner potential parallel processing ability of the modules ensure the real-time processing ability of the complete camera system. The advantages of method mentioned in this article are adaptability and fast processing rate. This method has different threshold parameters for different scenes with appropriate algorithm for each scene to ensure adaptability. Also, it set up a simplified algorithm selecting rules for high speed video whose hardware is easier to implement on FPGA which can guarantee faster processing rate. The simulations and the experiments show that the FPGA system implemented the proposed method can achieve the good processing performance in different sceneries and it can process the 1920×1080 image resolution videos at a speed of 25 fps. This method with high real-time performance and strong adaptability and less cost on hardware as well would have wide prospect on imaging processing field.

image sensor; auto white balance method; field-programmable gate array; space remote sensing

（編輯：龐冰）

TN2

A

1009-8518(2016)03-0082-09

10.3969/j.issn.1009-8518.2016.03.010

董國(guó)偉，男，1982年生，2010年獲東北大學(xué)控制理論與控制工程專(zhuān)業(yè)碩士學(xué)位，工程師，研究方向?yàn)檫b感相機(jī)視頻電子學(xué)設(shè)計(jì)。E-mail：dgw1230@126.com。

2016-03-02