基于灰軸調整的彩色圖像自動白平衡

王 建，龐彥偉，俞 浩

(1. 天津大學電子信息工程學院，天津 300072；2. 天津大學理學院，天津 300072)

當照明光源的色溫發(fā)生改變時，人眼視覺系統(tǒng)能夠自動調整光敏感度，使人眼對物體顏色的感知近似保持不變，這種現象稱為色彩恒常性(color constancy)[1]．消費級數碼相機鏡頭本身不具備色彩恒常性功能，為使拍攝的圖片與人眼現場所見效果接近，需要借助相關技術，使相機具有類似人眼的色適應能力．白平衡是完成上述功能的技術之一，它的目標是調節(jié)不同色溫光照條件下圖像的顏色，使圖像中的白色看上去與標準色溫光源下拍攝的白色一致．白平衡分為手動和自動兩種方式．手動白平衡需要手工確定照片中白色區(qū)域位置，或人工設定拍攝現場光源色溫類型；雖然采用手動白平衡方式可以取得理想的處理效果，但它僅適用于專業(yè)人士．相比之下，自動白平衡(automatic white balance，AWB)技術實現更簡單，處理效果也越來越完善．

已有的 AWB技術主要分為兩類[1]：廣泛假設法和先驗知識法．前者基于對圖像內容的某種假設，如灰色世界假設[2]和白斑假設[3]等．后者需要提前獲得光源信息，主要包括色彩透視法[4]、色彩相關法[5]和色域對應法[6]等．兩類方法相比，廣泛假設法實現簡單，但當圖像內容不滿足假設條件時，處理效果不佳；先驗知識法的性能優(yōu)于前者，但需要復雜的訓練過程，計算量大，不適于硬件實現．

筆者提出了一種基于灰軸調整技術的 AWB算法．該方法基于白斑假設，通過選取偏色圖像中的部分像素點估測估計灰軸，進而計算估計灰軸到理想灰軸的空間變換，并借助該變換實現偏色圖像的自動白平衡處理．與傳統(tǒng)方法相比，所提方法能更好地校正均勻光照條件下彩色圖像的非嚴重偏色情況．

1 背景知識

首先介紹幾個重要術語[7]．

(1)適應白色(adapted white)：人類視覺系統(tǒng)在不同色溫光源條件下所感知的恒常性白色信息．

(2)純白色(pure white)：對人類視覺系統(tǒng)適應白色的描述．如對于RGB三原色系統(tǒng)，取純白色為(R，G，B)=(255，255，255)．

(3)采用白色(adopted white)：攝像設備在不同色溫光源條件下所得到的白色信息．

(4)估計白色(estimated white)：AWB 算法對攝像設備采用白色的估計．

(5)Von Kries色適應模型：Von Kries假設認為，人眼的3種錐狀視覺細胞具有各自的運作適應模式，互不影響．

(6)尺度系數(scale coefficient)：進行白平衡處理時各顏色通道所乘的比例值．

一般的基于廣泛假設AWB方法實現過程包括3步：①估計實際拍攝條件下光源色溫的信息；②計算各顏色通道的尺度系數；③顏色校正．估計光源色溫是最關鍵的步驟．已有方法都是通過求解“采用白色”到“適應白色”的轉換過程來估計光源色溫，但由于無法直接得到“采用白色”，需要借助相關技術估測“采用白色”，即使用“估計白色”代替“采用白色”．

如何得到“估計白色”是各種基于廣泛假設AWB方法的主要區(qū)別．以白斑(white patch)假設為例，它假定“彩色圖像中一定存在白色，而且它對應于圖像中最亮的區(qū)域”[8]．

基于白斑假設 AWB方法(簡記為 WP-AWB)的基本實現思路是：首先根據原始圖像計算“估計白色”；然后使用 Von Kries色適應模型，將“估計白色”轉換為“適應白色”，得到尺度系數；再調整各顏色通道的數值，校正顏色．

以 RGB 顏色空間為例，用{r，g，b}和{r′，g′，b′}分別表示原圖像和處理后圖像中像素點的顏色值，經典WP-AWB方法的處理過程可表示為

式中：re、ge、be分別為“估計白色”的取值；λR、λG、λB分別為各顏色通道的尺度系數，它定義為純白色和估計白色對應顏色通道的比值．早期的 WP-AWB方法[2]只使用灰度信息，選取圖像中最亮的一點作為估計白色，但該方法易受噪聲干擾．后來的方法[9-10]綜合考慮灰度和顏色信息，選擇滿足特定條件的像素點集合計算估計白色．這類方法能有效抑制噪聲影響，但當拍攝場景中不存在白色區(qū)域或者出現鏡面全反射現象時，處理效果不佳．

2 算法描述

2.1 理想灰軸和實際灰軸

首先引入灰軸的概念．圖1所示為RGB色彩空間示意．圖中，R、G、B 三分量的取值都在[0，255]之間；P 點表示純白色，有(rP，gP，bP)=(255，255，255)；O 點對應黑色，有(rO，gO，bO)=(0，0，0)．OP 稱為RGB色彩空間的灰度軸，簡稱灰軸．它上面各點的R、G、B分量取值相等，對應顏色為灰色．所提方法將OP稱為“理想灰軸”，以區(qū)分后面引入的“估計灰軸”．

圖1 理想灰軸和估計灰軸示意Fig.1 Illustration of ideal gray axis and estimated gray axis

以某種標準照明體(如 D65光源)條件下拍攝的圖像作為標準圖像．當光源色溫改變時，圖像中各點的顏色值發(fā)生偏離，整幅圖像發(fā)生偏色．考慮到黑色區(qū)域不反射任何入射光，純白區(qū)域反射全部入射光，因此標準圖像中的黑色區(qū)域在偏色圖像中保持不變，而白色區(qū)域在偏色圖像對應區(qū)域的顏色反映了偏色光源色溫信息．如果用“估計白色”估測偏色圖像中的白色，用E點表示，即E=(re，ge，be)．則OE上各點反映的是標準圖像各灰度級在偏色光照條件下的取值．所提方法將 OE稱為偏色圖像的“估計灰軸”，如圖1所示．

根據上述分析不難發(fā)現，估計灰軸可以看作是理想灰軸在偏色光照條件下發(fā)生偏移的結果．所提算法的基本思路是：借助特定空間變換，將估計灰軸調整至與理想灰軸重合的位置，以此實現自動白平衡．已有WP-AWB方法可看作是根據P點和E點模值的比值進行尺度放縮的過程，沒有考慮兩者方向上的差異．所提方法將 P點和 E點看作是顏色空間中的不同點，借助旋轉變換和尺度變換調整估計灰軸與理想灰軸重合，達到白平衡校正的目的．

2.2 計算估計灰軸

選取圖像中多個點估測 E點．考慮到偏色情況下白色區(qū)域像素點三顏色通道的取值都有可能降低，選用三通道中的最小值表示像素點的強度值．在所提方法中，對于圖像中(i，j)位置的像素點的強度值L(i，j)定義為

與 HSI(hue，saturation，intensity)色彩空間中強度分量I相比，使用式(2)得到的強度分量L偏小，但是對于偏色圖像情況，采用式(2)得到的強度分量更宜于估計 E點．選取占像素點總數(用 N表示)一定比例(用α表示)的像素點估計E點．具體方法是將各像素點按照 L值從大到小的順序排列，選取最前面(100α)%的像素點構造集合，用Ω表示．計算Ω中各點三通道的平均值表示E點，即有

為降低場景中全反射情況的影響，α的取值不能太??；但α的取值越大，越影響估計白色的精度．通過實驗發(fā)現，可取α∈[0.01～0.001]，所提算法取α=0.005．

2.3 計算旋轉變換矩陣

將OE旋轉至OP的過程是三維空間中繞任意軸旋轉的問題[11]．具體過程包括4個步驟．

第1步：計算旋轉軸．

用OZ表示旋轉軸，它應垂直于OE和OP所在平面，且經過 O點．如圖 2所示，使用向量積運算計算OZ，得到

第2步：將OZ旋轉至B軸方向．

將OZ旋轉至B軸方向的方式不唯一．本文選用一種典型方法：首先將OZ繞 R軸旋轉至 R-B平面，再繞 G軸旋轉至 B軸方向，并規(guī)定沿坐標軸向原點看去逆時針的方向為旋轉的正方向．

首先將OZ繞R軸旋轉φ角，如圖2所示．對應的變換矩陣為

圖2 旋轉變換示意Fig.2 Illustration of rotation transformation

然后再繞G軸旋轉?角，對應的變換矩陣為

經上述兩次旋轉，將OZ旋轉至B軸方向．

第3步：繞B軸旋轉θ角．

用θ表示OE和OP夾角，對應的變換矩陣為

根據余弦定理和正弦定理計算cos θ 和sin θ，可以得到

第4步：逆旋轉．

根據變換矩陣的復合法則，將上述4步合并，得到最終的旋轉變換矩陣

2.4 顏色校正

顏色校正包括兩步：首先借助旋轉變換和尺度變換將估計灰軸和理想灰軸重合；然后對變換后的圖像進行截斷處理．

用{r(i，j)，g(i，j)，b(i，j)}表示偏色圖像中(i，j)位置上像素點的顏色值，進行灰軸調整變換，即

式中：{rt(i，j)，gt(i，j)，bt(i，j)}表示變換后的顏色值．放縮系數β定義為OP和OE模的比值，即

經式(9)處理后的某些像素點的顏色值可能超出[0，255]范圍．為顯示方便，需進行截斷處理．以 R 通道為例，其截斷處理過程如式(11)所示，其中 rc(i，j)表示截斷結果．G通道和B通道的處理過程與之類似．

使用式(2)定義的L值可以有效估計偏色情況下的白色區(qū)域，而β能起到拉伸灰度級的作用．實驗表明，由式(11)引起的截斷效應對圖像灰度級別影響并不明顯．

3 實驗結果

為驗證所提算法的有效性，將自己拍攝以及網上收集共 136幅偏色照片作為實驗素材，組織多名評測人員對白平衡結果進行主觀評測．評測結果分為 3種情況：處理效果明顯且與自然光照條件接近；處理效果明顯但與自然光照條件有較大差別；處理效果不明顯．只將第1種情況判為處理成功．統(tǒng)計評測結果發(fā)現，共有 112幅圖像被判為處理成功，成功率在82%以上．導致處理失敗的原因主要有 2個．第 1個原因是嚴重偏色情況，此時原圖像中白色區(qū)域三顏色通道取值變化明顯，僅使用 L值不能很好地估計 E點，導致估計灰軸存在偏差．第 2個原因是多光源不均勻光照情況，所提模型只針對單一均勻光源情況，當場景中同時存在多個光源時，所提方法失效．圖 3給出了部分處理結果，其中第1幅和第2幅圖像為處理成功的例子，第3幅圖像屬于嚴重偏色引起的處理失敗情況．

圖3 仿真結果示例Fig.3 Examples of simulation results

為進一步評價所提算法的性能，選用一種經典WP-AWB方法[9]和 Photoshop CS3自動色階處理技術與所提算法進行比較．圖 4所示為 3種方法性能比較結果．圖中，前 4幅圖像對應均勻光照條件下的偏色情況．第 1幅和第 2幅圖像中都存在明顯純白區(qū)域，使用 3種方法都能得到較好的白平衡結果．第3幅圖像中最亮區(qū)域對應于椅子金屬把手產生的全反射，WP-AWB法將該區(qū)域誤判為估計白色，方法失效，所提方法和 Photoshop都能較好地處理這類情況，處理結果相近．第4幅圖像代表嚴重偏色情況，3種方法的處理結果都不理想，相比之下，Photoshop的處理結果略優(yōu)于所提算法，WP-AWB方法最差．第5幅圖像是多光源非均勻光照條件，圖中有2個主要光源，分別是室外通過藍色窗簾入射的自然光和室內臺燈產生的白熾燈光．對于這種情況，3種方法都失效．

選用本文方法、白斑法[9]、灰色世界法[2]以及Photoshop自動色階調整共 4種方法進行定量分析．選用標準光源(D65)照射條件下的24色標準色卡(如圖 4(a)圖像所示)作為標準圖像．偏色光源分別選用白熾燈、熒光燈和正午晴天日光光源．實驗選用的拍攝設備是Cannon A640數碼相機，拍攝方式選擇手動，曝光模式選擇手動曝光，關閉相機的自動白平衡功能，感光度設為 ISO 100．拍攝得到的標準圖像及3種偏色圖像都以24位真彩色TIFF格式存儲，色彩模式為RGB．分別采用上述 4種方法對 3種光源照射下的偏色圖像進行白平衡校正，處理結果存儲為原圖像相同的格式．計算校正圖像與標準圖像對應像素的均方差，用σ表示．采用σ值的大小衡量校正性能，σ值越小，說明校正圖像與標準圖像越接近，校正效果越佳；反之亦然．為便于比較，以本文算法的均方差為基準，計算其他3種方法的均方差與所提方法均方差的比值．如果比值小于 1，則說明該方法優(yōu)于所提方法．表 1給出了 3種光照條件下 4種方法的性能定量比較結果．由表 1可見，白熾燈光照條件下各種方法的性能差別最大，日光條件下的差別最??；所提方法的處理效果略低于 Photoshop處理結果，但明顯優(yōu)于白斑法；灰色世界法處理效果最差．但并不能斷定白斑法優(yōu)于灰色世界法．造成灰色世界法處理效果較差的原因是該方法假定標準圖像中各色彩通道的平均值都是 128[2]，但通過觀察發(fā)現，標準圖像中背景偏暗，并不滿足灰色世界法的假設條件，導致校正后的圖像與標準圖像存在較大差別．

圖4 不同方法性能比較結果Fig.4 Comparison of performance between various methods

表1 不同方法的定量比較Tab.1 Quantitative comparison between various methods

綜上所述，本文方法可以有效校正均勻光照條件下的偏色圖像，白平衡處理效果與 Photoshop的自動色階結果接近，優(yōu)于經典的白斑法和灰色世界法．

4 結 語

提出了一種基于灰軸調整技術的自動白平衡算法．分析了經典 WP-AWB方法的不足，引入了估計灰軸和理想灰軸的概念．推導出了將估計灰軸和理想灰軸重合的變換矩陣，在此基礎之上實現白平衡處理．實驗結果表明，所提算法可以有效校正均勻光照條件下彩色圖像的非嚴重偏色情況，并能有效克服全反射情況的影響．未來的工作集中在兩個方面：一是將該方法推廣到其他顏色空間(如 CIELab空間)；二是增加偏色檢測過程，進一步提高算法的性能．

［1］ Ebner M. Color Constancy [M]. USA： John Wiley &Sons，2007.

［2］ Buchsbaum G. A spatial processor model for object color perception[J]. Journal of Franklin Institute，1980，310(1)：1-26.

［3］ McCann J. Lessons learned from mondrians applied to real images and color gamuts [C]// Proceedings of the IS & T/SID 7th Color Imaging Conference. Scottsdale AZ，USA，1999：1-8.

［4］ Finlayson G. Color in perspective[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，1996，18(10)：1034-1038.

［5］ Finlayson G，Hordley S，Hubel P. Color by correlation：A simple，unifying framework for color constancy [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2001，23(11)：1209-1221.

［6］ Jiang X Y，Ohta N. Illuminant estimation based on von kries transformation and gamut comparison[C] // Proceedings of IS & T/SID 9th Color Imaging Conference．Scottsdale AZ，USA，2001：141-145.

［7］ Fairchild M D. Color Appearance Models[M]. 2nd ed.USA：John Wiley and Sons，2005.

［8］ Provenzi E，Gatta C，Fierro M，et al. A spatially variant white-patch and gray-world method for color image enhancement driven by local contrast [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2008，30(10)：1757-1770.

［9］ Nakano N，Nishimura R，Sai H，et al. Digital still camera system for megapixel CCD[J]. IEEE Transactions on Consumer Electronics，1998，44(3)：581-586.

［10］ Chikane V，Fuh C S. Automatic white balance for digital still cameras [J]．Journal of Information Science and Engineering，2006，22(3)：497-509.

［11］ 潘云鶴，董金祥，陳德人. 計算機圖形學——原理、方法和應用[M]. 2版. 北京：高等教育出版社，2003.Pan Yunhe，Dong Jinxiang，Chen Deren. Computer Graphics——Principles，Methods and Applications [M].2nd ed. Beijing：Higher Education Press，2003(in Chinese).