基于通用三原色信道的四原色圖像顏色表示方法

宇 欣，雷志春，2*

(1. 天津大學 微電子學院，天津 300072；2.魯爾西應(yīng)用科學大學 傳感與測量研究所，德國 45479)

1 引 言

采用BT.709標準[1]的三原色(即紅色(R)，綠色(G)和藍色(B)，RGB)彩色圖像僅能覆蓋視覺軌跡的33.24%，在顯示端，可以呈現(xiàn)的最大色域覆蓋范圍甚至更小。許多顏色，特別是具有高飽和度的顏色，不能通過混合R、G和B形成。

視頻廣播，通信，電子商務(wù)等領(lǐng)域?qū)Ω呱时Ｕ娑鹊囊骩2-3]促使了寬色域(WCG)技術(shù)的出現(xiàn)。近些年來，為了擴展色域，國內(nèi)外開展了大量研究工作，主要有以下4個方面：(1)采用“負”值RGB色光，例如IEC 61966-2-4[4]標準通過傳輸“負”值RGB原色并放寬預留量化層來擴展色域。但是，IEC 61966-2-4需要壓縮”負”值顏色信號，壓縮會影響信號的保真度，從而會導致顏色重現(xiàn)的誤差，特別是對于”負”值紅色，因為其絕對幅度比綠色和藍色的絕對幅度大得多。此外，借助附加量化級別的色域擴展有限，色域覆蓋率僅能擴展至37.15%[5]，即相對于BT.709定義的傳統(tǒng)色域，采用IEC 61966-2-4后的色域覆蓋率只能提高約5%；(2)采用高飽和度的三原色，例如BT.2020標準[6]規(guī)定了迄今為止三原色可以實現(xiàn)的最大色域，覆蓋99.9%的Pointer色域[7]。由于其對高飽度顏色的要求很高，盡管HDR10、Dolby Vision、HDMI2.0、DisplayPort1.4、H.265/HEVC等標準支持BT.2020，但是到目前為止還沒有能夠完全滿足BT.2020要求的成像技術(shù)和顯示技術(shù)。而且BT.2020的色域仍然限制在RGB三角形區(qū)域，無法覆蓋人眼全部可視色域。值得一提的是，工業(yè)界已經(jīng)指出了覆蓋Pointer色域之外的顏色的必要性，例如霓虹燈、LED燈和激光等人造光源的顏色超出了Pointer色域[8]，甚至也超出了BT.2020 色域[9-10]。另外，通過將量子點技術(shù)應(yīng)用于成像設(shè)備[11,12]，可以對純色進行成像，這些色彩位于Pointer色域之外。因此，盡管當前與WCG相關(guān)的標準通常將Pointer色域視為目標色域，但是其不應(yīng)該是技術(shù)發(fā)展的最終色域；(3)采用多原色顯示器，例如采用多原色濾光片和多原色背光源擴展液晶顯示系統(tǒng)的色域范圍[13-23]。然而，擴展源端的色域是擴展顯示端色域的基礎(chǔ)，僅當成像源提供多原色的信息時，才能實現(xiàn)在顯示端擴展色域；(4)采用多原色圖像傳感器：例如CYGM(青色，黃色，綠色，品紅色)圖像傳感器[24]以及RGBE(紅色，綠色，藍色和寶石藍色)圖像傳感器[25]。特別是RGBE圖像傳感器，其濾光陣列中的E原色作為紅色的補色，更接近人類視覺系統(tǒng)的特性。

多原色技術(shù)可以更有效地覆蓋Pointer色域和人眼可視色域，不僅涉及到已有的成像和顯示方面的研究，而且還涉及到本文研究的多原色高效傳輸問題。目前WCG的視頻編碼標準，例如JPEG XT和HEVC[26-27]，還不能夠通過YUV格式的數(shù)據(jù)量解決兼容傳輸四原色信號的問題，不僅限制了多原色圖像傳感器的廣泛應(yīng)用，也限制了多原色顯示器的色域擴展范圍。為有效傳輸四原色圖像信號，為四原色圖像傳感器的應(yīng)用鋪平道路，并且使四原色顯示器能夠接收和正確顯示四原色圖像信號內(nèi)容，以達到擴展色域的目的，本文提出一種利用三原色圖像的傳輸帶寬，即YUV信號的傳輸帶寬，傳輸四原色圖像信號的方案。

2 傳輸四原色視頻面臨的問題

雖然RGBE等四原色圖像傳感器已被相機開發(fā)和使用，但其缺乏用于傳輸附加E原色的傳輸方法，仍然不能傳輸四原色視頻圖像源到四原色視頻顯示端。以下，作者將討論兩種傳輸四原色的方法，兩種方法都存在數(shù)據(jù)量顯著增加的問題。由于本文論述的四原色顏色表示方法不限制第四原色，因此后文將用′X′表示第四原色。

2.1 傳輸四原色的直接方案

圖1示出直接傳輸四原色圖像視頻的方案。目前通用的R、G、B三原色仍然形成標準的YUV 3 個信號，而X原色信號作為獨立信號傳輸。普通顯示器只處理YUV信號，丟棄X圖像分量。多原色顯示器則能處理YUV和X四個圖像信號，達到擴展色域的目的。但是上述直接傳輸四原色圖像的方法將顯著增加傳輸數(shù)據(jù)量。

圖1 傳輸RGBX視頻的直接方案Fig.1 Straight forward scheme for distributing RGBX color image

2.2 將四邊形分解為兩個三角形

RGB三原色和第四原色X構(gòu)成四邊形，將四邊形分解為兩個三角形、并且針對一個像素僅傳輸三原色，與上述直接方案相比，可以顯著減少數(shù)據(jù)量。其中X原色位于直線BG的左側(cè)，如圖2所示。

圖2 由RGBX四原色構(gòu)成的色域(RGB為BT.709三原色)Fig.2 Gamut constituted by R, G, B, X (RGB are primaries specified by BT.709)

對于當前的三原色視頻系統(tǒng)，由RGB三角形覆蓋的復合色光只存在唯一的表達方式。而在四原色的情況下，復合色光的表達方式不唯一，如圖2的復合色光C1、C2、C3和C4所示。這些復合色光可以由R、G、B和X混合，但是，R、G、B和X的混合比例不是唯一的，而且如前所述，由四原色表示的色光將對視頻傳輸構(gòu)成高數(shù)據(jù)量的挑戰(zhàn)。

為了解決上述問題，本文將由R、G、B和X構(gòu)成的四邊形分解為兩個三角形RGB和XGB，如圖2所示。圖2中如C1的色光位于RGB三角形內(nèi)部，可以由R、G和B三原色計算。這些色光在傳統(tǒng)顯示器的色域內(nèi)，可以通過傳統(tǒng)的顯示設(shè)備正確地呈現(xiàn)。因此，傳輸色光如C1的YUV信號將由R、G和B計算。雖然類似C1的色光也在三角形RGX內(nèi)，并且可以由R、G和X計算，但它的傳輸與當前RGB視頻系統(tǒng)不兼容。出于同樣的原因，圖2中的色光C2(位于RGB三角形和RXB三角形內(nèi))亦應(yīng)由R、G和B表示。相反，類似C3的色光不在三角形RGB內(nèi)，不能用RGB三種原色混合，普通顯示設(shè)備不能正確地呈現(xiàn)類似C3的色光。但是，色光C3位于XGB三角形內(nèi)，因此可以使用X、G和B三原色進行混合。為了傳輸例如C3的復合色光，還必須像RGB情況一樣，構(gòu)建Y、U和V信號，但是，它們的含義與RGB情況的YUV不同。BG線上的復合色光，例如C4，雖然既可以用RGB，也可以用XGB三原色表示，但是在這種情況下，R和X均為0，只有普通三原色中的G和B有助于混合它們，所以不受RGB和XGB的限制。

選擇三角形后，需要計算亮度信號Y和兩個色差信號U和V以達到傳輸?shù)哪康摹榱藰俗RYUV的來源，需要附加標志信息，即標識由RGBX四邊形分解的哪個三角形(RGB或XGB)計算而來。原則上，每個像素都需要附加標志信息，以標識構(gòu)成Y、U和V信號的三原色，如圖3所示。

圖3 帶有標志信息的四原色傳輸方法Fig.3 Method of transmitting four-primary colors with metadata

圖3所示的傳輸方案比圖1所示的直接方案需要的數(shù)據(jù)量少。因為對于任何像素，只需要1 bit數(shù)據(jù)來指示YUV數(shù)據(jù)的來源，即XGB或RGB三原色系統(tǒng)。然而，為每個像素額外傳輸1 bit數(shù)據(jù)的也增加了YUV信號總數(shù)據(jù)量，從而對頻帶資源帶來挑戰(zhàn)。例如，要傳輸一1 920×1 080格式的HDTV圖像，需要額外傳輸1 920×1 080×1 bit標志數(shù)據(jù)。即使在4∶2∶0下采樣時，即960列和540行，也需要960×540×1 bit標識數(shù)據(jù)來傳輸每個像素的來源。

由于上述方案與2.1節(jié)的方案都存在數(shù)據(jù)量顯著增加的問題，本文開發(fā)了一種盲識別方法，即無需傳輸標志信息來識別YUV數(shù)據(jù)來源的方法。在下一節(jié)中，作者將描述RGB和XGB的不同顏色編碼方案，使得解碼器盲識別YUV的來源。

3 三原色的編碼方案和盲識別方法

為了識別傳輸?shù)腨UV數(shù)據(jù)來自于RGB還是XGB顏色空間，本文將在XGB和RGB顏色空間中使用不同的YUV編碼方案。由于需要下標區(qū)別XGB和RGB顏色空間，為了簡化，本文的Y、U和V信號與Y、Cb和Cr信號意義相同。因為有RGB和XGB情況，YRGB、URGB和VRGB用于表示RGB情況下的Y、U和V信號。類似地，YXGB、UXGB和VXGB表示XGB情況下的Y、U和V信號。

下面以HDTV為例，分別闡述RGB顏色空間的編碼和解碼以及XGB顏色空間亮度信號、色差信號的確定和盲識別YUV數(shù)據(jù)來源的方法。

3.1 RGB顏色空間的編碼和解碼

RGB顏色空間的編碼和解碼與通用三原色HDTV色度系統(tǒng)相同。對于RGB情況，根據(jù)ITU-R BT.709，HDTV信號的亮度信號和兩個色差信號具有如下關(guān)系：

(1)

式中，YRGB代表RGB情況下的亮度信號；URGB、VRGB代表RGB情況下的兩個色差信號；R0代表紅原色信號；G0代表綠原色信號；B0代表藍原色信號。紅、藍色差信號的壓縮系數(shù)分別為：kR=0.5/0.7874=0.635，kB=0.5/0.9278=0.539。

YRGB的標稱范圍是[0, 1]；URGB和VRGB的標稱范圍為[-0.5, 0.5]，在進行偏置后，它們的標稱范圍與YRGB信號的標稱范圍相同。

在數(shù)字電視系統(tǒng)中，亮度信號和色差信號也必須通過采樣和量化處理。當采用8位量化時，亮度信號被均勻量化為256個量化級。在256個量化級中，上端留20個量化級，下端留16個量化級，作為防止超越動態(tài)范圍的保護帶。量化級0和255用于同步，亮度信號占據(jù)220個電平，其中黑色電平處于量化電平16，白色電平處于量化電平235。

根據(jù)方程(1)，兩個色差信號都是雙極性信號，占據(jù)225個量化電平，類似于亮度情況，上端留15個量化級，下端留16個量化級。

因此，當在數(shù)字視頻中應(yīng)用n比特量化時，RGB和YUV系統(tǒng)可以由方程(2)和(3)表示：

(2)

(3)

由于8位量化廣泛用于現(xiàn)有的信號系統(tǒng)，本文將以8位量化為例研究寬色域視頻圖像表示方法。當n=8時，將方程(3)轉(zhuǎn)換為矩陣形式，RGB和YUV顏色空間數(shù)據(jù)通過方程(4)和(5)相互轉(zhuǎn)換：

(4)

(5)

由于防止超越動態(tài)范圍的保護帶，彩色信號的量化范圍僅有220級，即被壓縮219/255=0.8588。因為必須在顯示終端重現(xiàn)信號的動態(tài)范圍，更確切地說顯示器處理的RGB數(shù)據(jù)范圍是0～255，所以壓縮的彩色信號應(yīng)該擴展255/219=1.1644[28]。此時，解碼方程可表示為：

(6)

式中，R、G和B分別代表重現(xiàn)的量化RGB信號。

3.2 XGB顏色空間的編碼和解碼

由于迄今為止沒有傳輸XGB三原色圖像和視頻的標準，因此，XGB情況下發(fā)送的YUV信號可以表示為三原色X、B和G的線性組合：

(7)

式中，an，bn，cn(n= 1, 2, 3)分別為彩色信號X0、B0和G0的壓縮系數(shù)。為了使YXGB、UXGB和VXGB的標稱范圍在[0,1]內(nèi)，應(yīng)滿足以下條件：

(8)

(9)

(10)

本文使YXGB僅依賴于X，UXGB僅依賴于B，而VXGB僅依賴于G來提高盲識別的成功率。這里成功率指：如果YUV來自RGB顏色空間，則從YUV數(shù)據(jù)流中解碼出RGB顏色；如果YUV來自XGB顏色空間，則從YUV數(shù)據(jù)流中解碼出XGB顏色。所以方程(7)可以轉(zhuǎn)換為方程(11)：

(11)

因為只存在3個系數(shù)，即a1、b2和c3，所以方程(10)簡化為方程式(12)：

(12)

3.3 盲識別YUV數(shù)據(jù)來源的方法

彩色電視采用YUV空間是為了用亮度信號Y解決彩色電視機與黑白電視機的兼容問題，使黑白電視機也能接收彩色電視信號。本文討論的方法是使四原色彩色電視能夠接收和顯示四原色視頻圖像，以擴展色域。RGB視頻圖像源可以通過本文方法在能夠呈現(xiàn)RGB和X原色的寬色域顯示器正確顯示，然而RGBX視頻圖像源不能在僅支持RGB的傳統(tǒng)顯示設(shè)備上顯示擴展色域。因此本文提出的四原色表示方法與僅支持RGB的傳統(tǒng)顯示設(shè)備沒有前向兼容性。由于基于RGB三原色的顯示器不能顯示X原色，如果普通RGB顯示器接收到圖像中采用XGB表達的區(qū)域，則R分量設(shè)置為0。實際上，基于RGB三原色的相機拍攝的超出RGB色域的情況亦是置R為0，因為在這種情況下RGB圖像傳感器的R單元輸出為0。相反，能夠呈現(xiàn)RGB和X原色的寬色域顯示器，可以重現(xiàn)由RGB混合的色光和由XGB混合的色光，如圖4所示。

圖4 RGBX四原色視頻系統(tǒng)Fig.4 RGBX four-primary video system

圖5 YUV信號的形成和YUV信號源的盲識別Fig. 5 Formation of YUV signals and blind identification of YUV signals source

如圖5所示，接收端識別YUV信號數(shù)據(jù)來源的具體過程如下：在接收端，應(yīng)用RGB解碼矩陣從接收的YUV信號解出三原色信號R或X(因為接收信號可能來自R或X，所以它被表示為R/X)、G、B信號。如果R/X、G和B的值都在0～255之間，則復合色光是由RGB三原色混合而成；如果R/X、G和B值中的至少一個小于0或大于255，則復合色光是由XGB三原色混合而成。

有效識別YUV數(shù)據(jù)源的前提條件是220×220×220組合(如前所述，XGB信號的量化范圍為16～235，具有220級)情況下應(yīng)出現(xiàn)奇異值。XGB情況壓縮系數(shù)的不同將導致不同的成功識別率，因此壓縮系數(shù)的選擇很關(guān)鍵。計算壓縮系數(shù)的不同組合及其相應(yīng)的成功識別率的過程如圖6所示。

圖6 計算壓縮系數(shù)方框圖Fig.6 Schematic diagram of calculating the compression factors

圖6給出了計算壓縮系數(shù)a1、b2和c3的主要步驟，旨在提高YUV數(shù)據(jù)源的成功識別率：

(1)將成功識別的數(shù)量(成功識別為XGB情況)′amount′初始化為0，并將壓縮系數(shù)a1、b2和c3初始化為1，即最大值；

(2)在編碼端初始化XGB信號的量化值，即方程(9)中的X′、G′和B′；

(3)通過XGB編碼矩陣對XGB信號進行編碼，以根據(jù)方程(11)和(12)獲得YUV信號；

(4)通過RGB解碼矩陣對YUV信號進行解碼，以重現(xiàn)XGB信號；

(5)檢查重現(xiàn)的XGB信號是否具有奇異值：如果是，即認為是XGB情況，則′amount′增加1；如果不是，即認為是RGB情況，那么′amount′保持不變；

(6)檢查X′，G′和B′是否增加到235：如果是，則計算成功識別率(即amount/2203)，輸出a1，b2，c3和相應(yīng)的成功識別率，設(shè)定′amount′為0；如果不是，將X′、G′和B′依次增加1，然后返回步驟(3)；

(7)檢查a1、b2和c3是否降低到下限(以保證YUV包含所有XGB信息，a1、b2和c3都不為0)：如果是，則程序結(jié)束；如果不是，則設(shè)置步長(小值，例如0.1)并依次減小a1、b2和c3的值，然后返回步驟(4)。

4 測試實驗與結(jié)果分析

4.1 盲識別成功率及壓縮系數(shù)的確定

選擇壓縮系數(shù)有兩個標準：首先成功識別率盡可能高；其次壓縮系數(shù)盡可能大。根據(jù)上述標準，在圖6中將下限設(shè)置為0.2，并將步長設(shè)置為0.1時，所有a1、b2和c3的可能組合的成功識別率由圖6中所示的方框圖產(chǎn)生。如果第一組的a1、b2和c3之和小于或等于第二組，但第一組的成功識別率小于第二組，則忽略第一組并保存第二組。有意義的結(jié)果值列在表1中。

本文采用典型的USC-SIPI圖像數(shù)據(jù)庫Miscellaneous標準彩色測試圖像在Matlab仿真平臺上來驗證上述方案的可行性。首先，從測試圖像中提取RGB信號。由于目前沒有能夠輸出

表1 不同壓縮系數(shù)的成功識別率

Tab.1 Successful identification rates vs. different compression factors

序號a1b2c3成功識別率/%10.50.2110020.30.3110030.40.3199.84140.60.2199.67450.70.2197.23160.80.2194.089710.2192.92580.50.4191.50690.70.3190.9911011175.562

RGBX圖像的相機，假設(shè)測試圖像是由XGB信號生成的，即X信號由R信號代替，以達到驗證目的。然后通過XGB編碼矩陣將提取的XGB信號轉(zhuǎn)換為YUV信號。最后，通過RGB解碼矩陣對YUV信號進行解碼，并確定重現(xiàn)的XGB信號是否具有奇異值，從而計算成功識別率。

圖7 成功識別率Fig.7 Successful identification rates

如表1所示，當根本沒有壓縮時，即a1=b2=c3=1時，成功識別率僅為75.562%，此時被測試圖像的成功識別率較低，如圖7所示。因此，未壓縮的系數(shù)情況不適合于四原色圖像數(shù)據(jù)流中RGB和XGB顏色空間的盲識別。

選擇a1=0.5，b2=0.2，c3=1作為最合適的壓縮系數(shù)后，它們在確保完全識別的前提下的準確度增加到小數(shù)點后四位，如RGB情況。最終計算的壓縮系數(shù)是a1=0.504 5，b2=0.225 4和c3=1.000。將它們代入方程(12)，XGB信號和YUV顏色空間數(shù)據(jù)可以通過方程(13)和(14)相互轉(zhuǎn)換：

(13)

如上所述，RGB情況下的R、G和B色差信號需要被壓縮到一定程度。比較公式(13)與公式(4)，可以得出結(jié)論，雖然XGB情況下的X和B信號比RGB情況下的R和B信號壓縮得多，但XGB情況下的G信號沒有被壓縮，這更符合人類視覺特征。

(14)

(15)

其中：X、G和B分別代表重現(xiàn)的量化XGB信號。

在使用由等式(15)獲得的矩陣計算之后，測試圖像的成功識別率均為100%。

4.2 JPEG編碼下的RGB與XGB圖像質(zhì)量評估

由于本文XGB情況下的編碼方法壓縮了Y、U和V的信號值，但未對其進行去相關(guān)，因此除了對成功識別率的評估之外，本節(jié)示出RGB與XGB圖像經(jīng)JPEG壓縮后解碼重構(gòu)的圖像，并計算RGB與XGB圖像數(shù)據(jù)壓縮率以評估所提出的編碼方法的編碼效率。由于目前無法獲得X色信號，類似于成功識別率的計算過程，假設(shè)測試圖像是由XGB信號生成的，用于驗證目的。首先，從測試圖像中提取RGB信號。然后通過XGB編碼矩陣將提取的RGB信號轉(zhuǎn)換為YUV信號。最后，執(zhí)行JPEG編碼與解碼并計算壓縮率(壓縮率=原始圖像尺寸/壓縮圖像尺寸)。壓縮率越高，編碼效率越高，反之，則說明編碼效率較低。RGB格式圖像數(shù)據(jù)壓縮率的計算過程同理。

圖8示出測試圖像分別在RGB和XGB格式下經(jīng)過JPEG壓縮并解碼重構(gòu)的圖像。

圖8 RGB與XGB格式JPEG圖像解碼重構(gòu)結(jié)果圖Fig.8 Reconstruction results of RGB and XGB format JPEG images

圖9 RGB與XGB格式圖像壓縮率對比圖Fig.9 Comparison of compression ratio of RGB and XGB format images

壓縮率測試結(jié)果如圖9所示，XGB格式測試用圖像的數(shù)據(jù)壓縮率大于RGB格式，數(shù)據(jù)壓縮率可提升0.07～5.99。結(jié)果證明了利用通用三原色信道將四原色彩色圖像表示為通用YUV圖像格式，進行視頻圖像傳輸?shù)目尚行浴?/p>

4.3 10/12 bit位寬結(jié)果

根據(jù)上述方法計算并驗證具有10 bit編碼格式的BT.709 RGB原色和具有10/12 bit編碼格式的BT.2020 RGB原色的情況，結(jié)果列于表2中。當RGB為BT.2020原色時，由R、G、B、X構(gòu)成的四邊形的色域如圖10所示。當X位于圖10的青色區(qū)域內(nèi)時，RGBX四原色不僅可以完全覆蓋、甚至遠遠超出Pointer色域。

圖10 由RGBX四原色構(gòu)成的色域 (RGB為BT.2020原色)Fig.10 Gamut constituted by R, G, B, X (RGB are primaries specified by BT.2020)

表2 不同位寬下RGBX表示的編解碼參數(shù)及相關(guān)特性Tab.2 Parameters and characteristics of RGBX presentations

續(xù) 表

5 結(jié) 論

擴展視頻源的色域范圍是擴展顯示器的色域范圍的前提。多原色視頻傳感器和多原色顯示器的數(shù)據(jù)傳輸需要多原色傳輸與編碼方法。因此，本文提出了一種基于三原色信道傳輸四原色圖像數(shù)據(jù)的顏色表示方法。為了在三原色通道兼容傳輸四原色信息，由RGB和X構(gòu)成的四邊形被分解為RGB以及XGB三角形。本文設(shè)定了XGB顏色空間的編解碼方程，并且在解碼端可以盲識別YUV信號來自于RGB還是XGB顏色空間。利用JPEG圖像壓縮算法測試其YUV序列，相較于RGB三原色系統(tǒng)，數(shù)據(jù)壓縮率可提升0.07～5.99，色域覆蓋率遠遠超過Pointer色域，更加接近人眼可視色域。實驗結(jié)果證明了本文方法的可行性，因此本文描述的盲識別方案有助于實現(xiàn)四原色視頻系統(tǒng)。將來，可以在XGB顏色空間中提出YUV的其他編碼方案，例如更加優(yōu)化的顏色分量去相關(guān)方案，以有助于傳輸四原色圖像和視頻內(nèi)容的標準化。