一種與顯示設(shè)備相關(guān)的抗顏色混疊新方法

趙小明趙園美周筱媛②袁勝春

①(西安電子科技大學(xué)技術(shù)物理學(xué)院 西安 710071)②(西安科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 西安 710054)

1 引言

顯示技術(shù)是信息產(chǎn)業(yè)所包含技術(shù)中的最關(guān)鍵部分之一，是信息系統(tǒng)與人交互的橋梁與紐帶。它的發(fā)展與變革提高了人們的生活質(zhì)量，促進(jìn)了其它行業(yè)的發(fā)展。21世紀(jì)以來，各種平板顯示設(shè)備的應(yīng)用(小到手機(jī)、數(shù)碼相機(jī)，大到戶外顯示屏等)在社會生活中隨處可見。平板顯示器與依靠電子束轟擊熒光屏發(fā)光的 CRT顯示器不同，它只有固定的分辨率，因?yàn)樗鼈兊奈锢硐袼赜扇?紅、綠、藍(lán))亞像素按某種排布，整齊緊密地固化在顯示面板上。因此平板顯示器的畫面質(zhì)量、生產(chǎn)成本、制造工藝與物理像素的規(guī)模緊密相關(guān)。

對顯示質(zhì)量的持續(xù)追求是顯示行業(yè)研究的永恒課題。同等條件下，基于人眼空間混色效應(yīng)的亞像素采樣技術(shù)以顏色混疊為代價(jià)有效提高了畫面的顯示質(zhì)量，原因是人眼對色度的敏感程度遠(yuǎn)低于對亮度的敏感程度[1]；同時(shí)，亞像素采樣技術(shù)可以使高分辨率畫面清晰顯示于低分辨率設(shè)備上。盡管如此，有效消除或減弱顏色混疊仍然是亞像素采樣技術(shù)亟待解決的關(guān)鍵問題。

目前眾多文獻(xiàn)[218]-的做法是在尋址之前對圖像進(jìn)行低通預(yù)處理，濾除圖像中的高頻信息達(dá)到減弱或消除顏色混疊的目的。其中已出現(xiàn)了4種從不同角度設(shè)計(jì)濾波器的方法：一是以文獻(xiàn)[2,3]為代表的基于心理學(xué)實(shí)驗(yàn)在頻率域定義一個(gè)顏色誤差度量，并在最小化誤差度量的基礎(chǔ)上構(gòu)造 5-tap濾波器；二是以文獻(xiàn)[4,5]為代表的針對 LCD 顯示器亞像素RGB-trio排布的濾波器，其主要應(yīng)用于灰度圖像的字體顯示。較強(qiáng)的針對性限制了這兩種方法的推廣；三是文獻(xiàn)[6]中提出的多相位濾波器。該方法在消除顏色錯誤的同時(shí)對高頻子圖像清晰度的影響較大；四是文獻(xiàn)[7,8]中提出的用最小化最大錯誤方向法構(gòu)造的低通濾波器。另外文獻(xiàn)[9]基于人眼視覺特性從尋址后的圖像出發(fā)，提出一種多尺度的顏色誤差度量方法；文獻(xiàn)[10]在顏色誤差定位與量化的前提下提出一種自適應(yīng)濾波法。后兩種方法雖然實(shí)現(xiàn)了在保持清晰度的同時(shí)弱化了顏色錯誤，但其存在計(jì)算量大的問題。

亞像素排布的多樣性(如常見的 RGB-trio排布，RGB-mosaic排布，RGB-delta排布等)是平板顯示器的另一大特點(diǎn)。分析與研究表明顏色混疊除了與顯示系統(tǒng)的采樣率有關(guān)外，還與三基色亞像素的排布密切相關(guān)。鑒于此，依據(jù)顯示設(shè)備亞像素排布各基色不同的Nyquist頻率限制，本文提出了與設(shè)備相關(guān)的抗顏色混疊法。該方法與已有文獻(xiàn)方法的最大不同在于對原始圖像各基色施加不同的抗顏色混疊濾波運(yùn)算，以達(dá)到保持更多圖像細(xì)節(jié)并減弱甚至消除顏色錯誤的目的，同時(shí)，算法簡單易于實(shí)現(xiàn)。

本文首先簡要介紹亞像素采樣技術(shù)，其對顯示的貢獻(xiàn)以及所產(chǎn)生的負(fù)面問題顏色混疊現(xiàn)象。其次指出顏色混疊現(xiàn)象出現(xiàn)的原因，并在頻域內(nèi)通過倒晶格理論揭示各基色Nyquist頻率限制與亞像素排布的關(guān)系，以及它們對顏色混疊的影響。然后闡述與設(shè)備相關(guān)的顏色混疊抑制算法。最后通過仿真實(shí)驗(yàn)及理論分析說明該方法的有效性。

2 亞像素采樣

亞像素采樣技術(shù)泛指在顯示過程中以各基色亞像素作為尋址、采樣及重構(gòu)的基本處理單元。由于空間位置分離的亞像素彼此緊密交錯排列，在適當(dāng)?shù)挠^看距離下，并列排放在一起的不同顏色亞像素就會發(fā)生空間色彩混合，形成全彩色圖像。顯然，這種技術(shù)提高了亮度分量的顯示密度，從而有效改善了設(shè)備的顯示質(zhì)量。

圖1顯示了4種常見的亞像素排布。圖2以圖1(c)所示的RGBR-mosaic排布為例，說明全像素采樣與亞像素采樣的不同。設(shè)大小為2M×2N的原始圖像，在低分辨率(M×N)設(shè)備上以全像素采樣方式顯示時(shí)，需要在水平、垂直方向上各進(jìn)行壓縮2倍的下采樣，即從原始圖像每4個(gè)像素中抽取1個(gè)像素，尋址對應(yīng)到設(shè)備的物理像素。而亞像素采樣從原始圖像中相鄰的4個(gè)像素分別獲得相應(yīng)的R,G,B分量映射到一個(gè)物理像素上。

需要說明的是，盡管不同平板顯示器的發(fā)光體形狀各不相同，但在足夠的視距條件下亞像素形狀可以忽略不計(jì)。為便于描述，文中圖示選擇不同的亞像素形狀。

圖3為大寫字母V分別以全像素采樣和亞像素采樣在 RGBR-mosaic排布上顯示的仿真結(jié)果?？梢钥吹?，在相同的物理像素密度下，與全像素采樣相比，亞像素采樣使得顯示圖像邊緣的輪廓更加清晰，鋸齒狀邊界得到明顯緩解，但是圖像的局部區(qū)域(如“V”的上邊緣)出現(xiàn)了一定的顏色錯誤。

3 亞像素采樣的顏色混疊

3.1 顏色混疊出現(xiàn)的原因

若忽略顏色，從圖2可以看出，亞像素采樣一方面顯著提高了系統(tǒng)的采樣率；另一方面，只保留了原始圖像中每個(gè)像素的一個(gè)顏色分量。這種顏色上的欠采樣使得亞像素采樣系統(tǒng)的采樣混疊表現(xiàn)為背離于原始圖像的顏色錯誤。因此顏色欠采樣是亞像素采樣系統(tǒng)中混疊突出表現(xiàn)在顏色上的根本原因。

圖1 4種常見的亞像素排布結(jié)構(gòu)

圖2 全像素采樣與亞像素采樣的對比

圖3 RGBR-mosaic排布全像素采樣與顏色欠采樣仿真結(jié)果

以顏色分量的缺失換取亮度分辨率的提升是非常值得的：(1)由于圖像數(shù)據(jù)本身的相關(guān)性，某一點(diǎn)處缺失的顏色分量可以通過相鄰點(diǎn)得到彌補(bǔ)；(2)亞像素采樣較全像素采樣擁有更高的采樣率及各點(diǎn)上更小的顯示面積，顯示圖像更加細(xì)膩清晰；(3)由于人眼有限的分辨率及空間色彩混合現(xiàn)象使得人眼亮度分辨率遠(yuǎn)大于色度分辨率，因此亞像素采樣產(chǎn)生的顏色混疊較全像素采樣的亮度混疊對人眼的視覺影響小；(4)任何采樣系統(tǒng)都會出現(xiàn)混疊現(xiàn)象，在采樣前應(yīng)用適當(dāng)?shù)目够殳B濾波器可以消除或減弱混疊現(xiàn)象。

文獻(xiàn)[9]從仿真實(shí)驗(yàn)和頻譜分析進(jìn)一步說明了顏色混疊還與設(shè)備的亞像素排布息息相關(guān)。事實(shí)上，亞像素排布各方向的Nyquist頻率限制在2維平面上形成了一定的區(qū)域，這些區(qū)域刻畫了某種排布各方向顏色混疊出現(xiàn)的“時(shí)刻”。下面就通過頻域分析以及倒晶格理論揭示各基色Nyquist頻率限制與亞像素排布的關(guān)系，從而提出與設(shè)備相關(guān)的抗顏色混疊法。

3.2 亞像素排布的2維Nyquist頻率限制圖

以圖1(a)中RGB-trio排布為例。設(shè)原始圖像為矢量，其分量分別用,表示，則有

對于排布中某一基色如 R，其水平方向采樣間隔為3a，垂直方向采樣間隔為b。若將每個(gè)燈點(diǎn)看作一個(gè)沖擊采樣，則采樣函數(shù)可表示為

其傅里葉變換RFs為

對圖1中的4種排布，將某一基色R/G/B的空間2維排布看成2維點(diǎn)陣晶格，由式(6)倒晶格基矢的基本性質(zhì)并忽略系數(shù)2π可以得到其倒晶格空間2維排布，如圖4所示。其中圖4(a) RGB-trio，圖4(b)RGB-mosaic，圖4(d)RGB-delta 3種排布的R/G/B三基色的2維點(diǎn)陣晶格相同，故各自的2維倒晶格排布只有一種；而圖4(c)RGBR-mosaic排布的R基色和G/B基色的2維點(diǎn)陣晶格不同，故有2種倒晶格排布。

圖4 不同排布中R(G)基色的倒晶格空間2維排布

倒晶格空間中的每個(gè)黑色圓點(diǎn)表示一個(gè)cRF復(fù)制所在的位置點(diǎn)。黑色圓點(diǎn)的周期規(guī)律是采樣后 R分量圖像sRF中cRF復(fù)制的周期規(guī)律。圖中的陰影區(qū)域就是2維Nyquist頻率限制圖，刻畫了不發(fā)生顏色混疊的頻率范圍，其邊界線由相鄰cRF復(fù)制所在位置點(diǎn)的中分線(即相鄰黑色圓點(diǎn)的中分線)圍繞而成。將Nyquist頻率限制區(qū)域按照黑色圓點(diǎn)的位置進(jìn)行周期性的重復(fù)，將不重疊地鋪滿整個(gè)2維頻域空間?？梢姡琋yquist限制區(qū)域限定了不發(fā)生采樣混疊情況下可以顯示的源圖像頻譜信息的最大面積。

當(dāng)源圖像R分量頻譜分布cRF超過Nyquist頻率限制區(qū)域時(shí)就會發(fā)生R分量上的顏色欠采樣，其邊界附近的相鄰cRF就會互相交疊，使得cRF信息損失，發(fā)生顏色混疊；當(dāng)源圖像R分量頻域分布cRF在 Nyquist限制區(qū)域范圍內(nèi)時(shí)，相鄰cRF有一定的間隔，cRF完整性得以保留，源圖像信息不會損失。對于G,B分量，同樣的分析過程略。

4 與設(shè)備相關(guān)的抗顏色混疊法

4.1 基本思想

從上節(jié)得出，當(dāng)源圖像某一基色頻域分布cRF,或cBF超過相應(yīng)基色 Nyquist限制區(qū)域時(shí)，就會發(fā)生顏色混疊。故針對不同的R,G,B基色排布，需要對cRF,cGF及cBF各自使用不同的低通濾波器濾除其超過Nyquist限制區(qū)域的高頻成分，從而有效達(dá)到抑制顏色混疊的目的。

以RGB-mosaic排布的R分量為例，沿圖4(b)中45°剖面方向?qū)?維頻域轉(zhuǎn)為1維進(jìn)行分析。抑制顏色混疊的方法如圖5所示。圖中的垂直虛線畫出了Nyquist限制區(qū)域在45°方向的界限。當(dāng)原始圖像R分量的頻譜分布cRF未超出RGB-mosaic排布的紅色Nyquist頻域限制時(shí)，沒有混疊發(fā)生，如圖5(a)和圖5(b)所示。相反當(dāng)R分量的頻譜分布超出相應(yīng)的Nyquist頻域限制時(shí)，顯示圖像R分量上發(fā)生混疊導(dǎo)致產(chǎn)生顏色錯誤，如圖5(c)和圖5(d)所示。若對R分量原始圖像施加一截止頻率接近于Nyquist限制頻率的低通濾波，濾除可能發(fā)生混疊的高頻成分，便可消除該分量上的顏色錯誤。

根據(jù)圖4所示的Nyquist頻域限制圖可以設(shè)計(jì)出施加于原始圖像各顏色分量上的低通濾波器。如根據(jù)圖4(a)，適合RGB-trio排布R分量濾波器水平方向的截止頻率應(yīng)該明顯低于垂直方向的截止頻率。對RGB-trio排布，根據(jù)圖4(d)，適合R分量的濾波器在六邊形的 6個(gè)頂點(diǎn)方向上截止頻率較高，在6條邊的法線方向上的截止頻率較低。

由于各基色的2維Nyquist頻率限制圖隨著亞像素排布的不同而不同，因此文中將這種方法稱為與設(shè)備相關(guān)的抗顏色混疊法。

4.2 算法過程

對于任一顯示面板，根據(jù)其三基色亞像素排布，進(jìn)行與設(shè)備相關(guān)的抗顏色混疊法的基本處理過程如下：

(1)根據(jù)亞像素排布各基色的2維Nyquist頻率限制圖，確定施加于各基色的低通濾波器，該濾波器各方向的截止頻率應(yīng)該小于并接近相應(yīng)的Nyquist限制頻率；

(2)對各分量原始圖像進(jìn)行低通濾波運(yùn)算，得到濾波預(yù)處理后的圖像Fh，其各基色分量子圖像為

在空間域時(shí)，濾波運(yùn)算采用各基色子圖像與相應(yīng)的濾波模板做卷積的方法進(jìn)行。如R分量子圖像。

(3)對圖像fh應(yīng)用亞像素采樣。以RGB-mosaic排布為例，對于R分量，采樣后圖像為

(4)將各基色濾波采樣后的亞像素值映射到物理設(shè)備上重構(gòu)顯示。

5 仿真實(shí)驗(yàn)與結(jié)果分析

以圖1中的4種排布仿真顯示波帶片圖像，并設(shè)各種排布亞像素的水平、垂直間距相等(a=b)。由于篇幅的限制，圖6給出了RGB-delta排布下的仿真結(jié)果。其中圖 6(a)為直接進(jìn)行全像素采樣的顯示圖像，混疊現(xiàn)象比較嚴(yán)重；圖 6(b)為對源圖像低通濾波后再進(jìn)行全像素采樣的顯示結(jié)果，混疊現(xiàn)象得到緩解，但圖像的清晰程度明顯下降；圖 6(c)為亞像素采樣后的顯示圖像，較全像素采樣時(shí)的顯示效果清晰細(xì)膩，但有明顯的顏色錯誤；圖 6(d)為對源圖像應(yīng)用 5-tap濾波消除顏色錯誤后的亞像素采樣顯示結(jié)果；圖 6(e)為使用本文濾波方法后進(jìn)行亞像素采樣的結(jié)果。對比看到，本文方法相比于其它抗混疊方法的顯示結(jié)果擁有更高的清晰度，尤其在圖像高頻處可清晰分辨的圓環(huán)更多。

圖4的2維Nyquist頻率限制圖反映了各種排布在各個(gè)方向上發(fā)生顏色混疊的不同特征。如RGB-trio排布各基色在水平方向，RGB-delta排布各基色在°方向上的Nyquist限制區(qū)域較其它方向窄，意味著這些方向更易發(fā)生顏色混疊，相應(yīng)低通濾波器的截止頻率也較低。圖6(c)顯示了這兩種排布下顏色混疊發(fā)生的區(qū)域，其位置與分析結(jié)果完全吻合。

圖5 抑制顏色混疊方法說明

圖6 5種不同情況下波帶片圖像的顯示結(jié)果

由人眼結(jié)構(gòu)及人眼的視敏特性知道，人對物像的感知是從亮度和色度兩方面進(jìn)行的。因此在后續(xù)的結(jié)果分析中，使用亮度與色度分離的顏色空間(如YUV顏色空間)更加符合人眼的主觀感受。鑒于人眼對圖像的亮度信息更加敏感，所以文中在計(jì)算各種采樣方法顯示圖像的質(zhì)量時(shí)，采用在無明顯感知顏色錯誤的前提下重點(diǎn)考查亮度上各種方法對顯示結(jié)果的貢獻(xiàn)。

波帶片圖像經(jīng) 5-tap濾波和本文的與設(shè)備相關(guān)法濾波處理后亞像素采樣的顯示結(jié)果中均無明顯的顏色錯誤(如圖 6所示)。在這個(gè)前提下，由于直接進(jìn)行亞像素采樣顯示的圖像具有最高亮度分辨率，因此以它作為參考計(jì)算其它4種方法的顯示圖像在YUV空間亮度分量Y上的PSNR，以此反映各種采樣方法顯示圖像的清晰度。PSNR的計(jì)算見式(9)。

表1列出了圖1中4種不同排布上各種采樣方法顯示波帶片圖像的PSNR值。明顯看到，本文方法的PSNR值較其它3種采樣方法大。相比于5-tap濾波后亞像素采樣的顯示結(jié)果，本文方法將各種排布下顯示圖像的平均亮度PSNR提高了近26%。這說明本文提出的與設(shè)備相關(guān)的抗混疊濾波法對平板顯示器的各種排布均能在有效抑制顏色混疊的同時(shí)，保持圖像的更多細(xì)節(jié)。

圖 7和圖 8分別給出了 RGB-trio排布以及RGB-delta排布下不同采樣方式的處理結(jié)果。不同顯示方法重構(gòu)效果的區(qū)別要在圖像的細(xì)節(jié)處觀察，如圖7中花紋的清晰度，圖8中樹枝的細(xì)小枝丫等細(xì)節(jié)?？梢钥闯觯袼夭蓸又亟ê蟮膱D像混疊最為嚴(yán)重；低通濾波后全像素采樣的重構(gòu)圖像較模糊；亞像素采樣重構(gòu)后的圖像顏色混疊明顯；經(jīng) 5-tap濾波及與設(shè)備相關(guān)濾波處理的亞像素采樣重構(gòu)的圖像均無可見顏色混疊，但后者處理的顯示結(jié)果更清晰。

通過對多幅圖像在不同排布方式下采用不同采樣方法進(jìn)行重建，通過計(jì)算得出，相比于 5-tap濾波后亞像素采樣顯示的結(jié)果，本文方法可將顯示圖像的平均亮度PSNR提高約30%。以上實(shí)驗(yàn)表明本文提出的與設(shè)備相關(guān)的抗混疊濾波法，在常見排布上對亞像素采樣顯示的大多數(shù)圖像上，均能在有效抑制顏色混疊的同時(shí)，保持更多圖像的細(xì)節(jié)。

表1 YUV空間下4種采樣方法重構(gòu)波帶片圖像的PSNR對比

圖7 RGB-trio排布5種采樣方法重建后的圖像對比

圖8 RGB-delta排布5種采樣方法重建后的圖像對比

6 結(jié)論

本文針對亞像素采樣中的顏色問題，提出了一種與設(shè)備相關(guān)的抗顏色混疊濾波方法。該方法的關(guān)鍵在于，采樣前根據(jù)設(shè)備亞像素排布各基色的2維Nyquist頻率限制圖設(shè)計(jì)不同的低通濾波器，對原始圖像的R,G,B分量分別進(jìn)行預(yù)處理，并使各基色低通濾波器的截止頻率截面形狀小于且接近相應(yīng)的Nyquist限制區(qū)域的形狀。相比于其它抗顏色混疊法，該方法除有效減弱由亞像素采樣帶來的顏色混疊，更多保持圖像的細(xì)節(jié)外，同時(shí)，該算法實(shí)現(xiàn)簡單，易于實(shí)際應(yīng)用。

[1] Medjeldi T, Horé A, and Ziou D. Enhancement of the quality of images through complex mosaic configurations[C].International Conference on Image Analysis and Recognition,Halifax, Canada, 2009, 5627: 43-53.

[2] Platt J C. Optimal filtering for patterned displays[J]. IEEE Signal Process Letter, 2000, 7(7): 179-181.

[3] Betrisey C, Blinn J F, Dresevic B, et al.. Displaced filtering for patterned displays[J]. SID Symposium Digest of Technical Papers, 2000, 31(1): 296-299.

[4] Gibson S. Subpixel font rendering[OL]. http://www.grc.com/cleartype.htm, 2013.

[5] Microsoft Corporation. Font hinting[OL]. http://www.microsoft.com/typography/TrueTypeHintingIntro.mspx,2011.

[6] Klompenhouwer M A and Haan G. Subpixel image scaling for color matrix displays[J]. Journal of the Society for Information Display, 2003, 11(1): 99-108.

[7] Fang L and Au O C. Subpixel-based image down-sampling with min-max directional error for stripe display[J]. IEEE Journal of Selected Topics in Signal Processing, 2011, 5(2):240-251.

[8] Fang L, Au O C, Tang K, et al.. Novel 2-D MMSE subpixelbased image down-sampling[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2012, 22(5):740-753.

[9] 趙小明, 張建奇, 邵曉鵬, 等. 彩色矩陣顯示器亞像素采樣混色錯誤的分析與評價(jià)[J]. 光電子激光, 2012, 23(5): 891-896.Zhao Xiao-ming, Zhang Jian-qi, Shao Xiao-peng, et al..Analysis and evaluation of color aliasing for subpixel sampling in color matrix display[J]. Jouranl of Optoelectronics Laser, 2012, 23(5): 891-896.

[10] 趙小明, 邵曉鵬, 張建奇, 等. 基于多尺度區(qū)域混色的 RGB欠采樣圖像顏色錯誤評價(jià)[J]. 電子與信息學(xué)報(bào), 2012, 34(9):2071-2077.Zhao Xiao-ming, Shao Xiao-peng, Zhang Jian-qi, et al..Objective assessment of the colorerrors in RGB undersampled images based on color blending of multi-scale region[J]. Journal of Electronics ＆amp; Information Technology,2012, 34(9): 2071-2077.

[11] Kim Jun-seong and Kim Chang-su. A filter design algorithm for subpixel rendering on matrix displays[C]. European Signal Processing Conference, Poznan, Poland, 2007: 1487-1491.

[12] Lin Chen-wei and Chao M C T. A novel pixel design for AM-OLED displays using nanocrystalline silicon TFTs[J].IEEE Transactions on Very Large Scale Integration (VLSI)Systems, 2011, 19(6): 939-952.

[13] Kang Suk-ju, Kim Seong-gyun, Oh Eui-yeol, et al..Luminance-difference-based adaptive subpixel rendering algorithm for matrix displays[C]. IEEE International Conference on Consumer Electronics, Santander, Spain, 2012:727-728.

[14] 王瑞光, 陳宇, 金福壽, 等. 基于主觀感覺理論的LED圖像顯示質(zhì)量的簡易測定評估方法[J]. 發(fā)光學(xué)報(bào), 2011, 22(3):303-308.Wang Rui-guang, Chen Yu, Jin Fu-shou, et al.. Simplified measuring and evaluating method of imagequality of LED visual display based on subjective perception theory[J].Chinese Journal of Luminescence, 2011, 22(3): 303-308.

[15] Fang L, Au O C, Yang Y, et al.. A new adaptive subpixelbased downsampling scheme using edge detection[C]. IEEE International Symposium on Circuits and Systems, Taipei,2009: 3194-3197.

[16] Elliott C H B, Han S, Im M H, et al.. Co-optimization of color AMLCD subpixel architecture and rendering algorithms[J].Society for Information Display, 2002, 13(3): 172-175.

[17] Kang Suk-ju. Color difference-based subpixel rendering for matrix displays[J]. Journal of Display Technology, 2013, 9(6):319-323.

[18] Hara Zen-ichiro, Terazaki Nobuo, Shiramatsu Naoki, et al..Picture quality of different pixel arrangements for large-sized matrix displays[J]. Electronics and Communications in Japan,1994, 77(7): 105-120.