基于超像素的硅基OLED 微顯示器數(shù)字驅(qū)動(dòng)成像質(zhì)量研究

季淵，陳鴻港，陳寶良，張引，許怡晴

（1 上海大學(xué) 微電子研究與開(kāi)發(fā)中心，上海 200072）

（2 上海大學(xué) 機(jī)電工程與自動(dòng)化學(xué)院，上海 200072）

0 引言

隨著新型顯示技術(shù)的發(fā)展和元宇宙概念的持續(xù)升溫，近眼顯示設(shè)備受到了越來(lái)越多的關(guān)注。以微顯示器為基礎(chǔ)的近眼顯示設(shè)備，開(kāi)始大量應(yīng)用于虛擬現(xiàn)實(shí)（Virtual Reality，VR）和增強(qiáng)現(xiàn)實(shí)（Augmented Reality，AR）領(lǐng)域［1-2］。其中硅基有機(jī)發(fā)光二極管（Organic Light-emitting Diode，OLED）微顯示器具有面積小、亮度高、響應(yīng)速度快、色域廣、分辨率高等優(yōu)點(diǎn)［3］，被廣泛應(yīng)用到頭戴式近眼顯示設(shè)備。傳統(tǒng)的硅基微顯示器多采用模擬驅(qū)動(dòng)方式［4］，通過(guò)控制電壓大小調(diào)節(jié)像素灰度，但受到DAC 轉(zhuǎn)化速度和精度的限制，難以滿(mǎn)足高分辨率高刷新率的需求。數(shù)字驅(qū)動(dòng)［5］方式采用脈沖寬度調(diào)制（Pulse Width Modulation， PWM）法，利用人眼的積分特性，通過(guò)改變像素亮暗時(shí)間，使人眼感知到不同的灰度級(jí)。數(shù)字驅(qū)動(dòng)憑借切換速度快、穩(wěn)定性高、噪聲低等優(yōu)點(diǎn)，得到廣泛關(guān)注。

由于數(shù)字驅(qū)動(dòng)型微顯示器多采用尋址顯示分離子場(chǎng)（Address and Display Separated，ADS）法［6］，發(fā)光子場(chǎng)在一幀時(shí)間內(nèi)分布不連續(xù)，顯示運(yùn)動(dòng)畫(huà)面時(shí)，人眼能觀察到明顯的亮條紋，研究者們把這一現(xiàn)象稱(chēng)為動(dòng)態(tài)假輪廓（Dynamic False Contour，DFC）。為了改善這一問(wèn)題，周筱媛等提出集中式門(mén)控脈寬調(diào)制（Centralized Gated PWM，CGPWM）法［7］，通過(guò)將PWM 周期中的小數(shù)子場(chǎng)固定于周期的中間的方法降低DFC 現(xiàn)象，由于掃描方式?jīng)]有改變，DFC 的優(yōu)化效果有一定局限； HUANG J F 等提出的自適應(yīng)非對(duì)稱(chēng)抖動(dòng)區(qū)域法［8］，在DFC 嚴(yán)重的區(qū)域?qū)︼@示灰度值進(jìn)行非對(duì)稱(chēng)抖動(dòng)，從而模糊化DFC 現(xiàn)象，但需要消耗大量的電路資源進(jìn)行實(shí)時(shí)處理；SVILAINIS L 提出一種運(yùn)動(dòng)補(bǔ)償法［9］，通過(guò)估算每幀圖像各個(gè)像素的運(yùn)動(dòng)矢量，插值出符合人眼積分的灰度，由于受到運(yùn)動(dòng)估算的準(zhǔn)確度和計(jì)算量的影響，此方案難以得到實(shí)際應(yīng)用。同時(shí)高分辨率和高刷新率導(dǎo)致海量的數(shù)據(jù)輸出，不僅需要消耗大量的電路資源，且對(duì)電路性能的要求極高。目前針對(duì)數(shù)字驅(qū)動(dòng)的掃描方式有子場(chǎng)法［10］和原子掃描［11］等，但對(duì)高分辨率、高刷新率顯示仍有很大負(fù)擔(dān)。

本文將超像素技術(shù)與數(shù)字驅(qū)動(dòng)相結(jié)合，對(duì)微顯示器成像質(zhì)量進(jìn)行研究，并結(jié)合超像素技術(shù)設(shè)計(jì)一款微顯示控制器，用以驅(qū)動(dòng)分辨率為2 048×2 048 的全彩數(shù)字驅(qū)動(dòng)型硅基OLED 微顯示器，證明所提掃描方式的可行性。

1 超像素的數(shù)字驅(qū)動(dòng)成像

分辨率和刷新率是衡量微顯示器成像質(zhì)量的直觀參數(shù)，而隨著分辨率和刷新率的提升，數(shù)據(jù)傳輸帶寬急劇增加，給像素驅(qū)動(dòng)電路造成極大負(fù)擔(dān)。除此之外，顯示運(yùn)動(dòng)畫(huà)面時(shí)的DFC 現(xiàn)象嚴(yán)重影響人眼的觀看體驗(yàn)。本文將超像素技術(shù)與數(shù)字驅(qū)動(dòng)結(jié)合，建立超像素模型，對(duì)超像素掃描策略進(jìn)行成像質(zhì)量研究，同時(shí)通過(guò)分析DFC 產(chǎn)生機(jī)理，對(duì)超像素掃描方式下的動(dòng)態(tài)顯示進(jìn)行DFC 評(píng)估。

1.1 超像素技術(shù)

超像素的建立是依靠?jī)蓭^低分辨率的圖像顯示過(guò)程中快速切換，當(dāng)切換頻率遠(yuǎn)超人眼能感知的臨界閃爍頻率時(shí)，由于兩幀圖像顯示存在空間錯(cuò)位，人眼會(huì)把兩幀較低分辨率的圖像識(shí)別為一幀較高分辨率的圖像。

應(yīng)用于硅基OLED 微顯示器的超像素結(jié)構(gòu)如圖1（a），超像素由四個(gè)子像素組成。兩個(gè)超像素之間存在一個(gè)子像素的重疊（圖1（b）），顯示過(guò)程中分時(shí)被兩個(gè)超像素所控制。圖中黑色實(shí)線為Frame0，紅色實(shí)線為Frame1，藍(lán)色部分為被兩個(gè)超像素共同驅(qū)動(dòng)的子像素。圖1（c）是一個(gè)由超像素組成的分辨率為3×3 的超像素顯示結(jié)構(gòu)圖，把6×6 分辨率的子像素劃分為3×3 分辨率的超像素，F(xiàn)rame0、Frame1 所需數(shù)據(jù)量?jī)H為原來(lái)的25%。當(dāng)采用超像素掃描策略顯示時(shí)，受Frame0 和Frame1 共同驅(qū)動(dòng)的影響，人眼感知超像素中子像素的顯示信息各不相同，使得主觀感知分辨率與子像素分辨率相同，而相對(duì)于傳統(tǒng)掃描方式傳輸所需6×6分辨率的像素?cái)?shù)據(jù)，超像素掃描策略可以降低50%的數(shù)據(jù)量。

圖1 超像素的形成Fig.1 Formation of super pixel

相對(duì)于模擬驅(qū)動(dòng)像素電路使用電容存儲(chǔ)電荷，驅(qū)動(dòng)流經(jīng)OLED 的電流大小顯示不同灰度級(jí)的方式，數(shù)字驅(qū)動(dòng)采用SRAM 存儲(chǔ)0、1 邏輯電平值，用以控制OLED 驅(qū)動(dòng)管的開(kāi)關(guān)時(shí)間。圖2（a）為根據(jù)超像素特性所設(shè)計(jì)的單個(gè)超像素的像素驅(qū)動(dòng)電路，M1～M6 組成一個(gè)SRAM 作為信號(hào)存儲(chǔ)單元，并同時(shí)控制四個(gè)OLED的亮滅，圖2（b）為其對(duì)應(yīng)的版圖。

圖2（c）為分辨率為2×2 的數(shù)字驅(qū)動(dòng)型超像素電路結(jié)構(gòu)，S0 表示Frame0 的SRAM，S1 表示Frame1 的SRAM，其中深藍(lán)色部分表示被S0 和S1 共同驅(qū)動(dòng)的子像素。

1.2 基于人眼積分特性的超像素建模

超像素顯示需要基于子像素的結(jié)構(gòu)，將輸入的圖像分割成兩子幀圖像。當(dāng)兩子幀圖像在微顯示器上交替顯示時(shí)，由于Frame0 和Frame1 在行列像素驅(qū)動(dòng)電路上均存在一個(gè)子像素的空間偏移，人眼感知的圖像不再是單一子幀的圖像信息，而是經(jīng)過(guò)兩子幀融合后的圖像。

對(duì)輸入圖像做超像素處理，流程如圖3。首先把輸入圖像數(shù)據(jù)按超像素結(jié)構(gòu)進(jìn)行劃分，然后從每個(gè)超像素中提取兩個(gè)特征子像素值P0、P1 表征此超像素，其中P0 組成的圖像稱(chēng)為偶幀，P1 組成的圖像稱(chēng)為奇幀。由于超像素電路結(jié)構(gòu)中Frame0 和Frame1 在主對(duì)角線方向存在一個(gè)子像素的偏移，考慮到P0、P1 在超像素中的相對(duì)位置關(guān)系，在選取過(guò)程中也基于這種電路結(jié)構(gòu)，即P0 為偶行偶列像素?cái)?shù)據(jù)，P1 為奇行奇列像素?cái)?shù)據(jù)。由圖3可知超像素的建立與原圖像分辨率無(wú)關(guān)，因此超像素掃描策略可以適用于任何分辨率的圖像顯示。

圖3 圖像的超像素處理流程Fig3 Super pixel processing flow of image

從四個(gè)像素中抽取兩個(gè)特征像素時(shí)，像素?cái)?shù)據(jù)的丟失導(dǎo)致圖像輪廓信息模糊。為提高抽取奇幀、偶幀的圖像質(zhì)量，需要對(duì)輸入圖像進(jìn)行預(yù)處理，從而使圖像邊緣區(qū)域以及灰度發(fā)生重大跳變區(qū)域的像素?cái)?shù)據(jù)在做特征像素抽取時(shí)能被很好地保留下來(lái)。

圖4 為超像素模型，首先對(duì)原始圖像進(jìn)行預(yù)處理，像素?cái)?shù)據(jù)經(jīng)過(guò)平滑核卷積處理后抽取奇行奇列、偶行偶列分別組成兩幀分辨率為原來(lái)四分之一的子圖像，然后按照超像素的像素結(jié)構(gòu)進(jìn)行行列擴(kuò)展，將一個(gè)像素?cái)?shù)據(jù)擴(kuò)展成四個(gè)子像素來(lái)代表一個(gè)超像素。最后根據(jù)人眼積分特性，對(duì)于奇幀、偶幀分時(shí)控制的像素灰度，人眼所觀測(cè)到的灰度值是兩子幀時(shí)間上的積分，可表示為式中，k表示在一個(gè)顯示周期內(nèi)子幀顯示所占用的時(shí)間比例，Gray(i)表示偶幀像素的灰度值，Gray(j)表示奇幀的像素灰度值，Gray表示人眼實(shí)際觀測(cè)到的像素灰度。根據(jù)實(shí)驗(yàn)測(cè)得，k等于0.5，即兩子幀顯示時(shí)間相同時(shí)，人眼識(shí)別的圖像更接近原始圖像。

圖4 超像素模型Fig.4 Model of super pixel

1.3 超像素動(dòng)態(tài)假輪廓

數(shù)字驅(qū)動(dòng)型微顯示器利用人眼的積分特性，通過(guò)PWM 控制屏幕的亮滅時(shí)間使人眼感受到不同的灰度級(jí)。當(dāng)顯示運(yùn)動(dòng)畫(huà)面時(shí)，人眼在幀與幀切換時(shí)持續(xù)積分，感受到的不再是畫(huà)面的實(shí)際亮度。以8 bit灰度級(jí)為例，每bit權(quán)值對(duì)應(yīng)為128∶64∶32∶16∶8∶4∶2∶1。圖5為數(shù)字驅(qū)動(dòng)型微顯示器DFC 形成原理，當(dāng)顯示靜態(tài)圖像時(shí)，人眼感受到的像素灰度級(jí)與顯示灰度級(jí)一致；當(dāng)顯示動(dòng)態(tài)圖像時(shí)，人眼會(huì)對(duì)第二幀顯示亮度持續(xù)積分，若第一幀灰度為127，第二幀灰度為128，人眼實(shí)際感受到的最高亮度遠(yuǎn)高于128級(jí)灰度，此時(shí)能夠觀測(cè)到明顯的亮條紋。

氣缸10的動(dòng)作通過(guò)換向閥7來(lái)實(shí)現(xiàn)，調(diào)節(jié)速度控制閥8,9改變活塞的速度。壓力傳感器11,12采集氣缸兩腔的壓力變化，氣缸活塞的位移通過(guò)位移傳感器13測(cè)量，各傳感器的數(shù)據(jù)通過(guò)數(shù)據(jù)采集卡采集。

圖5 DFC 形成原理Fig.5 Formation principle of DFC

DFC 是ADS 法掃描過(guò)程中子場(chǎng)權(quán)值代表的實(shí)際灰度在顯示周期內(nèi)分布不均勻引起的，子場(chǎng)權(quán)值代表的灰度級(jí)越高，產(chǎn)生的DFC 現(xiàn)象越嚴(yán)重。超像素掃描方式下，每子幀圖像在顯示器上顯示的時(shí)間僅占灰度周期的二分之一，子幀圖像的子場(chǎng)權(quán)值為實(shí)際灰度值的二分之一。圖6 為基于超像素的人眼積分過(guò)程，以5bit 灰度級(jí)、四子幀顯示為例，SF0～SF4 為每bit 對(duì)應(yīng)的子場(chǎng)，圖中黑色箭頭為積分的結(jié)束點(diǎn)。人眼感知到的第一個(gè)灰度級(jí)為從子幀0 SF0 到子幀1 SF4 的積分，以此類(lèi)推，感知到的最后一個(gè)灰度級(jí)為從子幀2 SF0到子幀3 SF4 的積分。

圖6 人眼對(duì)子幀子場(chǎng)的積分過(guò)程Fig.6 The integration process of human eye to subframe subfield

由圖6 可知，針對(duì)超像素的DFC 評(píng)估，需要對(duì)兩子幀圖像進(jìn)行積分。結(jié)合動(dòng)態(tài)積分法［12］可得

可進(jìn)一步擴(kuò)展為

式中，dmax、dmin分別為圖6 所示的積分結(jié)果的最大值和最小值，i、j、k、z為第0 子幀到第3 子幀的灰度值表示第一幀的實(shí)際灰度級(jí)表示第二幀的實(shí)際灰度級(jí)。由于DFC 出現(xiàn)在灰度變化平滑的區(qū)域，以256級(jí)灰度為例，若兩灰度級(jí)差距大于20 灰度級(jí)，人眼很難觀察到DFC 現(xiàn)象，式（4）、（5）中i、j、k、z任意兩灰度的灰度差小于20 灰度級(jí)。

考慮到人眼存在視覺(jué)閾值，即圖像數(shù)據(jù)在一定范圍內(nèi)變化時(shí)人眼很難察覺(jué)，研究者把這個(gè)閾值稱(chēng)為恰可察覺(jué)失真（Just Noticeable Distortion，JND）［13］。在動(dòng)態(tài)積分法的基礎(chǔ)上，文獻(xiàn)［14］結(jié)合JND 提出一種JND積分法來(lái)評(píng)估DFC 問(wèn)題，其表達(dá)式為

式中，JNDth表示和兩灰度間人眼不可察覺(jué)失真的閾值。

本文結(jié)合JND 積分法對(duì)超像素的DFC 進(jìn)行評(píng)估，如式（7）所示，首先根據(jù)積分法計(jì)算出兩灰度之間的Tmax和Tmin，再經(jīng)過(guò)JND 模型計(jì)算出兩灰度之間的JNDth，然后判斷Tmax和Tmin是否超過(guò)JNDth。若超過(guò)，說(shuō)明兩灰度間產(chǎn)生的DFC 能夠被人眼觀測(cè)到，否則說(shuō)明產(chǎn)生的DFC 干擾不影響實(shí)際觀測(cè)體驗(yàn)。

2 微顯示控制器

圖7 控制器系統(tǒng)框圖Fig.7 Block diagram of controller system

其主要包括超像素處理模塊、數(shù)據(jù)緩存模塊、數(shù)據(jù)處理模塊、掃描控制模塊以及IIC 寄存器。圖8 為超像素處理模塊框圖，首先把輸入的像素?cái)?shù)據(jù)進(jìn)行RGB 分離并存儲(chǔ)到對(duì)應(yīng)通道的行緩沖器；然后選擇4×4 的平滑核對(duì)三個(gè)通道的數(shù)據(jù)做卷積處理，并把處理完的數(shù)據(jù)合并成24 bit 像素?cái)?shù)據(jù)；最后把提取的奇幀、偶幀數(shù)據(jù)存入相應(yīng)的行緩沖器中。數(shù)據(jù)緩存模塊用于控制DDR3 緩存奇幀、偶幀數(shù)據(jù)。本文采用數(shù)字驅(qū)動(dòng)型硅基OLED 微顯示器作為實(shí)驗(yàn)對(duì)象，需要使用PWM 激勵(lì)進(jìn)行調(diào)制，數(shù)據(jù)處理模塊把灰度數(shù)據(jù)轉(zhuǎn)變成驅(qū)動(dòng)微顯示器的PWM 數(shù)據(jù)，根據(jù)數(shù)據(jù)傳輸位寬進(jìn)行位平面拼接，并按照微顯示器內(nèi)部驅(qū)動(dòng)電路邏輯輸出相應(yīng)的像素?cái)?shù)據(jù)，最終與掃描控制模塊生成的時(shí)序控制信號(hào)通過(guò)LVDS 接口同步傳輸?shù)焦杌鵒LED 微顯示器。

圖8 超像素處理模塊框圖Fig.8 Block diagram of super pixel processing module

圖9為使用昀光微電子公司設(shè)計(jì)生產(chǎn)的FPGA 驅(qū)動(dòng)板作為硬件驗(yàn)證平臺(tái)，內(nèi)置Xilinx Kintex-7 FPGA和DDR3。硬件系統(tǒng)主要包括輸入視頻源、微顯示控制器和硅基OLED 微顯示器三部分。視頻源由計(jì)算機(jī)生成，通過(guò)HDMI 接口輸入到FPGA，經(jīng)過(guò)FPGA 內(nèi)部的微顯示控制器處理后，傳輸?shù)椒直媛蕿? 048×2 048 的全彩硅基OLED 微顯示器，驅(qū)動(dòng)屏幕顯示視頻圖像。

圖9 硬件測(cè)試平臺(tái)Fig.9 Test platform of hardware

3 實(shí)驗(yàn)結(jié)果分析

3.1 圖像質(zhì)量分析

針對(duì)所提掃描策略，對(duì)經(jīng)過(guò)超像素模型處理后的圖像進(jìn)行圖像質(zhì)量分析，圖10（b）和（c）為顯示所需的偶幀、奇幀圖像，圖10（d）為模擬人眼積分效果生成的超像素圖像。從圖10 中的細(xì)節(jié)對(duì)比可以看出，當(dāng)一幀圖像按照超像素的方式抽取兩子幀分辨率為原圖四分之一的圖像，通過(guò)超像素掃描方式進(jìn)行顯示時(shí)，可以保留更多的圖像細(xì)節(jié)，顯示效果接近原始圖像。

圖10 超像素模型仿真圖像Fig.10 Simulation image of super pixel model

為量化超像素圖像與原圖的差異，利用峰值信噪比PSNR 和結(jié)構(gòu)相似度SSIM 對(duì)超像素模型生成的圖像進(jìn)行量化分析。PSNR 越大說(shuō)明圖像噪聲越小，一般認(rèn)為PSNR 大于30 dB 時(shí)表示圖像質(zhì)量良好。SSIM通過(guò)亮度、對(duì)比度和結(jié)構(gòu)對(duì)兩張圖片進(jìn)行比較，取值范圍為0 到1 之間，值越大表示與原圖相似度越高。

表1 為利用超像素模型對(duì)Kodak 標(biāo)準(zhǔn)影像庫(kù)［15］部分圖像數(shù)據(jù)集仿真對(duì)應(yīng)的PSNR 和SSIM，其中超像素圖像的平均PSNR 約為34.086 dB，平均SSIM 約為0.942。通過(guò)比較可以看出，超像素掃描策略人眼實(shí)際感知的圖像質(zhì)量與原圖無(wú)明顯差異，此掃描策略為進(jìn)一步提高微顯示器分辨率和刷新率提供了一種有效解決方案。

表1 超像素模型處理的圖像的PSNR 以及SSIM 比較Table 1 The PSNR and SSIM comparison of image processed by super pixel model

3.2 不同掃描方式下DFC 結(jié)果對(duì)比

圖11（a）～（c）分別為19 子場(chǎng)、CGPWM、超像素掃描方式下的DFC 仿真結(jié)果。從左到右依次為DFC 仿真圖、JNDTmax在圖像坐標(biāo)系下的分布圖及其統(tǒng)計(jì)直方圖。其中JNDTmax數(shù)值越小表明人眼積分效應(yīng)所感知到的圖像越接近實(shí)際圖像，即DFC 現(xiàn)象越不明顯。由統(tǒng)計(jì)直方圖可以看出，相比于19 子場(chǎng)和CGPWM 法，超像素掃描策略下JNDTmax的數(shù)值及出現(xiàn)頻次上均有明顯降低，人眼觀測(cè)到的最大亮度與圖像實(shí)際亮度的誤差主要集中在3～8 灰度級(jí)。

圖11 不同掃描方式下的DFCFig.11 DFC under different scanning modes

表2 為利用JND 積分法計(jì)算不同掃描方式下Kodak 標(biāo)準(zhǔn)影像庫(kù)［15］圖像的JNDTmax，通過(guò)對(duì)比可以看出超像素掃描策略下圖像各像素不可察覺(jué)到DFC 的概率約為93.3%，且JNDTmax不超過(guò)8 灰度的概率約為99.3%，與19 子場(chǎng)、CGPWM 掃描方式相比，超像素掃描策略能有效改善顯示動(dòng)態(tài)畫(huà)面的DFC 問(wèn)題，符合人眼感知效果。

表2 不同掃描方式JND 積分結(jié)果（%）Table 2 JND integration results of different scanning methods（%）

4 結(jié)論

本文將超像素技術(shù)與數(shù)字驅(qū)動(dòng)硅基OLED 微顯示器相結(jié)合，從圖像質(zhì)量和DFC 等方面對(duì)超像素掃描策略下微顯示器的成像質(zhì)量進(jìn)行分析。通過(guò)MATLAB 建立超像素模型，結(jié)合并擴(kuò)展JND 積分法對(duì)超像素處理的圖像進(jìn)行DFC 評(píng)估。仿真分析結(jié)果表明，超像素掃描策略在分辨率主觀感知不變的條件下，數(shù)據(jù)傳輸帶寬減少50%。數(shù)據(jù)量的降低，為進(jìn)一步提高微顯示器分辨率、刷新率提供一種有效方案。同時(shí)，JNDTmax等于0 和不超過(guò)8 的概率分別約為93.3%和99.3%，DFC 現(xiàn)象得到有效改善，顯示效果符合人眼觀測(cè)感受。并根據(jù)超像素掃描策略設(shè)計(jì)一款掃描控制器，成功驅(qū)動(dòng)分辨率為2 048×2 048 的全彩數(shù)字驅(qū)動(dòng)型硅基OLED 微顯示器，證明了所提掃描策略的可行性。