汪敬華,郭葉軍,吉明明
(1.上海工程技術(shù)大學(xué),上海201620;2.英特爾亞太研發(fā)有限公司,上海200241)
近幾年來HDR(High Dynamic Range)顯示器和HDR 電視進(jìn)入市場(chǎng),給人帶來了更好的視聽享受和娛樂體驗(yàn)。事實(shí)上,在電視系統(tǒng)中,從片源制作、后期處理、傳輸解碼到終端播放,HDR 技術(shù)都貫穿始終。和HDR 相對(duì)的是SDR(Standard Dynamic Range)或者LDR(Low Dynamic Range),主要用來泛稱HDR 之前的技術(shù)。然而,HDR 技術(shù)的理論基礎(chǔ)是人類視覺,其工作原理目前未被完全認(rèn)識(shí),大部分知識(shí)都是建立在實(shí)驗(yàn)基礎(chǔ)上的曲線擬合和經(jīng)驗(yàn)公式,再加一些不良商家廣告的虛假宣傳,容易造成一些概念上的混用,使得HDR 更加不容易被清晰理解。本文擬從顏色的基本概念說起,逐步梳理和剖析HDR 技術(shù)中的基本概念,涵蓋HDR 技術(shù)的主要內(nèi)容,以澄清消費(fèi)者對(duì)HDR 概念的混淆和誤解。
不同頻率的光以一定比例混合而成的光線,進(jìn)入人眼,人眼中的視桿細(xì)胞和視錐細(xì)胞受到光的刺激,分別產(chǎn)生亮度信號(hào)和色度信號(hào)一起送至大腦,從而在人腦中形成了五彩繽紛的世界。
根據(jù)線性代數(shù)中向量空間的概念,如果將人腦可感知到的所有顏色看作一個(gè)向量空間,那么,每種顏色就是一個(gè)向量。當(dāng)向量空間的一個(gè)基確定后,所有顏色即可用這個(gè)基下的坐標(biāo)值來定量表示。例如,一個(gè)顏色用RGB 三原色表示為(198,207,28),就表示在基(R,G,B)下,該顏色的坐標(biāo)是(198,207,28)。而基(R,G,B)又是如何確定的呢?這就需要從CIE(International Commission on Illumination,國(guó)際照明委員會(huì))[1]的1931色彩系統(tǒng)說起。
顏色可以被分解為色度和亮度,一束光線中不同頻率的光的組成比例構(gòu)成了色度,而亮度則是光線的能量值。CIE1931 色彩系統(tǒng)主要關(guān)注色度,即光線的組成比例,而非亮度。
CIE1931 色彩系統(tǒng)建立在W.David Wright(Wright 1928)和John Guild(Guild 1931)所做的一系列實(shí)驗(yàn)基礎(chǔ)之上[2]。實(shí)驗(yàn)發(fā)現(xiàn),以不同的組成比例混合波長(zhǎng)分別為700nm、546.1nm 和435.8nm 的三種光可以構(gòu)成人眼感知到的所有顏色,并由此形成了CIE 1931 RGB 圖,其中的RGB 分別對(duì)應(yīng)實(shí)驗(yàn)中的三種不同頻率的光的強(qiáng)度。然后,僅考慮RGB 之間的比例關(guān)系,如下公式計(jì)算rgb:
可見,一旦r 和g 確定,b 的值也就隨之確定,從而形成了CIE 1931 rg 色度圖。
再進(jìn)一步,為了數(shù)學(xué)處理和工程應(yīng)用上的方便,主要是為了去除rg 色度圖中的負(fù)數(shù)值,通過選擇合適坐標(biāo)系的方法,經(jīng)過坐標(biāo)變換得到CIE 1931 xy 色度圖[3-4],如圖1 中曲線所圍馬蹄形區(qū)域所示。
圖1 xy色度圖
在xy 色度圖中,曲線圍成的區(qū)域被稱為色域(color gamut),區(qū)域中的每一個(gè)點(diǎn)代表了人眼可感知到的一個(gè)色度?;氐骄€性代數(shù)中的顏色向量空間,xy 色度還需要增加一個(gè)亮度值Y,才能構(gòu)成一個(gè)顏色向量,我們可以認(rèn)為其基是(x,y,Y)。
人眼可以感知到的色域是如此寬廣,以至于顯示器只能部分支持。CRT 顯示器和HDTV 高清電視能支持的色域如上圖中虛線三角形所示,在ITU-R(International Telecommunication Union-Radiocommunication,國(guó)際電信聯(lián)盟無線電通信部門)BT.709[5](Broadcasting service Television)中定義;超高清電視能夠支持的色域如上圖中實(shí)線三角形所示,在ITU-R BT.2020[6]中定義。
色域三角形的三個(gè)頂點(diǎn)代表三原色,由xy 色度圖中相應(yīng)的xy 坐標(biāo)指定,這回答了前面提出的RGB 基如何確定的問題,即用xy 坐標(biāo)的方法。三角形內(nèi)部的每個(gè)點(diǎn)由這三個(gè)頂點(diǎn)線性組合而成,假如用無符號(hào)整數(shù)規(guī)格化后的值來定量表示,圖1 中三角形最上方的G 基的坐標(biāo)是(0,1.0,0),而右下方的R 基的坐標(biāo)是(1.0,0,0),左下方的B 基的坐標(biāo)是(0,0,1.0)。假如三角形內(nèi)某個(gè)點(diǎn)坐標(biāo)是(0.2,0.3,0.5),表示這個(gè)點(diǎn)的色度是由20%的R 原色,30%的G 原色,再加上50%的B 原色組合而成。這樣的三原色線性組合,剛好對(duì)應(yīng)著顯示器的RGB 三原色加色法。
培訓(xùn)之后,進(jìn)行集中封閉式的崗位測(cè)評(píng)。選定同一時(shí)間、同一地點(diǎn),由全部職能科室主任組成的評(píng)審團(tuán)隊(duì)各自獨(dú)立地根據(jù)崗位說明書對(duì)所有參評(píng)崗位按照評(píng)價(jià)要素逐一打分,填寫“北醫(yī)三院職能部門崗位評(píng)價(jià)評(píng)分表”。
HDR(High Dynamic Range)的原意是高動(dòng)態(tài)范圍,是顯示器能夠支持的最大亮度和最低亮度的比值,其值越大,表示顯示器可以展示出更亮的場(chǎng)景,也能展示出更暗的場(chǎng)景。這里的亮度單位是坎德拉/平方米(cd/m2),也被稱為尼特(nit),用來描述面光源的強(qiáng)度[7]。普通顯示器的最高亮度一般在一百到數(shù)百尼特之間,而高端顯示器的峰值亮度可達(dá)一千尼特甚至過萬。作為對(duì)比,現(xiàn)實(shí)世界中太陽(yáng)亮度可高達(dá)數(shù)十億尼特。
HDR 顯示器并不只是更高的亮度,從顏色角度出發(fā),HDR 顯示器還應(yīng)同時(shí)具備WCG(Wide Color Gamut,寬色域)的特點(diǎn)。HDR 顯示器能夠支持的色域在ITU-R BT.2100[8]中定義,和BT.2020 中的定義相同,也如圖1 中實(shí)線三角形所示。WCG 和HDR 是相互獨(dú)立又有相互關(guān)聯(lián)的兩個(gè)概念,它們一起決定一個(gè)顏色值,對(duì)應(yīng)于1.1 小節(jié)最后提到的以(x,y,Y)為基的顏色向量空間。
在很多情況下,HDR 顯示器支持的色域,并不完全符合BT.2020 的色域規(guī)定,例如三原色頂點(diǎn)有所偏差,這時(shí),就需要用到色調(diào)映射(tone mapping)技術(shù)。一個(gè)簡(jiǎn)單方法,就是先將原先色域下的色度值映射回xy色度坐標(biāo),再將xy 坐標(biāo)映射為當(dāng)前顯示器色域下的色度值,再然后,這個(gè)色度值就可以在當(dāng)前顯示器中正確的展示了。類似的,為了在不同亮度的顯示器上有相似的觀看體驗(yàn),也會(huì)進(jìn)行色調(diào)映射。
HDR 技術(shù)的重要目標(biāo)是盡可能的再現(xiàn)真實(shí)畫質(zhì),即人眼觀看顯示器獲得的感知,與人眼在真實(shí)場(chǎng)景中獲得的感知,應(yīng)盡可能的保持一致。實(shí)際上,一個(gè)真實(shí)場(chǎng)景,先被攝像機(jī)記錄,得到每個(gè)像素的顏色值(即:顏色向量空間給定基后顏色向量的坐標(biāo)表示);像素顏色值在計(jì)算機(jī)系統(tǒng)中可用若干比特來數(shù)字化表示,而在電視廣播的信號(hào)傳輸系統(tǒng)中則可用電信號(hào)來表示,為避免混淆,本文將使用信號(hào)值來稱呼;然后信號(hào)值在顯示設(shè)備中展示,如圖2 所示,涉及了三個(gè)轉(zhuǎn)換函數(shù),分別是OOTF(Optical-Optical Transfer Function,光光轉(zhuǎn)換函數(shù))、OETF(Optical-Electro Transfer Function,光電轉(zhuǎn)換函數(shù))和EOTF(Electro-Optical Transfer Function,電光轉(zhuǎn)換函數(shù))。只要知道其中的兩個(gè)轉(zhuǎn)換函數(shù),就可以推導(dǎo)出第三個(gè)轉(zhuǎn)換函數(shù)。為了簡(jiǎn)化描述,本文不討論藝術(shù)創(chuàng)作和藝術(shù)加工,因?yàn)楸举|(zhì)上還是對(duì)這些轉(zhuǎn)換函數(shù)的調(diào)整。
圖2 場(chǎng)景記錄與重現(xiàn)的示意圖
真實(shí)場(chǎng)景中的光線決定了人眼能夠感知到的一切,那么,要重現(xiàn)場(chǎng)景,是否只需要顯示設(shè)備發(fā)出相同的光線呢,答案是否定的。因?yàn)轱@示器的表現(xiàn)能力達(dá)不到大自然的豐富多彩,也因?yàn)橛^看環(huán)境的不同,例如在電影院和在辦公室中,人眼得到的感知都是不同的。所以,根據(jù)不同的應(yīng)用場(chǎng)景,就要定義不同的OOTF 來將場(chǎng)景光線映射為顯示器光線。一般來說,OOTF 曲線大概具有y=xgamma 的冪函數(shù)形式,其中x 是規(guī)格化后的場(chǎng)景光線亮度值,而y 則是規(guī)格化后的顯示器光線亮度值。根據(jù)以往的經(jīng)驗(yàn)實(shí)踐,在電影院中的gamma 值可以設(shè)置為1.5,而在辦公室照明條件下的gamma 值可以取1.1 左右。這里的gamma 值又被稱為系統(tǒng)伽馬值。
這也能解釋為什么有些淘寶店鋪會(huì)強(qiáng)調(diào)在顯示器上看到的顏色和實(shí)物顏色會(huì)存在色差。因?yàn)閺膱?chǎng)景光線到顯示器光線,再結(jié)合周圍環(huán)境光線進(jìn)入人眼,中間可變量很多,每個(gè)人最終感知到的顏色值可能是不同的,這就是色差。但是,有人可能會(huì)以同一張魔方圖片為例子,說在不同顯示器、不同環(huán)境下都沒有覺得魔方的小方塊顏色發(fā)生了變化,這是因?yàn)轭伾愠P裕–olor constancy),即人腦對(duì)熟悉的物體的顏色會(huì)下意識(shí)的移除環(huán)境影響,腦補(bǔ)回原本的顏色。而對(duì)不熟悉物品的顏色根本無法腦補(bǔ),所以體現(xiàn)為色差。
OETF 轉(zhuǎn)換發(fā)生在場(chǎng)景的記錄階段,主要包括拍攝和可能的后期制作。拍攝并不是簡(jiǎn)單的記錄所有光強(qiáng),這樣數(shù)據(jù)量太大,考慮顯示設(shè)備的能力和人眼的生理特征,只記錄需要記錄也應(yīng)該記錄的數(shù)據(jù),形成每個(gè)像素的顏色值,即得到了信號(hào)值,這樣的非線性映射由OETF 曲線完成。人眼對(duì)光線的感知,遵循韋伯定律(Weber's Law)[9],人眼對(duì)暗處的相同變化比亮處更加敏感,所以,在較暗部分要多記錄一些數(shù)據(jù),而在較亮部分則可以少記錄一些數(shù)據(jù)。最終形成的OETF 曲線也大致具有冪函數(shù)的形式,在ITU-R BT.709[5]中g(shù)amma被規(guī)定為0.45。由于對(duì)應(yīng)的最高亮度有限,也被稱作SDR(Standard Dynamic Range)OETF。例如,如果規(guī)格化后的場(chǎng)景光線亮度值是0.2,則經(jīng)過OETF 曲線后,得到的規(guī)格化后的信號(hào)值,大概是0.5,如圖3 中的SDR gamma 曲線所示。攝影中的術(shù)語中性灰也來自這條曲線的這一點(diǎn)。
圖3 SDR gamma曲線和HDR HLG曲線
進(jìn)入HDR 時(shí)代,為了支持更高的場(chǎng)景亮度,一種方法是對(duì)SDR EOTF 曲線進(jìn)行調(diào)整,如上圖中有拐點(diǎn)的SDR gamma 曲線,另一種方法是使用BBC 等公司推出了HLG(Hybrid Log-Gamma)規(guī)范[10],它分段定義了OETF 曲線,在亮度不高的范圍內(nèi)和SDR OETF 曲線重合,對(duì)高光部分使用對(duì)數(shù)曲線,如圖3 所示HDR HLG曲線,其中,橫坐標(biāo)的1 對(duì)應(yīng)SDR 情況下支持的場(chǎng)景亮度的最大值。因此HLG 可以兼容以前的SDR 顯示設(shè)備,主要用于電視廣播領(lǐng)域,也被納入了ITU-R BT.2100 標(biāo)準(zhǔn)。從圖3 中可以看出,在制作節(jié)目記錄真實(shí)場(chǎng)景時(shí),用HLG OETF 變換函數(shù)得到的信號(hào)值,還是介于0 和1.0 之間,這表示對(duì)應(yīng)著顯示器亮度的相對(duì)值,1.0 對(duì)應(yīng)著當(dāng)前在用的顯示設(shè)備支持的最高亮度。所以,有線電視臺(tái)只需要準(zhǔn)備一套經(jīng)過HLG OETF 轉(zhuǎn)換后的電視信號(hào),經(jīng)過電視網(wǎng)絡(luò)傳輸后,可直接在千家萬戶的各種亮度規(guī)格的電視機(jī)中播放,就好像現(xiàn)在的電視信號(hào),既可以在彩色電視中播放,也可以無縫的在黑白電視中播放,最終用戶無需對(duì)顯示設(shè)備進(jìn)行任何的硬件升級(jí)或者軟件升級(jí)。
EOTF 轉(zhuǎn)換發(fā)生在顯示階段,在最開始,EOTF 曲線由CRT 顯示器的電氣特性決定,也大致具有冪函數(shù)的形式,gamma 冪值一般為2.4。猜想當(dāng)年CRT 顯示器剛出來時(shí)候?yàn)槭裁催x擇2.4 這個(gè)gamma 值,原因估計(jì)是為了展示像素顏色值(信號(hào)值)的最佳觀看體驗(yàn),為了使得信號(hào)值經(jīng)過顯示器發(fā)出光線再進(jìn)入人腦得到和真實(shí)環(huán)境類似的顏色感知,如圖4 所示,CRT 顯示器大致應(yīng)表示為人腦感知(人腦感知生理特征也是SDR OETF 曲線的關(guān)鍵考慮因素)的反函數(shù)形式,即曲線公式的大致形式也是一個(gè)冪函數(shù),經(jīng)過無數(shù)次實(shí)驗(yàn)和市場(chǎng)選擇后,確定了2.4 這個(gè)值。結(jié)合ITU-R BT.709 OETF 函數(shù)定義的0.45 的gamma 值,即可達(dá)到辦公室中正常照明條件下的1.1 左右的系統(tǒng)伽馬值。順便提一句,很久以前有時(shí)候會(huì)覺得游戲亮度偏暗,那是因?yàn)椋?D 游戲是對(duì)實(shí)際場(chǎng)景的建模,建模計(jì)算出像素顏色值,并沒有經(jīng)過OETF 曲線的亮度提升,只是經(jīng)過了EOTF 轉(zhuǎn)換,那最終展示效果肯定會(huì)偏暗,當(dāng)然現(xiàn)在3D圖形游戲已經(jīng)意識(shí)到了這個(gè)問題。
圖4 CRT顯示器和人腦之間的顏色感知
在液晶顯示器出來后,為了使已有的圖片和視頻等內(nèi)容可以在液晶顯示器中達(dá)到和CRT 顯示器中相同的效果,ITU-R BT.1886[11]定義了gamma 為2.4 的EOTF 轉(zhuǎn)換函數(shù)。
進(jìn)入HDR 時(shí)代,杜比公司開發(fā)了PQ(Perceptual Quantizer)系統(tǒng),并被SMPTE(Society of Motion Picture and Television Engineers,電影電視工程師協(xié)會(huì))[12]接納為SMPTE 2084 標(biāo)準(zhǔn),也被寫入了ITU-R BT.2100 標(biāo)準(zhǔn)。PQ 系統(tǒng)的理想顯示器最大亮度可以達(dá)到10000尼特,或者起碼應(yīng)該達(dá)到1000 尼特,最低亮度可以低至0.005 尼特。基于顯示器的全新能力,PQ 系統(tǒng)重新定義了PQ EOTF 曲線,信號(hào)值被直接映射到顯示器亮度,即曲線縱坐標(biāo)是顯示器亮度絕對(duì)值。這樣,充分利用了更寬亮度動(dòng)態(tài)范圍的HDR 顯示器,使得重現(xiàn)的場(chǎng)景更加接近真實(shí)場(chǎng)景。
現(xiàn)在討論HDR 片源,一般就是HDR 視頻。根據(jù)ITU-R BT.2100 的規(guī)定,HDR 視頻除了要求顯示器支持WCG 和HDR 外,還要可以支持4k 乃至8k 的像素分辨率,以及每秒60P 到120P 的幀率。另外,每個(gè)像數(shù)顏色通道的位數(shù)還要從8bit 提高到10bit 乃至12bit,這個(gè)比特?cái)?shù)就是顏色向量空間給定基后的坐標(biāo)的每個(gè)分量在計(jì)算機(jī)中表示所需要的位數(shù)。只有足夠多的比特?cái)?shù)才能容納更多的信息,才能使顯示器的WCG 和HDR 發(fā)揮最大效用,還可以減少banding效應(yīng)。
HDR 視頻格式主要分兩大類,第一類是符合HLG OETF 轉(zhuǎn)換函數(shù)的HLG 格式,在拍攝視頻時(shí)就根據(jù)HLG 曲線進(jìn)行了從場(chǎng)景光到信號(hào)值的轉(zhuǎn)換,轉(zhuǎn)換完成后,視頻的制作也即隨之完成。再接下來,就是完成后的HDR HLG 視頻在各種SDR 和HDR 顯示器上直接播放。
第二類HDR 視頻格式遵循PQ(SMPTE2084)EOTF 轉(zhuǎn)換函數(shù),包括多種格式。由于PQ 規(guī)范定義了EOTF 階段的轉(zhuǎn)換函數(shù),所以,HDR PQ 視頻的主要工作在后期制作上,拍攝階段使用的OETF 甚至可能是y=x 的線性函數(shù),記錄下全部場(chǎng)景的光強(qiáng)信息,然后,制作者選擇符合PQ EOTF 要求亮度的顯示器作為參考顯示器,再進(jìn)行后期制作,使之在參考顯示器上可以得到最佳的效果,更加的接近真實(shí)場(chǎng)景。考慮到最終用戶播放視頻所使用的顯示器多種多樣,并不能達(dá)到參考顯示器的能力。因此,在HDR PQ 視頻中,要保存參考顯示器的相關(guān)能力值,被稱為meta data,在播放的時(shí)候,根據(jù)meta data 和實(shí)際播放顯示器能力值,做相應(yīng)的色調(diào)映射,以保持良好的整體觀影體驗(yàn)。首先應(yīng)用PQ規(guī)范的是Dolby Vision 格式,每個(gè)視頻幀都包括meta data,并且有專利限制;其簡(jiǎn)化版是HDR10 格式,沒有專利限制,整個(gè)視頻包括一份meta data,表示所有視頻幀的制作都是在同一個(gè)參考顯示器上進(jìn)行;后來,又在HDR10 的基礎(chǔ)上增加了HDR10+格式,也沒有專利限制,而且每個(gè)視頻幀都可包括meta data。
不管哪種HDR 視頻格式,信號(hào)值都會(huì)被編碼壓縮為諸如HEVC(H.265)或者VP9 等碼流進(jìn)行保存和傳輸,在播放時(shí)候,再被解碼回信號(hào)值。能夠直接播放一種或多種HDR 視頻格式、并且支持更寬色域和更高HDR 的電視機(jī),才能被稱為HDR 電視機(jī),注意選購(gòu)時(shí)候避免被誤導(dǎo)。順便提一下,照相機(jī)中的HDR 技術(shù)是個(gè)完全不同的概念,是在拍照時(shí)候使用多個(gè)不同的快門曝光時(shí)間,較短的曝光時(shí)間用來獲取場(chǎng)景的高亮部分的信息,較長(zhǎng)的曝光時(shí)間用來獲取場(chǎng)景的暗部細(xì)節(jié)的信息,然后,將這些信息集成在同一張照片中。照片本身的保存格式,照片在顯示設(shè)備上的展示,都是利用已有技術(shù),無關(guān)本文討論的HDR 技術(shù)。
本文從最基本的顏色理論開始,逐步梳理和分析了各種基本概念之間的關(guān)系,從而對(duì)HDR 技術(shù)的發(fā)展有了更加深入的理解。限于篇幅,本文無法展開討論,僅將關(guān)鍵知識(shí)點(diǎn)到,為讀者后續(xù)對(duì)HDR 技術(shù)及相關(guān)理論的深入學(xué)習(xí)奠定基礎(chǔ)。