高吞吐量JPEG 2000在電影中的應用

(中國電影科學技術(shù)研究所,北京 100086)

JPEG 2000標準作為新一代的圖像壓縮標準自2000年正式出臺以來,憑借其優(yōu)異的壓縮比、新加入的對于感興趣區(qū)域 (ROI)的支持、以及其支持漸進傳輸?shù)葍?yōu)點,使得JPEG 2000標準在圖像壓縮領(lǐng)域取得了一定突破,在電影、互聯(lián)網(wǎng)、數(shù)字相機、醫(yī)療影像、數(shù)字圖書館等領(lǐng)域得到廣泛應用。時光荏苒、歲月如梭,JPEG 2000標準發(fā)展至今已經(jīng)經(jīng)歷了20個春秋。隨著用戶需求的與時俱進和視聽產(chǎn)品的規(guī)格標準不斷提升,JPEG 2000標準對編解碼硬件要求較高,無法在廣泛的應用領(lǐng)域得到推廣,發(fā)展受到限制。2020 年前后,JPEG 委員會在JPEG 2000國際標準系列 (ISO/IEC JTC 1/SC 29/WG 1)新增加了一個標準——“高吞吐量JPEG 2000”。

1 什么是HTJ2K

高吞吐量JPEG 2000 英文全稱是 High Throughput JPEG 2000,簡稱HTJ2K。該標準是JPEG 委員會在JPEG 2000 國際標準系列 (ISO/IEC JTC 1/SC 29/WG 1)新增加的一個標準。

HTJ2K 標準能夠為JPEG 2000 帶來巨大的數(shù)據(jù)量吞吐。同JPEG 2000標準相比,在采用中等壓縮比率時,HTJ2K 標準能夠提高大約10倍的數(shù)據(jù)吞吐量;而在采用無損編碼時,HTJ2K 標準可以提供超過原來30倍的數(shù)據(jù)吞吐量。HTJ2K 標準在略微降低編解碼效率的情況下,大大降低了計算的復雜程度,因此其能夠采用低成本的硬件實現(xiàn)。例如:4096×2160 分辨率的4K 4∶4∶4 12 比特/通道(bit/channel)即36 比特/像素 (bits/pixel)的視頻采用3.4GHz 4核Skylake桌面處理器,以2比特/像素 (bits/pixel)進行編碼時,編碼速度可超過90fps,且同一硬件對該片還可以實現(xiàn)超過140fps的解碼。如果相同規(guī)格的視頻內(nèi)容采用目前性能處于中等水平GTX1080芯片的GPU 進行解碼,可以達到500fps。

2 HTJ2K 與JPEG 2000的關(guān)系

HTJ2K 通過引入一種新的HT 塊編碼器來實現(xiàn)數(shù)據(jù)的高吞吐量,對原始JPEG 2000 第1 部分(以下簡稱為J2K-1)塊編碼器進行替換,該模塊能夠轉(zhuǎn)碼到J2K-1格式,也可以從J2K-1格式轉(zhuǎn)碼還原,實現(xiàn)了真正可逆的轉(zhuǎn)碼。

除質(zhì)量可擴展性之外,HTJ2K 保留了JPEG 2000第1部分的所有特性。它與JPEG 2000第2部分定義的擴展、JPEG 2000第9部分定義的交互式通信協(xié)議以及JPEG 2000 系列的其他部分兼容。HTJ2K 完全支持分辨率可擴展性,有效的空間隨機訪問,多光譜和高光譜內(nèi)容(multi-spectral and hyper-spectral content),以及高吞吐量非迭代精確速率控制。與J2K-1編碼器不同,HT 編碼器并未完全嵌入,并且HTJ2K 碼流可以保留質(zhì)量層邊界,從而在HT 和J2K-1之間實現(xiàn)真正的可逆轉(zhuǎn)碼。

HTJ2K 解決了專業(yè)視頻采集、編輯、流媒體和分發(fā)市場的需求,包括高精度和半浮點 (half-float)內(nèi)容的高吞吐量無損編碼。HTJ2K 同時能夠廣泛應用于各種程序,從點對點視頻流到圖像捕獲、預覽和瀏覽等功能。同時,超高的電能利用率使其充分勝任移動設(shè)備和衛(wèi)星成像應用。

最后,HTJ2K 標準中定義了一種稱為JPH 的包裝文件格式,用最新的顏色空間更新了JPEG 2000格式,幾乎支持無限精度的HDR 內(nèi)容。其擴展了JP2文件格式,支持現(xiàn)代可參數(shù)化的顏色空間、沒有任何顏色空間的圖像以及適合原始傳感器壓縮的自定義顏色映射。

JPEG 2000第16部分規(guī)定了ISO/IEC 23008-12中JPEG 2000 碼流的封裝,通常稱為HEIF。JPEG 委員會正在對其進行修訂,以支持封裝HTJ2K 標準的碼流。目前Kakadu、OpenJPH、ICT-Link都已經(jīng)支持HTJ2K 標準。與J2K-1 標準一樣,HTJ2K 標準也是免費的。

3 HTJ2K 整體架構(gòu)

圖1顯示了HTJ2K 壓縮和解壓所涉及的元素。HTJ2K 在很大程度上保留了JPEG 2000 的現(xiàn)有體系結(jié)構(gòu)和代碼流語法。圖像首先完成JPEG 2000第1部分或第2部分定義的多分量變換、非線性點變換,變換后的圖像分量由可逆或不可逆的離散小波變換 (DWT)處理,生成詳細子帶和一個基本(LL)子帶的層次結(jié)構(gòu)。

圖1 HTJ2K 整體架構(gòu)

所有子帶被劃分為不超過4096個樣本的塊,典型尺寸為64×64或32×32,也可以是非常寬和短的塊,如1024×4,該種塊對于低延遲應用程序也很重要。每個塊被單獨量化 (如果是不可逆的)并編碼,產(chǎn)生一個包含零或更多編碼參數(shù)的比特流。

在編碼器中,可選的壓縮后失真率優(yōu)化(PCRD-opt)階段用于丟棄部分產(chǎn)生的編碼參數(shù)。最后,把來自每個代碼塊的比特流組合為JPEG 2000數(shù)據(jù)包,以形成最終的代碼流。

HT 塊編碼器具有并發(fā)處理能力。所有JPEG 2000碼流都由碼塊組成,每個碼塊最多有4096 個樣本,所有樣本都可并行處理。使HT 塊編碼器如此之快的原因是每個HT 塊位流由3到5個字節(jié)流組成,這些流是松散耦合的,可并發(fā)處理。

4 HTJ2K 的應用

圖2 HTJ2K 系統(tǒng)圖

HTJ2K 標準引入了全新的HT 塊編碼器,該編碼器替換了J2K-1 中定義的J2K-1 塊編碼算法,從而相對于JPEG 2000數(shù)據(jù)吞吐量有著巨大的提升。

4.1 電影和錄像資產(chǎn)的分配、存檔和管理

目前,JPEG 2000在用于數(shù)字電影發(fā)行放映以外,被廣泛用作數(shù)字電影和視頻資產(chǎn)的中間發(fā)行格式,這主要借助于電影電視工程師協(xié)會 (SMPTE)定義的互操作母版格式 (IMF)規(guī)范。在這種應用場景也可以采用HTJ2K 標準,相對于JPEG 2000標準會更加提高效率。

針對目前已經(jīng)有大量JPEG 2000的視頻內(nèi)容的存檔管理,HTJ2K 標準也提出了相應的解決辦法,由于HTJ2K 標準僅僅是替換了JPEG 2000編解碼器,所以可以在不影響原來工作流程的情形下,在處理流程中直接加入HTJ2K 轉(zhuǎn)碼器來完成轉(zhuǎn)碼工作,不僅如此HTJ2K 標準還有將HTJ2K 改為J2K-1的可逆轉(zhuǎn)碼器,能夠幫助將已經(jīng)編碼的文件還原回J2K-1狀態(tài)。

按照圖2的HTJ2K 系統(tǒng)圖中的路徑C-D-F-I-K,現(xiàn)有的存檔JPEG 2000媒體可以被轉(zhuǎn)換、存儲、分發(fā)和播映,大大降低了計算復雜度。

首先,原來被存儲在J2K 媒體庫中的J2K 媒體將使用HTJ2K 可逆轉(zhuǎn)碼器將J2K-1格式文件轉(zhuǎn)碼成為HTJ2K 文件格式,該轉(zhuǎn)碼器為可逆轉(zhuǎn)碼器,確保用戶可以根據(jù)需要能夠還原成J2K-1 格式文件;接下來被轉(zhuǎn)碼成HTJ2K 格式的文件將被存儲在HTJ2K 儲存庫中方便進行存儲和分發(fā);當媒體文件需要呈現(xiàn)時,HTJ2K 文件將通過HTJ2K 解碼器進行解碼,然后顯示給用戶觀看。

當用戶需要將HTJ2K 格式文件恢復成JPEG 2000格式時,可以通過路徑F-H-G (見圖2)完成原始JPEG 2000 無損恢復。HTJ2K 格式文件通過HTJ2K 可逆轉(zhuǎn)碼器,將HTJ2K 格式文件還原成JPEG 2000文件J2K-1格式文件,并將J2K-1格式文件存儲到J2K 儲存庫中。

SMPTE在最近修訂的SMPTE ST 422標準中增加了對MXF 文件中HTJ2K 的支持,這使得HTJ2K 更容易使用在數(shù)字電影、IMF 和其他使用以MXF文件為基礎(chǔ)的應用中。

4.2 節(jié)約能耗的圖像捕獲和預覽

HTJ2K 標準及其相關(guān)的JPH 文件格式還可以應用在數(shù)碼相機、手機和更先進的多傳感器成像設(shè)備上,可以幫助這些設(shè)備保存捕獲的圖像更多的細節(jié)特性。使用軟件和硬件將圖像直接編碼成HTJ2K所需的能耗非常低,這個特性對于使用電池供電的設(shè)備大有裨益。HTJ2K 支持非常高的樣本精度,允許用HLG 和PQ 等非線性傳遞函數(shù)編碼高動態(tài)范圍內(nèi)容。更重要的是,HTJ2K 具有分辨率可伸縮性和區(qū)域可訪問的特性,它允許JPH 文件以極低的能耗預覽圖片或者是查看圖片某一個部分。這個功能所需要的能耗遠遠低于使用JPEG 文件格式預覽所需的能量。

整個工作流程如圖2的路徑B-E-F-I-K。視頻源或者圖片源首先進入HTJ2K 編碼器,編碼成為HTJ2K 格式文件,然后存儲在HTJ2K 儲存庫中,需要使用的時候從HTJ2K 儲存庫中提取出來由HTJ2K 解碼器解碼,然后展示給用戶。

此外,HTJ2K 與JPIP 標準無縫工作,可以用于JPEG 2000圖像的交互式遠程瀏覽。這提供了一種高效的機制來支持從特定網(wǎng)絡(luò)中的設(shè)備遠程預覽捕獲的內(nèi)容,行使路徑B-E-F-L (見圖2)。首先視頻源或者圖片源通過HTJ2K 編碼器編碼后生成HTJ2K 格式文件,然后HTJ2K 格式文件存儲到HTJ2K 儲存庫中,JPIP服務器可直接從HTJ2K儲存庫中提取HTJ2K 格式文件。如果在過程中需使用J2K-1標準,可將HTJ2K 可逆轉(zhuǎn)碼器完全嵌入流程中,在HTJ2K 系統(tǒng)圖中行使路徑B-E-F-H-J(見圖2),即在需使用的時候?qū)腍TJ2K儲存庫中提取出來由HTJ2K 格式文件進行HTJ2K到J2K-1的可逆轉(zhuǎn)碼,轉(zhuǎn)成J2K-1格式文件后再交由JPIP服務器處理,以實現(xiàn)對遠程內(nèi)容的高效瀏覽。

HTJ2K 也可以應用在遠程直播、廣播、視圖查找等方面,工作流程在圖2的HTJ2K 系統(tǒng)圖中執(zhí)行路徑B-E-I-K,利用HTJ2K 極高的編碼和解碼吞吐量,即使在較低的傳輸速率下也具有較高的編碼效率,且視頻流從一端到另外一端具有較低延遲。這些特性允許高質(zhì)量4K 內(nèi)容在傳統(tǒng)IP或本地無線鏈路上傳輸,節(jié)省了原有傳輸路線的擴容問題,降低了投資規(guī)模。

4.3 高分辨率視頻采集

以往使用J2K-1塊編碼算法,大多數(shù)移動設(shè)備沒有足夠的CPU 功率來直接壓縮其圖像傳感器能夠產(chǎn)生的高分辨率視頻流。HTJ2K 使用圖2中的路徑B-E-F,通過實時產(chǎn)生壓縮流來解決這個問題。如果后期有需要,之前采集的HTJ2K 格式文件可以被轉(zhuǎn)碼為J2K-1格式,執(zhí)行圖2中路徑FH-G 或F-H-J來完成。

4.4 用于交互渲染的緩存管理

在查看大型圖像時,通常會按照需要通過改變分辨率來縮放圖片進行瀏覽,也會通過放大某一塊感興趣的區(qū)域進行仔細查看,因此連續(xù)呈現(xiàn)的視圖包含許多共同的代碼塊。每次以某種分辨率呈現(xiàn)感興趣的區(qū)域時,相關(guān)的代碼塊通常都是按需解碼的,可從本地文件或客戶端緩存中動態(tài)訪問。

HTJ2K 標準也可以應用在大型圖像緩存管理方面。目前有兩種方式,一種是如果源內(nèi)容已經(jīng)使用HTJ2K 編碼器,那么在交互渲染過程中重復解碼常見的碼塊將比使用J2K-1 編碼算法速度快得多,將大大降低這些應用使用的電量。另外一種,如果原始媒體使用J2K-1塊編碼器,則被重復訪問的代碼塊可以被轉(zhuǎn)換為等效的HT 塊表示并存儲在智能內(nèi)容緩存中,從該緩存中重新呈現(xiàn)將會變得更加高效。HTJ2K 和J2K-1 都使用了類似的緩存內(nèi)存,并且保留了圖片或者視頻的所有信息。這種類型的應用在圖2的HTJ2K 系統(tǒng)圖中執(zhí)行路徑部分或全部路徑為A-D-F-I-K。首先,JPIP 客戶端將生成的J2K-1格式文件經(jīng)由HTJ2K 可逆轉(zhuǎn)碼器轉(zhuǎn)換成為HTJ2K 文件格式,并儲存在HTJ2K 儲存庫中,在使用的過程中HTJ2K 文件經(jīng)HTJ2K 解碼器解碼后,顯示給用戶。

4.5 Web服務器中優(yōu)化的圖像傳遞

如今,通過各種各樣設(shè)備可實現(xiàn)Internet瀏覽,這些設(shè)備有多種屏幕尺寸和分辨率。為適應不同設(shè)備屏幕,為用戶提供更優(yōu)體驗,需要調(diào)整適配不同分辨率圖像,甚至要做一定的裁剪來更好地匹配不同設(shè)備屏幕,以便減少所需的帶寬和渲染時間。這是“響應圖像 (Responsive Images)”倡議的動機。

響應圖像倡議已經(jīng)存在了好多年,目前得到了所有廣泛使用瀏覽器廠商的支持:例如Firefox 和Chrome從第38版開始支持該倡議;Edge從第18版也開始支持?，F(xiàn)有方法是在服務器端存儲不同分辨率的圖片,當設(shè)備用web瀏覽器訪問服務器時,web瀏覽器加載顯示設(shè)備最匹配的圖像。這要求web服務器存儲非常大量的不同的但相關(guān)的圖片映像。這種方式增加了服務器的工作負載,而且需要增加服務器的硬盤、內(nèi)存等硬件的投入。

HTJ2K 獨有的機制可以更好地實現(xiàn)響應圖像倡議的目標。HTJ2K 利用分辨率可伸縮性和隨機訪問能力,單個JPH 文件就可以有效地提供圖像所有所需的不同分辨率和圖像裁剪組合,從而減少web服務器的工作量和對硬件資源的消耗。

5 結(jié)論

2005年7月,數(shù)字影院倡導組織 (Digital Cinema Initiatives,簡稱DCI)發(fā)布了 《數(shù)字影院技術(shù)規(guī)范》(V1.0)將JPEG 2000作為數(shù)字電影的編碼格式。在過去的這些日子里,JPEG 2000標準憑借其高壓縮率、高圖像質(zhì)量一直在電影行業(yè)中發(fā)揮著巨大作用。隨著高幀率 (HFR)、高動態(tài)范圍(HDR)、大色域、8K、VR 等高新技術(shù)格式電影和媒體產(chǎn)品的發(fā)展驅(qū)動,JPEG 2000標準的一個重要缺點——“計算復雜”越來越突出,這個缺點進一步限制了其在電影中的應用。HTJ2K 標準的出現(xiàn)很大程度上解決了這一問題。

HTJ2K 在整個JPEG 2000 系列標準加入的內(nèi)容相對較少,但是卻給JPEG 2000系列標準帶來了全面的改進。與原始JPEG 算法相比,HTJ2K 提供了更高的編碼效率、可伸縮性的分辨率、區(qū)域資源的可訪問性和更強大的并行計算能力,同時與現(xiàn)有的JPEG 2000 算法相比,實現(xiàn)了更高的數(shù)據(jù)吞吐量。

HTJ2K 保留了JPEG 2000幾乎所有豐富的特征集外,還額外增加了質(zhì)量可伸縮性,在大大降低計算復雜度的同時大幅提高了數(shù)據(jù)吞吐量 (代價是編碼效率降低5%～10%)。

HTJ2K 和原來的J2K-1 格式是完全可互換的,允許在捕獲、分發(fā)、存檔、緩存或呈現(xiàn)系統(tǒng)中的任意點合并和可逆轉(zhuǎn)碼,以在不犧牲數(shù)據(jù)完整性的情況下獲得這兩種算法的最佳特性。在轉(zhuǎn)碼過程中,HTJ2K 甚至可以保留非HTJ2K 碼流的所有質(zhì)量分層、配置文件等信息。?

注釋

①Skylake是英特爾第六代微處理器架構(gòu),采用14 納米制程,是Intel Haswell微架構(gòu)及其制程改進版Intel Broadwell微架構(gòu)的繼任者。

②JPEG 2000第9部分,也稱為JPIP標準,該標準定義了對圖像 (包括視頻和動畫)如何進行高效和響應的遠程交互瀏覽。