基于結(jié)構(gòu)分解的端到端水下視頻壓縮方法

李 擎

（福州大學(xué)，福建 福州 350000）

0 引 言

海洋和人類的生活息息相關(guān)，緊密相連。海洋占全球面積的71%，體積高達(dá)14億立方公里，規(guī)模比陸地大。海洋是現(xiàn)今各個(gè)國家新的發(fā)展空間。海洋除了蘊(yùn)含豐富的礦物、生物、氣體等資源外，其遼闊的海域還是交通的要道、邊土防御的天然屏障，可以說，海洋開發(fā)潛力巨大，在現(xiàn)今陸上資源日益匱乏的狀況下，海洋資源已經(jīng)愈發(fā)成為全球新的經(jīng)濟(jì)與科技發(fā)展的新動(dòng)力源[1]。

水下視頻信號(hào)的壓縮與傳輸在水下環(huán)境具有極其廣泛的應(yīng)用，如沿海軍事和戰(zhàn)術(shù)多媒體監(jiān)測(cè)、海底和海上資源的勘探、石油管道和橋梁檢查、海底到海界面地質(zhì)的生物過程和農(nóng)業(yè)漁業(yè)養(yǎng)殖方面的視頻監(jiān)測(cè)，這些都需要實(shí)時(shí)水下視頻資源來協(xié)助采集和分類。但是，由于水下頻譜的限制和聲學(xué)信道的易誤差特性，在現(xiàn)今水下惡劣復(fù)雜的帶寬環(huán)境下實(shí)現(xiàn)大量高效和可靠的視頻數(shù)據(jù)傳輸是一個(gè)巨大的挑戰(zhàn)。在水下環(huán)境，射頻波會(huì)被吸收幾十米及以上的距離，而光波需要較為狹窄的激光束，在水下環(huán)境會(huì)遭受光散射和海浪不規(guī)則運(yùn)動(dòng)[2]。聲波在水下環(huán)境具有良好的傳播特性，由于光波和電磁波無法在水中很好地發(fā)揮作用，在某些水下場景中，聲學(xué)是能夠進(jìn)行水下無線通信的技術(shù)[3]。聲波作為最合適的傳輸介質(zhì)，可以傳播幾十公里，使得聲波的水下通信信道非常動(dòng)態(tài)，但是容易衰落，光譜有限，通帶帶寬受限，并受到非高斯噪聲的影響，傳輸信道速度大概在100～300 kb·s-1。傳統(tǒng)的視頻壓縮傳輸技術(shù)受到水下較差的光照條件、水造成的模糊、視頻幀遮擋和抖動(dòng)、不同地質(zhì)環(huán)境之間形狀和紋理的相似性、不規(guī)則移動(dòng)的水生動(dòng)植物和背景的混亂方面的挑戰(zhàn)，嚴(yán)重阻礙了傳統(tǒng)技術(shù)在現(xiàn)實(shí)水下場景中的應(yīng)用[4-5]。

由于水下環(huán)境惡劣復(fù)雜，可見度低等因素，人類自身無法在水下自由開展水下活動(dòng)以獲取有效資源[6]，因此水下活動(dòng)的正常開展需要借助水下無人機(jī)（Autonomous Underwater Vehicle，AUV）和圖像視頻拍攝設(shè)備來進(jìn)行，水下圖像及視頻壓縮傳輸?shù)南嚓P(guān)技術(shù)對(duì)于水下無人機(jī)（AUV）獲取周圍水環(huán)境和有效資源信息起著重要的作用[7]。水下視頻的信息便于觀察，所含內(nèi)容豐富，便于人類觀察和獲取水下環(huán)境中的有效信息，做到對(duì)水下各類資源和有效信息的高效監(jiān)控、利用和及時(shí)應(yīng)對(duì)。水下視頻傳輸有著時(shí)延長、波動(dòng)較大等問題，如何在有限的帶寬和復(fù)雜的環(huán)境下提高傳輸效率，成為水下視頻傳輸?shù)年P(guān)鍵問題。

近年來，水下視頻拍攝設(shè)備不斷進(jìn)步，在水下惡劣的傳輸帶寬條件下，視頻清晰度的提高使得傳輸整幅高清晰的圖像可能會(huì)存在一定的延遲，難以保證實(shí)時(shí)性。因此必須將傳統(tǒng)視頻壓縮傳輸技術(shù)和水下惡劣的帶寬條件和復(fù)雜情況相結(jié)合分析，來保證水下視頻的有效壓縮傳輸。由于水下視頻傳輸?shù)睦щy，感興趣區(qū)域和目標(biāo)物的提取在水下視頻傳輸中起著重要作用。為了解決水下視頻傳輸過程中的問題，需要將傳統(tǒng)視頻傳輸技術(shù)與水下情況相結(jié)合來考慮。文獻(xiàn)[8]為了適應(yīng)水下環(huán)境低帶寬的情況，基于小波變換提出了一種利用運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償來去除壓縮傳輸過程中水下視頻中冗余的方法。NJIKI-NYA PATRICK等人[9]將視頻幀分為紋理區(qū)域和非紋理區(qū)域，非紋理區(qū)域采用傳統(tǒng)的基于預(yù)測(cè)和變換的編碼方式編碼，而對(duì)紋理區(qū)域，則并不直接編碼，而是提取出相應(yīng)的紋理參數(shù)作為邊信息編碼傳輸，在解碼端根據(jù)解碼得到的紋理參數(shù)進(jìn)行紋理合成重建，在保證解碼視頻幀主觀質(zhì)量的同時(shí)，大幅降低了碼率。JONGHYUN AHN等人[10]使用水下自主航行器（AUV）傳輸水下視頻時(shí)對(duì)視頻中感興趣區(qū)域和目標(biāo)進(jìn)行選擇并且對(duì)水下視頻中視頻幀圖像顏色衰減和光照不均勻等問題進(jìn)行了優(yōu)化。MEHDI RAHMATI等人[11]采用可伸縮編碼和多個(gè)水下航行器（AUV）的網(wǎng)絡(luò)內(nèi)共享來傳輸重建感興趣區(qū)域的水下視頻幀，克服了光波散射和海浪運(yùn)動(dòng)等困難。這些方法都能比較好地傳輸重建水下視頻的內(nèi)容，但是在目標(biāo)物和感興趣區(qū)域的提取和加強(qiáng)上還有所不足。

為了解決目前還存在的技術(shù)問題，彌補(bǔ)當(dāng)前的不足，進(jìn)一步提高水下視頻的傳輸性能，本文基于水下視頻幀中關(guān)注度和感興趣區(qū)域的提取，利用一種基于結(jié)構(gòu)分解的端到端水下視頻壓縮傳輸方法使傳輸過程中感興趣部分圖像的失真盡量小，壓縮傳輸所得到的視頻中的內(nèi)容能夠更加符合人類視覺感官。利用水上高計(jì)算能力的計(jì)算機(jī)，可以實(shí)現(xiàn)對(duì)傳輸視頻較好的重建效果，可以實(shí)現(xiàn)更好的實(shí)時(shí)傳輸。

1 水下視頻壓縮方案框架設(shè)計(jì)

本文算法包括編碼端的結(jié)構(gòu)分解和解碼端的重構(gòu)合成。在編碼框架中，輸入的水下視頻被分解成基本輪廓和細(xì)節(jié)紋理兩個(gè)部分，基本輪廓是視頻幀圖片中感興趣區(qū)域和目標(biāo)物的大致輪廓和邊緣部分，細(xì)節(jié)紋理則是色彩和圖片的細(xì)節(jié)紋理。對(duì)輸入的水下視頻幀分解的兩部分分別進(jìn)行增強(qiáng)處理后，進(jìn)行端到端的視頻幀傳輸，最終在解碼端合成，生成重建后的水下視頻幀圖像。算法框架如圖1所示。結(jié)構(gòu)分解后，兩部分內(nèi)容分別通過端到端的水下視頻壓縮學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行深度學(xué)習(xí)壓縮傳輸，由于壓縮后傳輸?shù)囊曨l幀圖片大小大大減小，并且分成了兩個(gè)結(jié)構(gòu)部分分別進(jìn)行傳輸，本文的方法只需要傳輸高質(zhì)量的感興趣區(qū)域和目標(biāo)部分，其他背景區(qū)域進(jìn)行低質(zhì)量傳輸，因此可以降低傳輸所需碼率，克服了水下帶寬條件苛刻的情況。重建后的水下視頻幀由于經(jīng)過傳輸前的增強(qiáng)處理，重建結(jié)果圖片在光照顏色和清晰度方面更能顯現(xiàn)出感興趣區(qū)域和目標(biāo)物。算法流程包含基于結(jié)構(gòu)分解的水下視頻幀增強(qiáng)預(yù)處理和端到端的水下視頻壓縮學(xué)習(xí)網(wǎng)絡(luò)兩部分方法，將在下面章節(jié)進(jìn)行介紹。

圖1 算法框架整體流程

2 基于結(jié)構(gòu)分解的端到端水下視頻壓縮傳輸方法

由于水下環(huán)境條件惡劣，水下視頻的傳輸會(huì)因?yàn)閹捿^低和時(shí)延長等原因受阻，水下視頻幀往往會(huì)因?yàn)樗鹿庹諚l件差、雜質(zhì)較多等諸多因素產(chǎn)生噪聲和偽影等干擾。光在水下環(huán)境中容易被吸收并發(fā)生散射，使得圖像色調(diào)偏向藍(lán)綠色。水中漂浮的雜質(zhì)粒子也會(huì)使得光波在水下發(fā)生前向或背景散射，使得圖像往往出現(xiàn)視覺失真，如低對(duì)比度、顏色失真和霧霾樣效應(yīng)[12-13]，使得傳輸?shù)乃乱曨l幀內(nèi)容中感興趣區(qū)域和目標(biāo)模糊，不容易被識(shí)別，因此重建還原效果欠佳，無法得到真實(shí)清晰的水下視頻幀。由于水下環(huán)境造成圖像質(zhì)量差，傳統(tǒng)的傳輸方法重建的水下視頻幀與真實(shí)情況的視頻幀可能偏差較大，造成壓縮傳輸后的視頻質(zhì)量欠佳。為了改善水下視頻壓縮傳輸質(zhì)量，本文對(duì)輸入的水下視頻進(jìn)行結(jié)構(gòu)分解增強(qiáng)處理，分別傳輸分解后的兩部分內(nèi)容，有利于降低傳輸視頻所需碼率；增強(qiáng)處理后進(jìn)行壓縮傳輸，可以使得重建后的水下視頻幀在視覺感官效果上得到提升。

本文的方法將輸入的水下視頻幀視為I(x,y)，經(jīng)過結(jié)構(gòu)分解[14]后的高頻邊緣輪廓部分和低頻細(xì)節(jié)紋理色彩部分分別視為IH(x,y)和IL(x,y)。

經(jīng)過分別增強(qiáng)處理后[14]的兩部分組成分別表示為JH(x,y)和JL(x,y)，則上式轉(zhuǎn)換成

而在水下光學(xué)成像方面，JAFFE[15]和MCGLAMARY[16]提出的三分量模型中，相機(jī)拍攝的總能量ET(x,y)的定義為：

式中：Ed(x,y)，Efs(x,y)、Ebs(x,y)分別表示直向亮度分量、前向散射分量、背景散射分量。

由于水下場景和攝像機(jī)的距離通常較大，可以忽略前向散射分量的影響，然后考慮直接亮度分量和背景散射分量。因此，式（3）得以簡化為：

式中：Iλ表示捕捉到的水下視頻幀圖片，Tλ表示傳輸圖，Bλ表示圖片的全局背景光。由此，將增強(qiáng)后的式（4）代入式（1）、（2），就可以得到：

之后增強(qiáng)后的式（5）就可以表示為以下兩部分：

式（6）、式（7）分別代表高頻和低頻分量的物理模型。

將兩部分增強(qiáng)處理后經(jīng)過端到端的壓縮學(xué)習(xí)網(wǎng)絡(luò)傳輸，最后生成接近真實(shí)情況的水下圖像J(x,y)。

端到端的視頻壓縮學(xué)習(xí)方法由視頻編碼標(biāo)準(zhǔn)[17-18]驅(qū)動(dòng)，利用了運(yùn)動(dòng)補(bǔ)償來減少空間冗余度，兩個(gè)壓縮網(wǎng)絡(luò)分別對(duì)運(yùn)動(dòng)和殘余信息進(jìn)行壓縮?？傮w網(wǎng)絡(luò)框架如圖2所示，各個(gè)模塊及其功能如下。

圖2 壓縮學(xué)習(xí)傳輸網(wǎng)絡(luò)框架

2.1 運(yùn)動(dòng)估計(jì)

利用光流法[19]來對(duì)當(dāng)前視頻幀以及當(dāng)前幀的前一幀進(jìn)行運(yùn)動(dòng)估計(jì)，光流法較大的接受域有利于視頻壓縮網(wǎng)絡(luò)有效地處理較大的運(yùn)動(dòng)。視頻壓縮框架的光流網(wǎng)絡(luò)是一個(gè)5級(jí)的金字塔網(wǎng)絡(luò)，每一層包含5個(gè)卷積層，角形大小為7×7，每層所包含的濾波器數(shù)量分別為32、64、32、16、2。

2.2 運(yùn)動(dòng)壓縮

運(yùn)動(dòng)估計(jì)后，本文的方法采用自動(dòng)編碼器[20-21]來對(duì)其進(jìn)行壓縮，編碼器含有4個(gè)卷積層和與之對(duì)應(yīng)的上采樣，前3個(gè)卷積層采用逆GDN[20]激活函數(shù)，濾波器的大小設(shè)置為3×3。運(yùn)動(dòng)壓縮網(wǎng)絡(luò)中，解碼器最后一層和其他層的濾波器數(shù)分別為2、128，以此來重建出運(yùn)動(dòng)向量，實(shí)現(xiàn)編解碼用于運(yùn)動(dòng)壓縮。由于使用了因子分解的嫡模型[20]，本文的方法對(duì)輸入和輸出圖片的分辨率要求較低，只需要輸入16的倍數(shù)的高度和寬度的圖片即可。并且，本文使用的因子分解的嫡模型替換了原先的超先驗(yàn)?zāi)Ｐ?，但是在性能上并沒有下降。

2.3 運(yùn)動(dòng)補(bǔ)償和殘差壓縮

根據(jù)文獻(xiàn)[20]所述，參考幀先被壓縮運(yùn)動(dòng)處理，運(yùn)動(dòng)補(bǔ)償網(wǎng)絡(luò)以參考幀、被壓縮運(yùn)動(dòng)處理后的參考幀以及壓縮運(yùn)動(dòng)作為輸入，來生成對(duì)應(yīng)的運(yùn)動(dòng)補(bǔ)償幀，本文的框架則符合文獻(xiàn)[20]中的架構(gòu)。所有層的濾波器都被設(shè)置成3×3的大小，最后一層以及其他層的濾波器數(shù)量分別為3和64，并都有步幅為2的上下采樣。運(yùn)動(dòng)補(bǔ)償后，可以通過作補(bǔ)償參考幀與當(dāng)前原始幀的差來得到殘差。在端到端視頻壓縮框架中，本文運(yùn)用與運(yùn)動(dòng)壓縮相同的方法來進(jìn)行殘差壓縮，唯一不同的是，因?yàn)闅埐畋冗\(yùn)動(dòng)包含更多的信息，在運(yùn)動(dòng)補(bǔ)償中，將濾波器的大小設(shè)置為3×3，而在殘差壓縮中，將濾波器大小設(shè)置為5×5，這樣可以容納產(chǎn)生的較大的比特率，并且更大的濾波器提高了自動(dòng)編碼器的性能。最后，將殘差添加到補(bǔ)償后的參考幀中，傳輸后增強(qiáng)的邊緣部分和紋理細(xì)節(jié)部分，經(jīng)過卷積和計(jì)算后得到最終重建的水下視頻幀。

3 實(shí)驗(yàn)與性能

基于結(jié)構(gòu)分解的水下視頻幀增強(qiáng)網(wǎng)絡(luò)，使用Matlab和PyTorch平臺(tái)進(jìn)行實(shí)驗(yàn)訓(xùn)練，數(shù)據(jù)集采用真實(shí)描述水下情況的水下視頻數(shù)據(jù)集shark、UMD RAM Qudo Uuderwater Vision以及Brackish數(shù)據(jù)集來進(jìn)行，數(shù)據(jù)集包含大量的1 920×1 088分辨率的水下魚類、人及其他物品的視頻幀。首先利用Matlab將數(shù)據(jù)集中分解得到的視頻幀分解成結(jié)構(gòu)分量增強(qiáng)，而后在PyTorch平臺(tái)上對(duì)兩個(gè)結(jié)構(gòu)分量增強(qiáng)后的部分進(jìn)行壓縮學(xué)習(xí)和傳輸后合成最終的視頻幀。增強(qiáng)處理后的視頻幀分為7個(gè)視頻幀一組進(jìn)行訓(xùn)練，測(cè)試集所用部分不在訓(xùn)練集中。

實(shí)驗(yàn)采用峰值信噪比（Peak Signal to Noise Ratio，PSNR）和結(jié)構(gòu)相似性（Structural Similarity，SSIM）來評(píng)估壓縮傳輸后重建的水下視頻幀的質(zhì)量，bpp代表每個(gè)像素的比特，重建后的結(jié)果與H.264和H.265的結(jié)果進(jìn)行比較，如圖3所示。結(jié)果表明，本文的方法在傳輸水下視頻的時(shí)候性能優(yōu)于H.264的結(jié)果，略差于H.265，但是在bpp較高的情況下性能接近。

圖3 本文方法和H.264與H.265的性能比較

4 結(jié) 語

由于水下的惡劣環(huán)境與條件，水下視頻傳輸受帶寬較低和時(shí)延長等因素的干擾，水下視頻幀由于光照條件差、雜質(zhì)較多等諸多因素產(chǎn)生噪聲和偽影，使得采用傳統(tǒng)方法傳輸?shù)乃乱曨l幀內(nèi)容中感興趣區(qū)域和目標(biāo)模糊、不容易被識(shí)別，導(dǎo)致重建還原效果欠佳，無法得到真實(shí)清晰的水下視頻幀。為了改善水下視頻壓縮傳輸質(zhì)量，本文提出了一種基于結(jié)構(gòu)分解的水下視頻壓縮學(xué)習(xí)傳輸方案，使得壓縮傳輸后的水下視頻在視覺感官等方面有了較好的性能提升。