面向5G無(wú)人船的深度圖片壓縮方法

張婭玲 周松斌 龐錕錕 廖奕校 袁飛 張壽明

本文引用格式：張婭玲，周松斌，龐錕錕，等.面向5G無(wú)人船的深度圖片壓縮方法[J].自動(dòng)化與信息工程，2023，44（2）：52-58.

ZHANG Yaling， ZHOU Songbin， PANG Kunkun， et al. Deep image compression method for 5G unmanned surface vessels[J]. Automation & Information Engineering， 2023，44（2）：52-58.

摘要：海上無(wú)人船網(wǎng)絡(luò)信號(hào)受天氣、信號(hào)塔距離等因素影響，無(wú)法維持穩(wěn)定，導(dǎo)致采集的海上船舶圖片不能及時(shí)回傳至服務(wù)器；同時(shí)海上船舶圖片中存在大量的海水、天空等冗余信息，導(dǎo)致關(guān)鍵信息傳輸速率較低，影響船舶的監(jiān)控效果。為提高海上無(wú)人船的圖片傳輸速率，提出基于語(yǔ)義分割和動(dòng)態(tài)調(diào)整碼率相結(jié)合的無(wú)人船深度圖片壓縮（DCUV）方法。DCUV方法根據(jù)圖片不同區(qū)域的感興趣程度，在采取不同碼率進(jìn)行圖片壓縮的同時(shí)保留了關(guān)鍵信息。實(shí)驗(yàn)結(jié)果表明，DCUV方法將海上船舶圖片的數(shù)據(jù)存儲(chǔ)空間壓縮至原始圖片的1.8%時(shí)，船舶識(shí)別準(zhǔn)確率可維持不變。

關(guān)鍵詞：5G無(wú)人船；深度圖片壓縮；圖片傳輸；語(yǔ)義分割；動(dòng)態(tài)調(diào)整碼率

中圖分類號(hào)：TP391 ??????????文獻(xiàn)標(biāo)志碼：A ???????????文章編號(hào)：1674-2605（2023）02-0010-07

DOI：10.3969/j.issn.1674-2605.2023.02.010

Deep Image Compression Method for 5G?Unmanned Surface Vessels

ZHANG Yaling¹??ZHOU Songbin¹??PANG Kunkun¹

LIAO Yixiao¹??YUAN Fei^1，2??ZHANG Shouming²

（1.Institute of Intelligent Manufacturing， Guangdong Academy of Science，?Guangdong Key Laboratory of Modern Control Technology， Guangzhou 510070， China

2.Faculty of Information Engineering and Automation，?Kunming University of Science and Technology， Kunming 650051， China）

Abstract： The network signal of unmanned surface vessels on the sea is affected by factors such as weather and signal tower distance， which cannot maintain stability， resulting in the collected images of ships on the sea not being transmitted back to the server in a timely manner; At the same time， there is a large amount of redundant information such as seawater and sky in the images of ships at sea， resulting in a low transmission rate of key information and affecting the effectiveness of ship monitoring. To improve the image transmission rate of unmanned surface vessels at sea， a deep image compression （DCUV） method based on semantic segmentation and dynamic rate adjustment for unmanned surface vessels is proposed. The DCUV method adopts different bitrates for image compression based on the degree of interest in different regions of the image， while retaining key information. The experimental results show that when the DCUV method compresses the data storage space of marine ship images to 1.8% of the original image， the accuracy of ship recognition can be maintained unchanged.

Keywords：5G unmanned surface vessels; deep image compression; image transmission; semantic segmentation; dynamically adjusting the bit rate

0 ?引言

海上運(yùn)輸技術(shù)的迅猛發(fā)展，不僅促進(jìn)了國(guó)內(nèi)經(jīng)濟(jì)

貿(mào)易的流通，還加速了全球經(jīng)濟(jì)一體化^[1]。隨著船舶數(shù)量的逐年遞增，船舶航行安全越來(lái)越具有挑戰(zhàn)性^[2]。

為確保船舶航行安全，海上交通管理部門需要對(duì)船舶航海情況進(jìn)行持續(xù)監(jiān)控。目前，針對(duì)船舶航海監(jiān)控的研究，大都集中于海上船舶識(shí)別算法^[3-7]，對(duì)海上船舶識(shí)別與圖傳速率的相關(guān)性研究較少，而圖傳速率又是船舶航海監(jiān)控不可忽略的影響因素之一。圖傳速率主要受兩方面的影響：1） 傳輸網(wǎng)絡(luò)，海上網(wǎng)絡(luò)信號(hào)受多種因素的影響，較難維持長(zhǎng)期穩(wěn)定；2） 傳輸數(shù)據(jù)量，采集的海上船舶圖片中含有大量的冗余信息，造成流量浪費(fèi)，導(dǎo)致關(guān)鍵信息的傳輸速率下降。通過(guò)減少圖片數(shù)據(jù)存儲(chǔ)空間，優(yōu)化海上無(wú)人船的圖傳效率，可提高航海過(guò)程中船舶的實(shí)時(shí)監(jiān)控效果。

近年來(lái)，5G網(wǎng)絡(luò)因具有大帶寬、低時(shí)延、高可靠、廣覆蓋等特性而廣泛應(yīng)用于電力、醫(yī)療、智慧城市等領(lǐng)域^[8]。熊星月等^[9]利用5G網(wǎng)絡(luò)，基于深度學(xué)習(xí)算法，設(shè)計(jì)了一套無(wú)線定位方案，定位準(zhǔn)確率可達(dá)95%。胥昊^[10]在高鐵無(wú)線通信的不同場(chǎng)景中引入了5G技術(shù)，實(shí)現(xiàn)了人與物、物與物的泛在互聯(lián)。為提高海上網(wǎng)絡(luò)的傳輸速率及穩(wěn)定性，本文采用5G網(wǎng)絡(luò)傳輸無(wú)人船采集的海上船舶圖片。

目前，減少圖片數(shù)據(jù)存儲(chǔ)空間主要采用圖片壓縮的方法，如JPG、WebP、PNG等^[11]。呂軍等^[12]利用小波變換將圖片系數(shù)稀疏化，采用高斯隨機(jī)矩陣壓縮圖片，解決了圖片數(shù)據(jù)存儲(chǔ)空間利用率低的問(wèn)題。楊濤等^[13]利用離散余弦變換（discrete cosine transform，?DCT）壓縮圖片后，改變不同級(jí)的灰度增強(qiáng)，可減少圖片數(shù)據(jù)存儲(chǔ)空間。陳笑峰等^[14]針對(duì)無(wú)人機(jī)拍攝的航空?qǐng)D片數(shù)據(jù)量大、網(wǎng)絡(luò)傳輸慢等問(wèn)題，提出卷積神經(jīng)網(wǎng)絡(luò)壓縮（convolutional neural network compression， CNNC）的方法，壓縮效果優(yōu)于JPG、WebP。通過(guò)對(duì)海上船舶圖片數(shù)據(jù)集mastr1325^[15]進(jìn)行分析，發(fā)現(xiàn)船舶圖片面積約占整張圖片面積的8%，約92%的圖片面積為海水和天空等冗余信息。而以上圖片壓縮方法是對(duì)整張圖片進(jìn)行全局壓縮，不適用于海上船舶圖片的壓縮。

為此，本文提出面向5G無(wú)人船的深度圖片壓縮（deep image compression for unmanned surface vessels，?DCUV）方法，在減少海上船舶圖片數(shù)據(jù)存儲(chǔ)空間的同時(shí)保留關(guān)鍵信息。首先，通過(guò)語(yǔ)義分割將海上船舶圖片分為關(guān)鍵信息和冗余信息2部分；然后，動(dòng)態(tài)調(diào)整碼率，保留關(guān)鍵信息，去除冗余信息，減少圖片數(shù)據(jù)存儲(chǔ)空間；最后，通過(guò)船舶識(shí)別準(zhǔn)確率來(lái)驗(yàn)證DCUV方法的有效性。

1 ?總體框架

面向5G無(wú)人船的深度圖片壓縮方法總體框架包括數(shù)據(jù)采集與壓縮，5G傳輸、解壓縮與識(shí)別3個(gè)部分，圖片壓縮流程如圖1所示。

1） 數(shù)據(jù)采集與壓縮，對(duì)無(wú)人船采集的海上船舶原始圖片先進(jìn)行語(yǔ)義分割處理，再動(dòng)態(tài)調(diào)整碼率，把原始圖片壓縮至不同的分辨率。

2） 5G傳輸，將壓縮后的海上船舶圖片發(fā)送給5G模組，通過(guò)5G網(wǎng)絡(luò)傳輸至服務(wù)器。

3） 解壓縮與識(shí)別，服務(wù)器先對(duì)接收的海上船舶圖片進(jìn)行解壓縮，再進(jìn)行船舶識(shí)別。根據(jù)船舶識(shí)別準(zhǔn)確率來(lái)驗(yàn)證DCUV方法的有效性。

2 ?語(yǔ)義分割

WaSR網(wǎng)絡(luò)模型^[16]針對(duì)海面范圍較廣和光反射導(dǎo)致的圖片模糊問(wèn)題，先利用ResNet101網(wǎng)絡(luò)^[17]提取圖片的深層特征，再將圖片的深層特征融合到融合 塊^[18-20]，來(lái)提高圖片的分割質(zhì)量。

本文利用WaSR網(wǎng)絡(luò)模型進(jìn)行海上船舶圖片的語(yǔ)義分割。首先，通過(guò)殘差塊對(duì)海上船舶原始圖片x_i進(jìn)行特征提取；其次，將特征輸入空間金字塔池化塊和注意力細(xì)化模塊進(jìn)行特征融合，通過(guò)調(diào)整不同損失值的計(jì)算方法，實(shí)現(xiàn)不同語(yǔ)義的分割；最后，得到掩碼圖片。海上船舶原始圖片被分割為關(guān)鍵信息（白色—船舶）和冗余信息（黑色—海水和天空等）2部分，用公式可表示為（為輸入的海上船舶原始圖片，為語(yǔ)義分割后的掩碼圖片）。WaSR網(wǎng)絡(luò)模型如圖2所示。

3 ?基于感興趣區(qū)域的深度圖片壓縮

3.1 ?深度圖片壓縮算法原理

深度圖片壓縮算法主要由3部分組成：1） 對(duì)圖片顏色輪廓解構(gòu)的編碼器網(wǎng)絡(luò)；2） 對(duì)編碼器壓縮信息進(jìn)行再編碼的量化函數(shù)；3）?重構(gòu)解碼器網(wǎng)絡(luò)。深度圖片壓縮流程圖如圖3所示。

編碼器網(wǎng)絡(luò)根據(jù)質(zhì)量圖片標(biāo)示的感興趣區(qū)域，通過(guò)卷積塊、殘差塊等非線性運(yùn)算降低原始圖片的空間冗余度，得到原始圖片的非線性緊湊表達(dá)^[21]。

量化函數(shù)Q對(duì)原始圖片的非線性緊湊表達(dá)離散化，再通過(guò)信息熵模型對(duì)有規(guī)律與無(wú)規(guī)律的模式分別用不同位數(shù)進(jìn)行信息熵編碼，得到二進(jìn)制位流（Bitstreams）。

3.2 ?可變碼率深度圖片壓縮

3.3 ?壓縮模型微調(diào)

因預(yù)訓(xùn)練的Qmap模型未在無(wú)人船海上圖片數(shù)據(jù)集上訓(xùn)練，導(dǎo)致Qmap模型對(duì)海洋信息過(guò)濾及船舶細(xì)節(jié)還原能力較弱。因此，本文對(duì)預(yù)訓(xùn)練的Qmap模型在關(guān)于海事語(yǔ)義分割的數(shù)據(jù)集（mastr1325）^[15]上進(jìn)行微調(diào)。微調(diào)的損失函數(shù)為

4 ?海上船舶識(shí)別

本文以船舶識(shí)別準(zhǔn)確率來(lái)驗(yàn)證DCUV方法在降低冗余信息分辨率的同時(shí)，不丟失關(guān)鍵信息的有效性。選用Inception V3模型^[25]作為船舶識(shí)別網(wǎng)絡(luò)，其將高分辨率卷積因式分解為低分辨率且非對(duì)稱的卷積，增強(qiáng)表達(dá)能力，減少計(jì)算量，對(duì)于小物體有較高的識(shí)別準(zhǔn)確率。

通過(guò)不斷地調(diào)整參數(shù)，在批量大小為146、學(xué)習(xí)率為時(shí)船舶分類準(zhǔn)確率達(dá)到95.6%。

5 ?實(shí)驗(yàn)方案與結(jié)果

5.1 ?數(shù)據(jù)集

在kaggle-boat數(shù)據(jù)集中選取郵輪、渡輪、帆船圖片共1 500張。

鑒于kaggle-boat數(shù)據(jù)集中的圖片大部分是拍攝點(diǎn)離船舶較近的情況，而真實(shí)情況是船舶離拍攝點(diǎn)遠(yuǎn)且不居中。為驗(yàn)證Inception V3模型的分類可靠性，在網(wǎng)上收集接近真實(shí)情況的郵輪圖片6張、渡輪圖片7張、帆船圖片10張，共23張圖片組成自選數(shù)據(jù)集。

5.2 ?實(shí)驗(yàn)結(jié)果與分析

5.2.1 ?裁剪方法對(duì)比實(shí)驗(yàn)

采用簡(jiǎn)單的裁剪方法與本文所提的DCUV方法進(jìn)行對(duì)比。首先，對(duì)海上船舶原始圖片進(jìn)行語(yǔ)義分割，得到掩碼圖片；然后，根據(jù)掩碼圖片對(duì)原始圖片進(jìn)行簡(jiǎn)單的裁剪處理；最后，將裁剪處理后的圖片作為船舶識(shí)別網(wǎng)絡(luò)Inception V3的輸入，進(jìn)行船舶識(shí)別。海上船舶圖片裁剪處理流程如圖4所示。

壓縮后圖片大小與原始圖片大小的比值稱為圖片壓縮比。圖片壓縮比等價(jià)于壓縮前后傳輸圖片所需流量的比值。本文通過(guò)圖片壓縮比和識(shí)別準(zhǔn)確率來(lái)驗(yàn)證DCUV方法的壓縮效果。不同壓縮算法在kaggle- boat數(shù)據(jù)集和自選數(shù)據(jù)集的性能比較分別如表1、表2所示。

由表1、表2可知，經(jīng)語(yǔ)義分割、裁剪后的海上船舶原始圖片，壓縮比雖為原始圖片的50%～ 60%，但船舶識(shí)別準(zhǔn)確率比原始圖片分別降低了21.3%和24.2%，因此，簡(jiǎn)單的裁剪方法不能完全保留關(guān)鍵信息，影響了船舶的監(jiān)控效果。

5.2.2 ?JPG壓縮方法對(duì)比實(shí)驗(yàn)

將DCUV方法與JPG壓縮方法通過(guò)動(dòng)態(tài)調(diào)整碼率進(jìn)行壓縮對(duì)比測(cè)試，結(jié)果如表1、表2所示。

由表1、表2可知：當(dāng)碼率為2%時(shí)，DCUV方法在kaggle-boat數(shù)據(jù)集和自選數(shù)據(jù)集上的船舶識(shí)別準(zhǔn)確率比原始圖片分別降低了2.2%、上升了4.6%，但圖片壓縮比僅為原始圖片的1.8%、1.3%，說(shuō)明DCUV方法對(duì)海上船舶原始圖片的處理，在保持船舶識(shí)別準(zhǔn)確率的同時(shí)節(jié)省了大量流量；JPG壓縮方法以碼率為2%進(jìn)行壓縮時(shí)，在kaggle-boat數(shù)據(jù)集和自選數(shù)據(jù)集的船舶識(shí)別準(zhǔn)確率比原始圖片分別降低了18.7%、17.4%。綜上所述，在海上船舶圖片壓縮方面，DCUV方法可實(shí)現(xiàn)不丟失關(guān)鍵信息的同時(shí)降低圖片數(shù)據(jù)存儲(chǔ)空間的目的。

5.2.3 ?壓縮圖片細(xì)節(jié)分析

由圖5可知：在真實(shí)的海上場(chǎng)景下，在kaggle-boat數(shù)據(jù)集上，當(dāng)DCUV方法碼率為2%和JPG壓縮方法碼率為7%時(shí)，船舶識(shí)別準(zhǔn)確率均為93.4%；在自選數(shù)據(jù)集上，當(dāng)DCUV方法碼率為2%和JPG壓縮方法碼率為7%時(shí)，船舶識(shí)別準(zhǔn)確率分別為100%和94%，且DCUV方法比JPG壓縮方法更能保留文字細(xì)節(jié)，船身文字清晰度對(duì)比圖如圖6所示。

6 ?結(jié)論

本文針對(duì)海上網(wǎng)絡(luò)信號(hào)不穩(wěn)定、海上船舶圖片冗余信息過(guò)多，導(dǎo)致海上船舶監(jiān)控效率低的問(wèn)題，提出基于語(yǔ)義分割和動(dòng)態(tài)調(diào)整碼率相結(jié)合的面向5G無(wú)人船的深度圖片壓縮方法，在保留關(guān)鍵信息的同時(shí)使冗余信息失真。實(shí)驗(yàn)結(jié)果表明：簡(jiǎn)單的裁剪會(huì)丟失關(guān)鍵信息，雖JPG壓縮方法能夠保留圖片整體輪廓，但會(huì)丟失細(xì)節(jié)；本文所提的DCUV方法在海上船舶圖片數(shù)據(jù)存儲(chǔ)空間僅占原始圖片的1.8%時(shí)，船舶識(shí)別準(zhǔn)確率保持不變。因此，本文所提DCUV方法比簡(jiǎn)單的裁剪處理和JPG壓縮方法，在降低圖片數(shù)據(jù)存儲(chǔ)空間和保留關(guān)鍵信息方面更具優(yōu)勢(shì)。

參考文獻(xiàn)

[1] 董穎博.基于深度學(xué)習(xí)的SAR圖像船舶檢測(cè)與分類方法研究[D].中國(guó)科學(xué)院大學(xué)（中國(guó)科學(xué)院空天信息創(chuàng)新研究院）， 2020.

[2] CHEN X， YANG Y， WANG S， et al. Ship type recognition via a coarse-to-fine cascaded convolution neural network[J]. Journal?of Navigation， 2020，73（4）：813-832.

[3] 趙亮，王曉峰，袁逸濤.基于深度卷積神經(jīng)網(wǎng)絡(luò)的船舶識(shí)別方法研究[J].艦船科學(xué)技術(shù)，2016，38（15）：119-123.

[4] HUANG L， LI W， CHEN C， et al. Multiple features learning for ship classification in optical imagery[J]. Multimedia Tools and Applications， 2018，77（11）：13363-13389.

[5] SHI Q， LI W， ZHANG F， et al. Deep CNN with multi-scale rotation invariance features for ship classification[J]. IEEE Access， 2018，6：38656-38668.

[6] ZHANG E， WANG K， LIN G. Classification of marine vessels with multi-feature structure fusion[J]. Applied Sciences， 2019， 9（10）：2153.

[7] HUANG L， LI W， CHEN C， et al. Multiple features learning for ship classification in optical imagery[J]. Multimedia Tools and Applications， 2018，77（11）：13363-13389.

[8]?POKHREL S R， DING J， PARK J， et al. Towards enabling critical mMTC： a review of URLLC within mMTC[J]. IEEE Access， 2020，8：131796-131813.

[9] 熊星月，何迪，何至軍，等.基于卷積神經(jīng)網(wǎng)絡(luò)的5G蜂窩網(wǎng)絡(luò)無(wú)線定位方法[J].數(shù)據(jù)采集與處理，2022，37（6）：1228-1245.

[10] 胥昊.基于5G的高鐵無(wú)線通信關(guān)鍵技術(shù)及資源分配算法研究[D].中國(guó)鐵道科學(xué)研究院，2022.

[11] 徐星，徐天華.基于LSTM的圖片壓縮算法以及實(shí)現(xiàn)[J].計(jì)算機(jī)產(chǎn)品與流通，2018（7）：97.

[12] 呂軍，陳爍，李秀梅.基于壓縮感知的圖片壓縮與加密GUI系統(tǒng)[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2017，26（1）：96-100.

[13] 楊濤，萬(wàn)帥帥，胡世濤，等.關(guān)于DCT壓縮后圖片經(jīng)不同級(jí)灰度增強(qiáng)的研究[J].科技視界，2020（9）：125-126.

[14] 陳笑峰，周興霞，沈富強(qiáng)，等.無(wú)人機(jī)原始航片壓縮技術(shù)在應(yīng)急測(cè)繪保障中的應(yīng)用[J].測(cè)繪與空間地理信息，2022，45（4）： 256-258.

[15] BOVCON B， MUHOVI? J， PER? J， et al. The mastr1325 dataset for training deep usv obstacle detection models[C]// 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. IEEE， 2019： 3431-3438.

[16] BOVCON B， KRISTAN M. WaSR--a water segmentation and refinement maritime obstacle detection network[J]. IEEE Transactions on Cybernetics， 2021.

[17] HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2016：770-778.

[18] YU C， WANG J， PENG C， et al. Bisenet： Bilateral segmenta-tion network for real-time semantic segmentation[C]//Procee-Dings of the European Conference on Computer Vision （ECCV）， 2018： 325-341.

[19] CHEN L C， PAPANDREOU G， KOKKINOS I， et al. DeepLab： Semantic image segmentation with deep convolutional nets， atrous convolution， and fully connected CRFs[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017，40（4）：834-848.

[20] 楊兵，劉曉芳，張糾.基于深度特征聚合網(wǎng)絡(luò)的醫(yī)學(xué)圖像分割[J].計(jì)算機(jī)工程，2021，47（4）：187-196.

[21] HU Yueyu， MA Zhan， YANG Wenhan， et al. Learning end-to-end lossy image compression： a benchmark[J].?IEEE?Trans?Pattern?Anal?Mach?Intell，?2021.

[22] SONG Myungseo， CHOI Jinyoung， HAN Bohyung. Variable- -rate deep image compression through spatially-adaptive fea-ture transform[C]. International Conference on Computer Vision， Virtual Event， Montreal， QC， Canada， 2021：2360-2369.

[23] ISLAM K， DANG L M， LEE S， et al. Image compression with recurrent neural network and generalized divisive normaliza-tion[C]//CVPR， 2021：1875-1879.

[24] WANG X， YU K， DONG C， et al. Recovering realistic texture in image super-resolution by deep spatial feature transform [C]//CVPR， 2018：606-615.

[25] SZEGEDY C， VANHOUCKE V， IOFFE S， et al. Rethinking the inception architecture for computer vision[C]//CVPR，?2016：2818-2826.

作者簡(jiǎn)介：

張婭玲，女，1997年生，碩士研究生，主要研究方向：信號(hào)處理。E-mail：?2635145995@qq.com

周松斌（第一通信作者），男，1978年生，博士研究生，研究員，主要研究方向：智能傳感。E-mail： sb.zhou@giim.ac.cn

龐錕錕，男，1991年生，博士研究生，主要研究方向：機(jī)器學(xué)習(xí)。E-mail：?kk.pang@giim.ac.cn

廖奕校，男，1992年生，博士研究生，主要研究方向：裝備故障診斷與智能運(yùn)維。E-mail：?yx.liao@giim.ac.cn

袁飛，男，1984年生，博士研究生，講師，主要研究方向：智能感知、智能數(shù)據(jù)處理。E-mail：?eric_f_y@foxmail.com

張壽明（第二通信作者），男，1966年生，博士研究生，教授，主要研究方向：復(fù)雜工業(yè)過(guò)程控制系統(tǒng)。E-mail： 1411834974@qq.com