基于卷積神經(jīng)網(wǎng)絡(luò)的單圖像去霧模型硬件重構(gòu)加速方法

王官軍，簡春蓮，向強*

（1.西南民族大學 電子信息學院，成都 610041；2.成都動力視訊科技股份有限公司，成都 610046）

0 引言

由于空氣中存在大量的懸浮顆粒物對光線產(chǎn)生散射等原因，造成攝取圖像的質(zhì)量嚴重下降，直接影響后期的智能應(yīng)用［1］；此外，雖然云計算和5G 的發(fā)展能為移動終端提供算力支持，但對于實時性要求較高的智能應(yīng)用如無人駕駛，云計算存在未知風險。因此，進一步研究圖像、視頻去霧算法以及去霧算法加速是必要和具有實際意義的。

近幾年來，去霧算法得到了快速的發(fā)展，特別是基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）的去霧算法（模型）。該類算法較暗通道先驗［2］、Retinex 等傳統(tǒng)去霧算法魯棒性更高，透射率圖等估計更準確。目前，CNN 去霧算法主要有兩種方式［1，3］：使用CNN 生成大氣散射模型的某些參數(shù)，然后再根據(jù)大氣散射模型恢復(fù)出無霧圖像［4-7］；使用CNN直接根據(jù)模糊圖像生成無霧圖像［8-12］。其中，2016 年Cai等［6］利用CNN 首次提出名為DehazeNet 去霧網(wǎng)絡(luò)，用于估計有霧圖像的透射率；其使用全局大氣光值和分塊估計的方式，使得單張640×480 圖像在CPU 上推理耗時為5.09 s［8］。針對耗時較長的問題，余春艷等［7］提出改進方法并使用CUDA（Compute Unified Device Architecture）加速，最終去霧耗時為0.048 9 s；然而，對透射率和大氣光分別估計會累積誤差并可能相互放大。于是，2017 年Li等［8］首次提出一種名為AOD-Net 的端到端的輕量級去霧網(wǎng)絡(luò)，即直接從有霧圖像恢復(fù)出清晰圖像，單張640×480 去霧時間為0.65 s。為了進一步縮小AOD-Net 的去霧時間，2020 年Qian等［9］提出一種計算效率更高的模型，稱為FAOD-Net，去霧耗時降低為0.34 s。此外，Zhang等［10］提出一種適用于任意尺寸的單圖像去霧模型，稱為FAMED-Net，其包含三個不同尺度的解碼器和融合模塊，用于直接學習去霧后的圖像。Chen等［11］采用生成對抗網(wǎng)絡(luò)，構(gòu)造出名為GCANet 的單圖像去霧網(wǎng)絡(luò)模型。

此外，對于暗通道先驗［2］、Retinex 等傳統(tǒng)去霧算法的硬件加速部署，已有廣泛研究［13-17］。張春雷等［13］基于FPGA（Field Programmable Gate Array），對改進暗通道先驗算法進行硬件加速，能夠?qū)崿F(xiàn)1080P@60 frame/s 視頻去霧。陸斌等［16］在暗通道先驗的基礎(chǔ)上，引入硬件處理架構(gòu)來優(yōu)化透射率和大氣光值的計算方式，可顯著地提高處理速度，實現(xiàn)1080P@69 frame/s 的視頻去霧。齊樂等［17］基于高級綜合（High-Level Synthesis，HLS）工具和C 語言，實現(xiàn)對暗通道先驗快速的硬件部署，可實現(xiàn)1080P@45 frame/s 的視頻去霧。

綜上，雖然有對暗通道先驗、Retinex 等傳統(tǒng)去霧算法硬件加速部署的研究，以及有大量CNN 單圖像去霧算法模型的研究成果，但是對CNN 單圖像去霧算法模型的硬件重構(gòu)，輸出具有高性能擴展總線接口（Advanced eXtensible Interface 4，AXI4）的硬件IP核，并用作視頻去霧，尚缺乏研究。針對該問題，本文基于Zynq 片上系統(tǒng)（System-on-Chip，SoC）提出一種去霧模型硬件重構(gòu)加速的方法。首先，基于TFLite 原理［18-19］提出“量化-反量化”算法，在保證去霧效果的前提下，確定了兩類代表去霧模型（AOD-Net［8］和DehazeNet［6］）最低可量化為5 bit；其次，基于視頻直接存儲器訪問（Video Direct Memory Access，VDMA）［20］視頻流存儲器架構(gòu)和軟硬件協(xié)同、流水線等技術(shù)以及HLS［21-22］工具，對量化后的AOD-Net 去霧模型硬件重構(gòu)，并生成具有AXI4 標準總線接口的硬件IP核，且在Zynq7035 硬件平臺上搭建測試環(huán)境。實驗結(jié)果表明，所提方法能夠?qū)崿F(xiàn)單圖像去霧到1080P@60 frame/s 視頻去霧的拓展。此外，這種生成帶有標準總線接口的硬件IP 核也便于跨平臺移植和部署，從而可以擴大這類去霧算法模型的應(yīng)用范圍，也能為其他模型的硬件部署提供數(shù)據(jù)和方法參考。

1 AOD-Net去霧模型

AOD-Net［8］是首個通過輕量級CNN 直接生成清晰圖像，可以與Faster R-CNN（Faster Region proposal CNN）連接，以提高對模糊圖像的檢測性能。AOD-Net 由兩個模塊組成，如圖1（a）所示：一個是K(x)估算模塊，用于從輸入圖像I(x)中估計K(x)；一個是去霧圖像生成模塊，K(x)作為其輸入自適應(yīng)參數(shù)來估計J(x)。其數(shù)學表達如式（1）所示：

K(x)估算模塊是AOD-Net 的關(guān)鍵組成部分，負責估算深度和霧的濃度。如圖1（b）所示，K(x)共有5 個卷積層，并通過融合不同大小的卷積核形成多尺度特征。

雖然AOD-Net 去霧模型較為簡單，但是它包含了CNN 去霧模型的基本結(jié)構(gòu)，如圖1（b）中的3×3、5×5 等多尺度特征的提取、不同特征的融合、多通道2D 卷積以及卷積邊界的填充等基本結(jié)構(gòu)。

2 本文方法

本文去霧模型硬件重構(gòu)加速方法主要包含兩個方面的內(nèi)容：模型量化和模型重構(gòu)。首先，基于TFLite 原理［18-19］提出“量化-反量化”算法。該算法能去掉多余乘積項，并確定可量化的最低bit數(shù)，從而將模型參數(shù)直接部署到可編程邏輯（Programmable Logic，PL）資源中，并實現(xiàn)僅整型和移位運算。其次，針對去霧模型的結(jié)構(gòu)特點和視頻流去霧的初衷，提出一種模型硬件重構(gòu)方法。

2.1 量化-反量化算法

TFLite 模型量化原理［18-19］，是谷歌在2017 年提出的一種模型壓縮算法。該算法的核心是用量化模型代替全精度模型，允許僅使用整數(shù)和移位運算進行推理。其浮點數(shù)和整型之間的換算如式（2）～（3）所示：

其中：r是浮點數(shù)；q是量化后的整數(shù)；S是尺度因子，表示實數(shù)和整數(shù)之間的比例關(guān)系；Z是零點，表示實數(shù)中0 經(jīng)過量化之后對應(yīng)的整數(shù)值。S和Z的計算公式如式（4）～（5）所示：

其中：rmin和rmax分別是r的最小值和最大值，是根據(jù)不同量化對象進行統(tǒng)計而得出的值。如果已確定量化比特數(shù)以及統(tǒng)計出該計算對象的實數(shù)范圍，那么就可以利用式（4）～（5）計算出S和Z，進而利用式（3）計算出其量化結(jié)果。

此外，TFLite 模型量化對卷積運算（矩陣乘法）也有量化方法。假設(shè)R1和R2是浮點實數(shù)上兩個N×N的矩陣，R3是R1、R2相乘后的矩陣，則R3可表示為（假設(shè)R1為輸入特征圖，R2為模型參數(shù)，R3為輸出特征圖）：

假設(shè)S1、Z1是R1矩陣對應(yīng)的尺度因子和零點，S2、Z2、S3、Z3同理，則將式（2）代入式（6），移項變型可得式（7）：

由式（7）可知，除S1S2/S3∈(0，1)以外，其他都是定點整數(shù)運算。為了實現(xiàn)僅整型和移位運算，令M=S1S2/S3=2-nM0。其中，n是非負整數(shù)，M0∈[0.5，1)是一個定點實數(shù)，則可以通過M0的位移操作來近似逼近M，從而整個矩陣相乘的過程僅是定點整數(shù)和移位運算［18］。此外，為了簡化計算，本文把輸入和輸出特征圖的像素值范圍都約束為[0，255]，即可認為Z1=Z3=0，則式（7）可簡化為：

然而，由于Z2的存在，式（8）中存在多余的乘積項，不利于硬件加速。因此，本文采用平移策略來改進TFLite 算法，提出“量化-反量化”算法。例如，對預(yù)訓練后AOD-Net 卷積第 3 層進行統(tǒng)計，得出rmin=-0.031 663 906，rmax=0.086 845 72。若量化為無符 號7 bit，可知qmin=0，qmax=127，則可以通過式（4）～（5）計算出Z=33，S=0.000 933 146 617 543 979，再使用式（3）即可實現(xiàn)量化。隨后，平移其零點（Z=33）到絕對零點，以降低后續(xù)處理復(fù)雜度，具體如圖2 所示。

可見，平移之后的范圍就從（0，127）映射為（-33，94）。此外，為了保證平移后不出現(xiàn)數(shù)據(jù)溢出，在保存權(quán)重參數(shù)時會添加一個符號位，即量化為7 bit 時會占用8 bit，最高位為符號位，具體如算法1 所示。需要注意的是，算法1 是在PC上進行運算，不是在硬件部署后的推理階段。

算法1 量化-反量化算法。

輸入 預(yù)訓練后的單精度權(quán)重參數(shù)。

輸出 量化和平移后的權(quán)重參數(shù)，反量化后的權(quán)重參數(shù)。

1）對已訓練好的模型，統(tǒng)計各層rmin、rmax并確定量化比特數(shù)，從而確定qmin、qmax；

2）使用式（4）～（5）計算各層S、Z；

3）使用式（3）進行量化并平移相對零點到絕對零點，再保存所有權(quán)重參數(shù)到文件，用于硬件部署；

4）使用式（2）進行反量化并儲存成文件，用來模擬量化對去霧效果的影響，進而確定最低的量化比特數(shù)。

2.2 模型硬件重構(gòu)方法

正如前文所述，基于CNN 的去霧模型主要包括卷積和填充（padding）、多尺度特征提取和融合等結(jié)構(gòu)。通過引用HLS 視頻庫和流水線等技術(shù)，實現(xiàn)去霧模型的快速重構(gòu)，并輸出可綜合的硬件IP核，從而實現(xiàn)視頻去霧。

2.2.1 卷積層和卷積邊界處理

無論是單通道還是多通道的2D 卷積，都可以轉(zhuǎn)化為多級嵌套的for 循環(huán)，然后使用“unroll”等指令解循環(huán)。為了實現(xiàn)像素流處理，引用HLS 視頻庫［21-22］的兩個綜合數(shù)據(jù)結(jié)構(gòu)：行緩存（hls：：LineBuffer）和窗口緩存（hls：：Window），并用該數(shù)據(jù)結(jié)構(gòu)實現(xiàn)2D 卷積的流水處理，具體如圖3 所示。圖3 中定義了一個3×3 的窗口緩存區(qū)和兩行的行緩沖區(qū)。在特定的循環(huán)周期，存儲器將從行緩沖區(qū)中讀取出數(shù)據(jù)并存儲在窗口緩沖區(qū)的最右列。其中，虛線框內(nèi)的像素存儲在窗口緩沖區(qū)中，實線框內(nèi)的像素存儲在行緩沖區(qū)中。

此外，對于卷積邊界采用不處理的方式。在深度學習庫中，為了使得輸入和輸出特征圖有相同的高寬，各卷積層設(shè)有不同的填充大??；然而，這種結(jié)構(gòu)對于硬件實現(xiàn)不太友好。因此，采用忽略邊界填充以降低硬件實現(xiàn)的時空復(fù)雜度，對于不能參與卷積運算的邊界像素點，直接輸出零或者原像素。

2.2.2 流水線和存儲架構(gòu)設(shè)計

相較于OpenCV 的存儲器幀緩存，基于視頻流架構(gòu)可實現(xiàn)高性能和低功耗。通常，視頻是按掃描線從左上角像素到右下角像素的順序處理，即“Z”字形掃描。這種可預(yù)測的視頻處理順序允許FPGA，在無需消耗大量存儲器件的條件下，構(gòu)建高效的數(shù)據(jù)存儲架構(gòu)，從而有效地處理視頻數(shù)據(jù)。因此，本文采用基于VDMA［20］的視頻流存儲器架構(gòu)，將外部采集的視頻幀（攝像頭或視頻文件）經(jīng)過流化處理后，緩存在外部存儲器DDR3中，并配置VDMA 為3 幀動態(tài)同步鎖相模式（Dynamic Genlock Master），以防止圖像割裂，如圖4（a）所示。

其次，多分支和流水線同步設(shè)計能夠滿足絕大部分的模型，從而實現(xiàn)快速重構(gòu)模型。如圖1（b）所示，中間數(shù)據(jù)之間存在多重依賴關(guān)系，同時存在旁路分支；此外，由于HLS 視頻庫不支持隨機訪問，對于讀取超過一次的數(shù)據(jù)必須使用hls：：Duplicate（）。如圖4（b）所示，Conv1 的輸出X1 同時作為Conv2 和Conv3 的輸入。由于Conv2 運算存在延遲，所以需要預(yù)留X1 到Conv3 足夠的緩沖空間。例如，假設(shè)每行有800 個像素點，則可以使用約束指令：#pragma HLS STREAM variable=X1 depth=8000 dim=1，緩存10 行。

2.2.3 流接口實現(xiàn)

為了實現(xiàn)流水化和生成標準總線接口，IP 核端口需要通過指令約束成流式接口，即AXI4-Stream 協(xié)議，并添加AXI4-Lite 從接口動態(tài)配置圖片幀的高寬。其頂層函數(shù)定義為：

此外，Vivado HLS 視頻處理函數(shù)庫，使用hls：：mat 數(shù)據(jù)類型，用于模型化視頻像素流處理。因此，在可綜合的函數(shù)內(nèi)部，需要使用函數(shù)hls：：AXIvideo2Mat 和hls：：Mat2 AXIvideo 進行數(shù)據(jù)格式轉(zhuǎn)換，如圖5 所示。

3 實驗與結(jié)果分析

本章包含3 個實驗：

1）AOD-Net［8］和DehazeNet［6］的量化-反量化實驗；

2）硬件重構(gòu)量化后的AOD-Net 模型，并輸出IP 核的實驗；

3）搭建軟硬件系統(tǒng)，測試IP 核的實驗。

實驗運行的操作系統(tǒng)為64 位Windows7，系統(tǒng)配置為Intel Core i5-4460 四核處理器，顯卡為NVIDIA GTX1660S，內(nèi)存配置為16 GB。Xilinx 套件為2018.3 版本，包括Vivado、HLS 和SDK 三部分。

3.1 量化-反量化實驗

實驗選取DehazeNet［6］和AOD-Net［8］兩類代表去霧 模型［1，3］。基于文中所提量化-反量化算法，確定可量化的最低比特數(shù)。該實驗均在Visual Studio Code 1.52.1 中采用Python 3.7 版本進行編寫，均基于PyTorch 1.7.1 的深度框架。首先，本文參考文獻［6］中的方法，生成約25 萬張16×16的圖像塊，作為已知透射率的人造DehazeNet 的訓練數(shù)據(jù)集；其次，AOD-Net 完全按照文獻［8］中的方法和數(shù)據(jù)進行還原，訓練并生成單精度的模型數(shù)據(jù)；最后，用于評估的數(shù)據(jù)集由50 張圖片構(gòu)成，真實圖片和人工合成圖片各占50%，用以獲取去霧的平均效果。

3.1.1 主觀視覺評價

圖6 羅列了部分霧圖在AOD-Net 和DehazeNet 去霧模型中，不同量化比特數(shù)下的去霧結(jié)果。

實驗結(jié)果表明，當模型參數(shù)量化為5 bit 及以上時，與單精度的去霧效果沒有明顯的區(qū)別；當量化低于5 bit時，去霧效果圖存在色偏、圖像失真，且兩個模型在4 bit 和3 bit 都存在圖像亮度的大幅波動；當量化低于3 bit時，兩個模型都存在圖像失真且丟失大量圖像細節(jié)。究其原因，主要是因為較低的量化比特數(shù)限制了數(shù)值可表示的范圍，使得與原浮點參數(shù)的分布存在較大差異，從而影響推斷結(jié)果［23］。

3.1.2 客觀指標評價

為了客觀評價去霧效果，本文選取均方誤差（Mean Squared Error，MSE）、峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）、結(jié)構(gòu)相似性（Structural SIMilarity，SSIM）、圖像均值等共計6 個評價指標，定量研究不同量化比特數(shù)對去霧效果的影響。實驗結(jié)果采用對評估數(shù)據(jù)集取平均的方法，統(tǒng)計數(shù)據(jù)如表1 所示。值得注意的是，所有指標都與單精度（float32）去霧效果圖進行對比。

如表1 所示，當量化在5 bit 及以上時，各數(shù)據(jù)指標變化幅度都較小；當量化低于5 bit時，數(shù)據(jù)波動明顯，也側(cè)面印證了主觀視覺的判斷。綜上，本文將采用5 bit 對AOD-Net 模型先進行量化，然后再硬件重構(gòu)輸出硬件IP 核；但即便如此，當模型參數(shù)從32 bit 量化為5 bit時，也可為模型參數(shù)節(jié)省84.4%的存儲空間。

表1 不同量化的去霧效果客觀評價結(jié)果Tab.1 Objective evaluation results of defogging effect after different quantifications

3.2 輸出已量化AOD-Net的IP核及測試

該實驗的目的是通過Xilinx HLS［21-22］工具，按照本文所提方法，重構(gòu)量化后的AOD-Net 去霧模型，并使用Zynq7035硬件平臺驗證該IP 核。特別地，相較于使用Verilog 來重構(gòu)去霧模型，使用HLS 具有更大的靈活性。通過使用C++語言和相關(guān)TCL（Tool Command Language）約束指令，可以非常方便地嘗試不同的實現(xiàn)并且不用過多關(guān)注底層硬件，從而提高重構(gòu)效率。

3.2.1 IP核綜合與實現(xiàn)的實驗

本文實驗在HLS 工具中選擇Zynq7035 作為目標SoC 處理器，設(shè)置初始時鐘為6 ns 作為約束條件，設(shè)置一個時鐘處理一個像素，即II=1（Iteration Interval，II）；進行綜合與實現(xiàn)，生成IP 核的硬件資源耗用如表2 所示。

表2 綜合后IP核的預(yù)估資源耗用Tab.2 Estimated resource consumption of IP core after synthesis

實驗結(jié)果表明，硬件IP 核能夠?qū)崿F(xiàn)最小時鐘周期為5.5 ns，對應(yīng)最高像素時鐘頻率約182 Mpixel/s，能夠?qū)崿F(xiàn)1080P@60 frame/s 視頻去霧，能夠?qū)崿F(xiàn)如暗通道先驗等［13，16-17］傳統(tǒng)算法的同等加速效果。

3.2.2 IP核的測試及對比實驗

為了驗證本文所提的硬件重構(gòu)加速方法，以及與其他CNN 單圖像去霧模型的去霧耗時對比，本文在Vivado 中按照圖4 結(jié)構(gòu)搭建軟硬件測試系統(tǒng)，結(jié)果如圖7 所示。

在該系統(tǒng)中，配置“ZYNQ7 Processing System”，勾選SD（Secure Digital memory card）和UART（Universal Asynchronous Receiver/Transmitter）外設(shè)部分，并配置PL 部分的時鐘頻率為150 MHz。其中，SD 存儲模塊用于保存待去霧圖像和硬件IP去霧后的效果圖，UART 用作控制去霧推理的啟停。對圖7進行綜合與實現(xiàn)，資源耗用的數(shù)據(jù)如表3 所示。

表3 硬件測試系統(tǒng)綜合后的資源耗用Tab.3 Resource consumption of hardware test system after synthesis

此外，系統(tǒng)最小像素時鐘周期為6.7 ns，片上功耗約為2.25 W，能夠保證部署在能量受限的終端上。接著，在SDK軟件開發(fā)平臺中，利用Cortex-A9 完成VDMA、DDR 的地址映射、讀寫通道使能等配置，并調(diào)用時間函數(shù)XTime_GetTime（）統(tǒng)計單幀圖像去霧時間，部分去霧效果見圖8。

實驗結(jié)果表明，除外邊界的三圈像素以外，基于硬件IP核和基于PyTorch 單精度的去霧效果，在主觀評價上沒有明顯的差別。至于外邊界的三圈像素異常的原因，主要是因為在重構(gòu)模型時不處理2D 卷積邊界（即沒有進行填充）所造成的。

此外，通過對20 張640×480 霧圖去霧耗時取平均的方式，測得硬件IP 核去霧耗時的平均時間，具體如表4 所示。其中：文獻［7］模型和本文模型的實際值精確到小數(shù)后4位，其他模型原始數(shù)據(jù)來自各文獻，均只精確到小數(shù)后2 位。

表4 不同去霧模型處理640×480霧圖的平均時間 單位：sTab.4 Average time taken by various methods to process single image with resolution of 640 pixel×480 pixel unit：s

從表4 可知，相較于其他去霧模型，本文硬件IP 核的AOD-Net 模型對單幀640×480 圖像去霧的平均推理時間有顯著的數(shù)量級差異，約為AOD-Net 去霧時間的1/271，F(xiàn)AOD-Net的1/142。此外，文獻［24］對改進AOD-Net 的FPGA 實現(xiàn)，在128×128 的霧圖上的去霧平均時間為36 ms；而本文硬件IP核的AOD-Net 模型處理較大尺寸640×480 的霧圖的時間僅為2.4 ms，表明本文模型有更好的加速效果。

4 結(jié)語

為了實現(xiàn)CNN 單圖像去霧到視頻去霧，并能夠部署在能量受限的移動/嵌入式端，本文提出一種可快速硬件重構(gòu)去霧模型的方法。首先，通過改進TFLite 量化提出了“量化-反量化”算法，在保證去霧效果的前提下，實現(xiàn)兩類代表去霧模型（AOD-Net 和DehazeNet）最低為5 bit 的量化；其次，采用VDMA 視頻流存儲架構(gòu)、高級綜合HLS 工具以及流水線等技術(shù)，對已量化的AOD-Net 模型快速地重構(gòu)，輸出具有標準AXI4 接口的硬件IP 核。實驗結(jié)果表明，該IP 核能夠?qū)崿F(xiàn)單圖像去霧到1080P@60 frame/s 視頻去霧的拓展，單幀640×480 的去霧耗時為2.4 ms，而片上功耗僅為2.25 W。這種生成帶有標準總線接口的硬件IP 核也便于跨平臺移植和部署，從而可以擴大這類去霧模型的應(yīng)用范圍。此外，正如文中所述，較低比特數(shù)量化會改變原有權(quán)重參數(shù)的分布，從而導(dǎo)致異常的推理結(jié)果。因此，接下來將研究低量化比特的硬件加速，或者進一步探究硬件友好的去霧模型。