二值量化的多尺度描述子網(wǎng)絡(luò)優(yōu)化

王昌偉 柳偉 陳三風(fēng) 任仙怡 陸蕓婷

（深圳信息職業(yè)技術(shù)學(xué)院 廣東省深圳市 518172）

1 引言

本文將在圖像匹配中融合基于正則化的二值量化方法以及基于圖像比特位的多尺度方法，構(gòu)建二值量化的多尺度描述子網(wǎng)絡(luò)，并介紹該網(wǎng)絡(luò)的實(shí)驗(yàn)設(shè)計、環(huán)境、指標(biāo)和結(jié)果，同時根據(jù)實(shí)驗(yàn)結(jié)果分析該多尺度方法性能，在NVIDIA Jetson TX2 平臺部署該網(wǎng)絡(luò)并測試運(yùn)行時間等。

2 二值量化的多尺度描述子網(wǎng)絡(luò)仿真實(shí)驗(yàn)

實(shí)驗(yàn)主要基于正則化的二值量化方法以及基于圖像比特位的多尺度方法，構(gòu)建了多尺度二值描述子網(wǎng)絡(luò)，并在HPatches 數(shù)據(jù)集上測試了圖像匹配精度。

2.1 二值量化的多尺度描述子網(wǎng)絡(luò)實(shí)驗(yàn)環(huán)境介紹

2.1.1 實(shí)驗(yàn)數(shù)據(jù)集介紹

HPatches 數(shù)據(jù)集利用三維重建的方法獲得特征點(diǎn)位置和匹配關(guān)系，共包含從116 個序列中提取的1500000 多個補(bǔ)丁，其中viewpoint 為具有明顯的視點(diǎn)變化的59 個圖像序列，illumination 為具有顯著照明變化的57 個圖像序列。HPatches 數(shù)據(jù)集定義了三個評估任務(wù)：補(bǔ)丁驗(yàn)證，補(bǔ)丁檢索和圖像匹配。構(gòu)建數(shù)據(jù)集通過對匹配組合對添加不同的重投影噪聲，生成EASY，HARD 和TOUGH三種難度數(shù)據(jù)集，同時在同一個序列或者不同的圖像序列旋轉(zhuǎn)為上面選定的patch 選擇非匹配組合對。

2.1.2 實(shí)驗(yàn)網(wǎng)絡(luò)結(jié)構(gòu)介紹

仿真實(shí)驗(yàn)基于正則化的二值量化方法以及基于圖像比特位的多尺度方法對RF-Net 進(jìn)行了多尺度重構(gòu)與量化。關(guān)鍵點(diǎn)檢測部分，構(gòu)建了由兩組卷積神經(jīng)網(wǎng)絡(luò)融合的雙通道關(guān)鍵點(diǎn)檢測網(wǎng)絡(luò)，通過深層網(wǎng)絡(luò)通道獲取包含豐富語義信息的高層特征，并與淺層網(wǎng)絡(luò)通道中感受野遞增的低層特征融合；特征描述子提取部分對輸入的圖像對進(jìn)行訓(xùn)練，提取特征描述子。網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

2.1.3 實(shí)驗(yàn)開發(fā)環(huán)境介紹

實(shí)驗(yàn)代碼均基于python3.6 語言環(huán)境以及pytorch 深度學(xué)習(xí)框架撰寫，訓(xùn)練與測試過程利用Tesla-V100 圖像處理單元加速，開發(fā)環(huán)境為Ubuntu16.04，CUDA9.0 以及cuDNN7.0。

2.2 二值量化的多尺度描述子網(wǎng)絡(luò)實(shí)驗(yàn)評價指標(biāo)介紹

為了有效評價本章優(yōu)化的二值量化的多尺度描述子網(wǎng)絡(luò)性能以及實(shí)驗(yàn)結(jié)果，將用以下三個指標(biāo)評價量化算法性能：

2.2.1 神經(jīng)網(wǎng)絡(luò)參數(shù)量

神經(jīng)網(wǎng)絡(luò)中參數(shù)量定義為構(gòu)成神經(jīng)網(wǎng)絡(luò)的所有權(quán)重參數(shù)占用內(nèi)存大小。為了有效評價占用內(nèi)存大小，采用參數(shù)量指標(biāo)評價此網(wǎng)絡(luò)性能，通過計算未量化網(wǎng)絡(luò)全參數(shù)量與網(wǎng)絡(luò)未參與量化部分的參數(shù)量差值求得量化部分參數(shù)量，利用32 倍壓縮系數(shù)（1 比特權(quán)重代替32 比特權(quán)重）估計壓縮后參數(shù)量，具體過程如下：

式中：Pbin—量化后網(wǎng)絡(luò)的參數(shù)量；Punbin—網(wǎng)絡(luò)中未量化部分的參數(shù)量；p—未量化全精度網(wǎng)絡(luò)的參數(shù)量。

表1：Hpatches 圖像匹配結(jié)果

表2：NVIDIA Jetson TX2 上前向推理時間

2.2.2 神經(jīng)網(wǎng)絡(luò)計算量

神經(jīng)網(wǎng)絡(luò)中計算量定義為神經(jīng)網(wǎng)絡(luò)中浮點(diǎn)型權(quán)重與浮點(diǎn)型輸入張量之間的乘法與加法運(yùn)算量。為了有效評價計算速度，采用計算量指標(biāo)評價此網(wǎng)絡(luò)性能，通過計算差值求得量化部分計算量，利用2 倍和58 倍壓縮系數(shù)（分別表示僅量化網(wǎng)絡(luò)和同時量化網(wǎng)絡(luò)和輸入張量的壓縮系數(shù)）估計壓縮后計算量，具體過程如下：

式中：fbin—量化后網(wǎng)絡(luò)的計算量；funbin—網(wǎng)絡(luò)中未量化部分的計算量；f—未量化全精度網(wǎng)絡(luò)的計算量；λ—量化壓縮系數(shù)，僅量化卷積核權(quán)重時該系數(shù)為2，同時量化卷積核系數(shù)與輸入張量時該系數(shù)為58。

2.2.3 準(zhǔn)確率（Average Precision）

特征匹配準(zhǔn)確率定義為在圖像匹配任務(wù)中正確匹配的特征點(diǎn)數(shù)目占所有匹配數(shù)目的比例。實(shí)驗(yàn)中，通過計算Hpatches 數(shù)據(jù)集中網(wǎng)絡(luò)預(yù)測的匹配結(jié)果negative，ignore 和positive 與數(shù)據(jù)集標(biāo)簽相同的數(shù)目來評價二值量化的多尺度描述子網(wǎng)絡(luò)性能，并通過比較與未量化全精度描述子網(wǎng)絡(luò)匹配準(zhǔn)確率差值定量分析量化帶來的精度損失。

2.3 二值量化的多尺度描述子網(wǎng)絡(luò)實(shí)驗(yàn)設(shè)計與性能分析

基于正則化的神經(jīng)網(wǎng)絡(luò)量化算法與基于圖像比特位的多尺度方法應(yīng)用于RF-Net 特征點(diǎn)提取與描述子生成網(wǎng)絡(luò)，在Hpatches 數(shù)據(jù)集上測試了特征點(diǎn)匹配準(zhǔn)確率，并分別計算了僅量化卷積核權(quán)重、同時量化卷積核權(quán)重和輸入張量以及未量化描述子網(wǎng)絡(luò)的參數(shù)量、計算量和匹配準(zhǔn)確率。實(shí)驗(yàn)結(jié)果如表1所示。

綜合表1 實(shí)驗(yàn)數(shù)據(jù)可以得出以下結(jié)論：

（1）二值量化的多尺度描述子網(wǎng)絡(luò)可以有效提升降低神經(jīng)網(wǎng)絡(luò)的參數(shù)量與計算量。在僅量化網(wǎng)絡(luò)權(quán)重下，實(shí)現(xiàn)了約22%的參數(shù)量壓縮，約48%的計算量壓縮；在同時量化網(wǎng)絡(luò)權(quán)重與輸入張量下，實(shí)現(xiàn)了約22%參數(shù)量壓縮，約92.53%的計算量壓縮。

（2）二值量化的多尺度描述子網(wǎng)絡(luò)在減小占用內(nèi)存、加快推理速度的同時有效控制了精度損失。相較于全精度網(wǎng)絡(luò)，此方法在有效降低參數(shù)量和計算量的同時，RF-Net-1W32A 網(wǎng)絡(luò)上描述子匹配匹配準(zhǔn)確率損失約0.04，在僅量化卷積核權(quán)重條件下有效地控制了精度損失；RF-Net-1W1A 網(wǎng)絡(luò)上描述子匹配匹配準(zhǔn)確率損失約0.216，即為92.53%計算量壓縮付出0.216 匹配準(zhǔn)確率的損失。

圖1：RF-Net 網(wǎng)絡(luò)框架

3 二值量化的多尺度描述子網(wǎng)絡(luò)硬件平臺實(shí)驗(yàn)

對多尺度二值量化的RF-Net 在Hpatches 數(shù)據(jù)集上測試了相應(yīng)的參數(shù)量、計算量以及匹配準(zhǔn)確率，在移動終端NVIDIA Jetson TX2 設(shè)備測試了多尺度二值量化的RF-Net 網(wǎng)絡(luò)以及原生RF-Net 在該移動終端的運(yùn)行時間。

3.1 二值量化的多尺度描述子網(wǎng)絡(luò)硬件實(shí)驗(yàn)環(huán)境及評價指標(biāo)介紹

3.1.1 NVIDIA Jetson TX2 硬件平臺介紹

實(shí)驗(yàn)將多尺度二值量化的RF-Net 部署于移動終端設(shè)備NVIDIA Jetson TX2，從而驗(yàn)證網(wǎng)絡(luò)的實(shí)時性以及可部署能力。NVIDIA Jetson TX2 是由英偉達(dá)公司開發(fā)的基于NVIDIA Pascal ?架構(gòu)的嵌入式小型人工智能電腦。該設(shè)備提供多個標(biāo)準(zhǔn)硬件接口，外形小巧、節(jié)能且性能出色，支持功耗7.5w 至15w 模式，適合機(jī)器人、無人機(jī)、智能攝像機(jī)和便攜醫(yī)療設(shè)備等智能終端。

3.1.2 實(shí)驗(yàn)網(wǎng)絡(luò)結(jié)構(gòu)介紹

硬件平臺實(shí)驗(yàn)基于RF-Net 實(shí)現(xiàn)，基于正則化的二值量化方法以及基于圖像比特位的多尺度方法對RF-Net 進(jìn)行了多尺度重構(gòu)與量化。

3.1.3 實(shí)驗(yàn)開發(fā)環(huán)境介紹

實(shí)驗(yàn)代碼均基于python3.6 語言環(huán)境以及pytorch 深度學(xué)習(xí)框架撰寫，開發(fā)環(huán)境為Ubuntu16.04 的NVIDIA Jetson TX2。

3.1.4 評價指標(biāo)介紹

實(shí)驗(yàn)采用神經(jīng)網(wǎng)絡(luò)前向推理時間，是神經(jīng)網(wǎng)絡(luò)模型完成一次前向推理用時，可有效地評價神經(jīng)網(wǎng)絡(luò)對算力的依賴。實(shí)驗(yàn)分別測試了原RF-Net、僅量化網(wǎng)絡(luò)權(quán)重的多尺度RF-Net 以及同時量化權(quán)重和輸入張量的多尺度RF-Net 的前向推理時間。

3.2 二值量化的多尺度描述子網(wǎng)絡(luò)硬件平臺實(shí)驗(yàn)設(shè)計與分析

本節(jié)實(shí)驗(yàn)將多尺度二值量化的RF-Net 部署于移動終端設(shè)備NVIDIA Jetson TX2，測試了完成網(wǎng)絡(luò)前向推理的時間。實(shí)驗(yàn)結(jié)果如表2所示。

如表2所示，在僅量化網(wǎng)絡(luò)權(quán)重條件下，網(wǎng)絡(luò)前向推理時間減少約13.23%，在同時量化網(wǎng)絡(luò)權(quán)重和輸入張量條件下，網(wǎng)絡(luò)前向推理時間減少約33.86%，同時在對位運(yùn)算友好的嵌入式平臺上可以使用位運(yùn)算代替RF-Net-1W1A 中的卷積運(yùn)算，實(shí)現(xiàn)實(shí)時的網(wǎng)絡(luò)前向推理。實(shí)驗(yàn)數(shù)據(jù)表明在移動終端設(shè)備上，該結(jié)構(gòu)可以有效的解決神經(jīng)網(wǎng)絡(luò)部署時面臨的算力不足問題。

4 小結(jié)

本文基于正則化的二值量化方法以及基于圖像比特位的多尺度方法，構(gòu)建了二值量化的多尺度描述子網(wǎng)絡(luò)，并分別做了Hpatches數(shù)據(jù)集匹配仿真實(shí)驗(yàn)以及NVIDIA Jetson TX2 硬件平臺實(shí)驗(yàn)。經(jīng)過實(shí)驗(yàn)檢測證明，本文提出的方法可以有效地解決基于深度學(xué)習(xí)的圖像匹配算法在移動終端設(shè)備上部署困難的問題，可以有效地壓縮參數(shù)量與計算量，并有效地控制精度損失。