基于生成對(duì)抗網(wǎng)絡(luò)的魚(yú)眼圖像校正方法

祁自建，聶亞杰，張嘉偉

（中國(guó)船舶集團(tuán)有限公司第七一八研究所，河北 邯鄲 056027）

0 引言

隨著科技的進(jìn)步，魚(yú)眼鏡頭被廣泛應(yīng)用于視頻監(jiān)控、自動(dòng)駕駛和醫(yī)療檢測(cè)等領(lǐng)域。然而魚(yú)眼鏡頭捕獲的圖像不適用于為大多數(shù)透視圖像設(shè)計(jì)的計(jì)算機(jī)視覺(jué)技術(shù)，如目標(biāo)追蹤、運(yùn)動(dòng)估計(jì)、場(chǎng)景分割等任務(wù)［1］。因此，魚(yú)眼圖像的校正問(wèn)題成為了研究熱點(diǎn)。

在魚(yú)眼鏡頭出現(xiàn)后的幾十年間，人們嘗試用各種校正算法校正魚(yú)眼圖像?；谕队澳Ｐ偷聂~(yú)眼圖像校正算法有兩種不同模型：一種是球面投影模型，另一種是拋物面投影模型。運(yùn)用球面投影模型校正魚(yú)眼圖像的關(guān)鍵是找到魚(yú)眼圖像的光學(xué)中心和球面模型半徑，但在實(shí)際應(yīng)用中兩者很難被找到。一般都是假設(shè)圖像的中心點(diǎn)為該圖像的光學(xué)中心，半徑取魚(yú)眼圖像中有效圓形區(qū)域的半徑。拋物面模型復(fù)雜，在實(shí)際應(yīng)用中模型實(shí)現(xiàn)困難。楊玲等［2］提出一種應(yīng)用經(jīng)緯映射的魚(yú)眼圖像校正方法，不需要標(biāo)定參數(shù)即可將半球魚(yú)眼圖像校正為正常圖像；Kannala 等［3］假設(shè)圖像光心到投影點(diǎn)的距離和投影光線與主軸之間夾角的多項(xiàng)式存在比例關(guān)系，是目前比較受歡迎的模型；廖士中等［4］通過(guò)選取圖像中合適的控制點(diǎn)，然后利用多項(xiàng)式和雙線性插值方法進(jìn)行魚(yú)眼圖像校正。

基于標(biāo)定的校正算法主要是通過(guò)外部設(shè)備對(duì)魚(yú)眼相機(jī)的內(nèi)外參數(shù)進(jìn)行標(biāo)定，借助標(biāo)定板，通過(guò)標(biāo)定板的真實(shí)坐標(biāo)與魚(yú)眼成像平面坐標(biāo)之間的坐標(biāo)轉(zhuǎn)換，實(shí)現(xiàn)魚(yú)眼圖像校正。該方法校正精度高，但對(duì)實(shí)驗(yàn)設(shè)備精度要求高［5］。Chan 等［6］提出一種改進(jìn)的自動(dòng)棋盤(pán)檢測(cè)算法，以避免原始約束和用戶干預(yù)，然后采用自適應(yīng)自動(dòng)角點(diǎn)檢測(cè)，將魚(yú)眼成像函數(shù)用泰勒技術(shù)展開(kāi)，根據(jù)最大似然準(zhǔn)則進(jìn)行非線性細(xì)化，完成魚(yú)眼圖像的標(biāo)定與校正；Radka 等［7］提出一種用于魚(yú)眼標(biāo)定的非中心模型，該模型是對(duì)之前中心模型的擴(kuò)展，使用該模型不需要提供詳細(xì)的魚(yú)眼鏡頭參數(shù)；Lu 等［8］提出一種魚(yú)眼鏡頭無(wú)模型校正方法，即基于單幅圖像的啟發(fā)式B-spline 模型；吳軍等［9］以待標(biāo)定魚(yú)眼相機(jī)近似垂直棋盤(pán)格獲取的單張影像為對(duì)象，通過(guò)橢圓輪廓約束、滅點(diǎn)約束等多種幾何約束分階段求解相機(jī)參數(shù)；皮英東等［10］利用直接線性變化DLT 和魚(yú)眼影像上標(biāo)定的控制點(diǎn)信息快速求解球面投影參數(shù)。

卷積神經(jīng)網(wǎng)絡(luò)的出現(xiàn)給魚(yú)眼圖像校正帶來(lái)了新的解決方案，Rong 等［11］在模擬魚(yú)眼圖像數(shù)據(jù)集上訓(xùn)練Alexnet，將魚(yú)眼圖像畸變參數(shù)分為401 類(lèi)，通過(guò)網(wǎng)絡(luò)獲取畸變參數(shù)來(lái)糾正失真圖像，但有限的離散參數(shù)導(dǎo)致訓(xùn)練后的網(wǎng)絡(luò)在復(fù)雜的魚(yú)眼圖像校正上表現(xiàn)不佳；Yin 等［12］提出一種上下文協(xié)作網(wǎng)絡(luò)，在網(wǎng)絡(luò)中添加高維特征和語(yǔ)義特征，但由于高維特征、語(yǔ)義特征只能提供有限信息，在魚(yú)眼圖像校正中效果較差；薛村竹［13］提出一種明確的幾何約束用來(lái)改善魚(yú)眼圖像的網(wǎng)絡(luò)感知，該網(wǎng)絡(luò)依靠魚(yú)眼中曲線校正后應(yīng)該為直線的假設(shè)，對(duì)于圖像中線段較少的網(wǎng)絡(luò)校正效果差，而且需要邊緣標(biāo)簽、失真標(biāo)簽和正常圖像的多個(gè)標(biāo)簽，針對(duì)邊緣標(biāo)簽的邊緣網(wǎng)絡(luò)還要進(jìn)行預(yù)訓(xùn)練；Sha 等［14］通過(guò)簡(jiǎn)化拋物線模型，將其與神經(jīng)網(wǎng)絡(luò)結(jié)合在一起進(jìn)行魚(yú)眼圖像校正，并在網(wǎng)絡(luò)中增加圖像超分辨率結(jié)構(gòu)，以解決校正圖像分辨率較低的問(wèn)題；李有強(qiáng)［15］提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的魚(yú)眼鏡頭標(biāo)定方法，該方法通過(guò)改進(jìn)U-Net 網(wǎng)絡(luò)校正魚(yú)眼圖像圓弧坐標(biāo)作為前置網(wǎng)絡(luò)，然后通過(guò)殘差網(wǎng)絡(luò)進(jìn)行魚(yú)眼鏡頭內(nèi)部參數(shù)預(yù)測(cè)，獲得參數(shù)后再根據(jù)立方盒展開(kāi)原理對(duì)圖像進(jìn)行校正展開(kāi)；Nobuhiko 等［16］通過(guò)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)視場(chǎng)超過(guò)180°的魚(yú)眼圖像的外在參數(shù)（傾斜、滾動(dòng)角）和內(nèi)在參數(shù)（焦距），完成參數(shù)學(xué)習(xí)后進(jìn)行魚(yú)眼圖像校正。

基于生成的方法主要是通過(guò)生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）直接生成校正圖像。Liao等［17］提出自動(dòng)校正徑向失真生成對(duì)抗網(wǎng)絡(luò)，該網(wǎng)絡(luò)是第一個(gè)用于徑向失真校正的對(duì)抗網(wǎng)絡(luò)，采用無(wú)監(jiān)督的學(xué)習(xí)方式，通過(guò)學(xué)習(xí)失真圖像與正常圖像的分布，讓失真圖像的分布通過(guò)網(wǎng)絡(luò)后逐漸靠近正常圖像的分布。然而，該網(wǎng)絡(luò)在同時(shí)重建圖像內(nèi)容和結(jié)構(gòu)方面負(fù)擔(dān)過(guò)重，導(dǎo)致校正后的圖像內(nèi)容模糊，圖像結(jié)構(gòu)無(wú)法完全校正。之后Liao 等［18］又提出一種針對(duì)單張圖像，不區(qū)分生成魚(yú)眼圖像的模式進(jìn)行失真校正的方法，主要是將魚(yú)眼圖像的生成模型統(tǒng)一到失真校正圖像上，圖像上每一個(gè)點(diǎn)代表當(dāng)前位置的失真程度，該方法更準(zhǔn)確地對(duì)扭曲的結(jié)構(gòu)進(jìn)行了校正。然而，使用GAN 進(jìn)行校正時(shí)，級(jí)聯(lián)網(wǎng)絡(luò)容易導(dǎo)致圖像細(xì)節(jié)丟失，一般跳躍連接會(huì)導(dǎo)致失真擴(kuò)散。Yang 等［1］針對(duì)跳躍連接帶來(lái)較大誤差的問(wèn)題，將特征級(jí)校正引入網(wǎng)絡(luò)，在生成網(wǎng)絡(luò)的不同層中使用外觀流對(duì)圖像特征進(jìn)行校正，以此減少跳躍連接帶來(lái)的誤差。

綜上可知，基于深度學(xué)習(xí)的魚(yú)眼圖像校正算法都聚焦在GAN 網(wǎng)絡(luò)，而GAN 網(wǎng)絡(luò)存在跳躍連接帶來(lái)的誤差增大問(wèn)題。本文通過(guò)在生成網(wǎng)絡(luò)的編碼器中添加畸變參數(shù)預(yù)測(cè)模塊，并將預(yù)測(cè)的畸變參數(shù)嵌入到生成網(wǎng)絡(luò)的解碼器中，以此減少跳躍連接帶來(lái)的誤差。最后通過(guò)實(shí)驗(yàn)對(duì)比，分析其在數(shù)據(jù)集上的表現(xiàn)。

1 研究方法與相關(guān)理論

1.1 生成對(duì)抗網(wǎng)絡(luò)

生成對(duì)抗網(wǎng)絡(luò)是2014 年由Goodfellow 等［19］提出的一種新型神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，主要結(jié)構(gòu)如圖1 所示。其包含生成器G 和判別器D，生成器的主要任務(wù)是生成能夠欺騙判別器的圖像，讓判別器無(wú)法判斷是生成器生成的圖像還是真實(shí)存在的圖像。判別器的任務(wù)則是盡量識(shí)別出圖像是生成的還是真實(shí)存在的。

Fig.1 Generative adversarial network architecture圖1 生成對(duì)抗網(wǎng)絡(luò)結(jié)構(gòu)

在網(wǎng)絡(luò)訓(xùn)練期間，生成器努力生成可欺騙判別器的圖像，而判別器試圖識(shí)別出由生成器生成的“假圖像”。兩個(gè)網(wǎng)絡(luò)互相交替訓(xùn)練，因此該訓(xùn)練過(guò)程被稱為對(duì)抗訓(xùn)練。通過(guò)對(duì)抗訓(xùn)練讓生成圖像的分布逐漸靠近真實(shí)圖像的分布，當(dāng)判別器無(wú)法分辨真假圖像時(shí)，生成對(duì)抗網(wǎng)絡(luò)訓(xùn)練完成，其訓(xùn)練過(guò)程如下：

假設(shè)：pdata表示真實(shí)數(shù)據(jù)分布，pz表示生成器分布，x 表示從真實(shí)分布采樣的樣本，z 表示從生成器采樣的樣本。具體訓(xùn)練過(guò)程為：①生成器G 是一個(gè)生成圖像的網(wǎng)絡(luò)，接收一個(gè)隨機(jī)噪聲z，通過(guò)該噪聲生成圖像，記作G（z）；②D是一個(gè)判別網(wǎng)絡(luò)，判別一張圖像是否是真實(shí)的，其輸入?yún)?shù)x 代表一張圖像，輸出D（x）代表為真實(shí)圖像的概率。若為1，則代表100%為真實(shí)圖像；若為0，則代表不是真實(shí)圖像；③一般情況下是先多訓(xùn)練幾次生成器，然后訓(xùn)練判別器。重復(fù)幾次過(guò)后，得到最后的生成模型。

生成對(duì)抗網(wǎng)絡(luò)的損失函數(shù)如式（1）所示。式（1）中的min max 可以理解為更新判別器時(shí)需要最大化公式，更新生成器時(shí)需要最小化公式。這是一個(gè)尋找納什均衡的過(guò)程，尋找其最小、最大上界。

判別器模型參數(shù)更新時(shí)，對(duì)于來(lái)自真實(shí)分布pdata的樣本x 而言，希望D（x）的輸出越接近1 越好，即logD(x)越大越好；對(duì)于噪聲z 生成的數(shù)據(jù)G(z)而言，希望D(G(z))盡量接近0，即log (1 -D(G(z)))越大越好。

生成器模型參數(shù)更新時(shí)，希望G(z)盡可能與真實(shí)數(shù)據(jù)一樣，即pz=pdata，因此希望D(G(z))盡量接近1，即log (1 -D(G(z)))越小越好。

生成對(duì)抗網(wǎng)絡(luò)經(jīng)過(guò)多年發(fā)展，已經(jīng)演變出多種不同網(wǎng)絡(luò)，例如條件生成對(duì)抗網(wǎng)絡(luò)，將無(wú)監(jiān)督的生成對(duì)抗網(wǎng)絡(luò)變成半監(jiān)督或者有監(jiān)督的模型。深度卷積網(wǎng)絡(luò)近年來(lái)備受研究人員關(guān)注，董訪訪等［20］使用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行品牌服裝圖像檢索；程廣濤等［21］用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行煙霧識(shí)別。神經(jīng)網(wǎng)絡(luò)中的池化層不可逆，深度卷積生成對(duì)抗網(wǎng)絡(luò)將對(duì)抗網(wǎng)絡(luò)與深度卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合，在下采樣過(guò)程中不使用池化層，而是選擇改變卷積層步長(zhǎng)的方法進(jìn)行下采樣，上采樣過(guò)程中的反卷積網(wǎng)絡(luò)也是采用改變反卷積層步長(zhǎng)的方法進(jìn)行上采樣。

1.2 魚(yú)眼圖像數(shù)據(jù)集

在使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行魚(yú)眼圖像校正時(shí)，要求數(shù)據(jù)集規(guī)模較大，因此數(shù)據(jù)集一般采用合成魚(yú)眼圖像的方式進(jìn)行制作。合成魚(yú)眼圖像的映射形式包含兩種：除法模型與多項(xiàng)式模型。

1.2.1 除法模型

在圖像坐標(biāo)系中，透視圖像上的任意點(diǎn)Pu（x，y）與圖像中心P0（x0，y0）的歐式距離可以表示為ru，Pu在魚(yú)眼圖像中有一個(gè)對(duì)應(yīng)點(diǎn)Pd（xd，yd），Pd與畸變中心的距離表示為rd。ru與rd之間的映射關(guān)系除法模型如式（2）所示：

其中，ki為失真參數(shù)，通過(guò)改變ki的值來(lái)改變魚(yú)眼畸變程度。n是參數(shù)數(shù)量，一般來(lái)說(shuō)，n越大，多項(xiàng)式次數(shù)越多，用多項(xiàng)式模型表示的畸變狀態(tài)就越復(fù)雜。圖2 展示的是正常圖像與除法模型生成魚(yú)眼圖像之間的對(duì)比，圖中左邊部分為正常圖像，右邊部分為除法模型生成的魚(yú)眼圖像。

1.2.2 多項(xiàng)式模型

與除法模型相比，多項(xiàng)式模型在設(shè)計(jì)入射光角度方面更為特殊。入射光角度與光透鏡角度之間的關(guān)系如式（3）所示，θu表示入射光角度，θd是光通過(guò)透鏡的角度。

Fig.2 Comparison of normal image and image generated by the division model圖2 正常圖像與除法模型生成圖像對(duì)比

魚(yú)眼圖像一般有4 種投影模型，分別是正交投影模型、等距投影模型、球面透視投影模型、等立體角投影模型［22］。在使用多項(xiàng)式模型生成魚(yú)眼圖像時(shí)，選擇等距投影模型，rd和θd滿足等距投影關(guān)系，其中rd=f·，f是魚(yú)眼相機(jī)的焦距。對(duì)于針孔相機(jī)，投影模型應(yīng)該是rd=f·tanθd，簡(jiǎn)化得到式（4）：

ru與rd之間的關(guān)系如式（5）所示：

將ki和f合并得到式（6），在生成魚(yú)眼圖像時(shí)主要考慮k的取值：

為了簡(jiǎn)化模型，本文采用單參數(shù)多項(xiàng)式方法生成魚(yú)眼圖像數(shù)據(jù)集。因?yàn)槟Ｐ椭杏袇?shù)預(yù)測(cè)網(wǎng)絡(luò)，并將預(yù)測(cè)的參數(shù)嵌入到后面的模型中。原圖像從包含400 多種場(chǎng)景的Places 數(shù)據(jù)集中進(jìn)行選擇，圖像大小為256×256，本文的魚(yú)眼圖像訓(xùn)練集包含38 400 張圖像，測(cè)試集包含2 560 張圖像。單參數(shù)K 的取值范圍為10-4～10-6［9］。

在圖3 中，左邊為背景圖像，中間為原圖像，右邊為單參數(shù)生成的魚(yú)眼圖像，可以看到制作出來(lái)的魚(yú)眼圖像與真實(shí)圖像以及原圖像之間在內(nèi)容上有一定差別，內(nèi)容上縮小了，原因是在生成魚(yú)眼圖像時(shí)，原圖像中的部分像素會(huì)丟失。為使魚(yú)眼圖像與真實(shí)圖像之間的內(nèi)容保持一致，在制作真實(shí)圖像時(shí)對(duì)原圖像進(jìn)行部分切割［1］。

Fig.3 Comparison between single-parameter generated image，real image and original image圖3 單參數(shù)生成圖像與真實(shí)圖像以及原圖像之間對(duì)比

2 模型與評(píng)價(jià)指標(biāo)

2.1 模型

2.1.1 模型整體結(jié)構(gòu)

模型整體結(jié)構(gòu)如圖4 所示，包含3 部分，分別是生成網(wǎng)絡(luò)、判別網(wǎng)絡(luò)和參數(shù)預(yù)測(cè)網(wǎng)絡(luò)。生成網(wǎng)絡(luò)主要通過(guò)多層殘差網(wǎng)絡(luò)對(duì)特征進(jìn)行提取，下采樣過(guò)程通過(guò)修改卷積網(wǎng)絡(luò)中的步長(zhǎng)替代池化操作，通過(guò)編碼器不斷進(jìn)行下采樣后獲得圖像特征，解碼器的殘差網(wǎng)絡(luò)則將編碼器的輸出以及參數(shù)預(yù)測(cè)網(wǎng)絡(luò)輸入的γ 參數(shù)進(jìn)行結(jié)合，再進(jìn)行多次上采樣操作得到生成圖像。上采樣操作是反卷積過(guò)程，編碼器與解碼器在每個(gè)殘差網(wǎng)絡(luò)中都有跳躍連接。

Fig.4 Overall structure of the network model in this paper圖4 本文網(wǎng)絡(luò)模型整體結(jié)構(gòu)

參數(shù)預(yù)測(cè)網(wǎng)絡(luò)的輸入是編碼器最后一層的高維特征，通過(guò)自適應(yīng)平均池化函數(shù)將每個(gè)特征圖的大小變成1×1，然后將上一步得到的多維張量變成一維張量，將一維張量通過(guò)全連接網(wǎng)絡(luò)進(jìn)行參數(shù)預(yù)測(cè)，對(duì)預(yù)測(cè)的參數(shù)進(jìn)行編碼后獲得畸變參數(shù)γ，并將畸變參數(shù)傳到生成網(wǎng)絡(luò)的解碼器殘差塊中。判別網(wǎng)絡(luò)接收生成網(wǎng)絡(luò)生成的圖像和真實(shí)圖像，真實(shí)圖像的標(biāo)簽為1，生成圖像的標(biāo)簽為0，對(duì)輸入圖像進(jìn)行二分類(lèi)，判別圖像真假。

2.1.2 殘差網(wǎng)絡(luò)模塊

殘差網(wǎng)絡(luò)模塊包含兩個(gè)卷積和一個(gè)激活函數(shù)，輸入與輸出維度保持一致。第一個(gè)卷積層的卷積核大小為3×3，第二個(gè)卷積層的卷積核大小為1×1，如圖5 所示。編碼器中的殘差模塊只有卷積和激活函數(shù)，不包括虛線框中的部分，解碼器殘差網(wǎng)絡(luò)模塊的輸出是將γ嵌入到輸出中。

2.1.3 判別網(wǎng)絡(luò)結(jié)構(gòu)

判別網(wǎng)絡(luò)整體結(jié)構(gòu)如圖6 所示，判別網(wǎng)絡(luò)將輸入的圖像不斷通過(guò)卷積網(wǎng)絡(luò)加激活函數(shù)的結(jié)構(gòu)進(jìn)行下采樣。卷積核大小選擇為5×5，卷積核個(gè)數(shù)分別為16、32、48、64、64，最后通過(guò)全連接層預(yù)測(cè)輸入圖像是正常圖像還是魚(yú)眼圖像。

2.1.4 損失函數(shù)

預(yù)測(cè)損失選擇L1 損失函數(shù)作為預(yù)測(cè)參數(shù)與真實(shí)參數(shù)之間的損失函數(shù)，減少異常值的懲罰項(xiàng)。N 為從訓(xùn)練樣本中取樣的個(gè)數(shù)，Ppre為預(yù)測(cè)參數(shù)，Pgt為真實(shí)參數(shù)，LP為預(yù)測(cè)損失，如式（7）所示：

Fig.5 Residual block network structure圖5 殘差塊網(wǎng)絡(luò)結(jié)構(gòu)

Fig.6 Discriminant network structure圖6 判別網(wǎng)絡(luò)結(jié)構(gòu)

生成損失也選擇L1 損失，如式（8）所示，計(jì)算圖像與背景圖像每個(gè)通道、每個(gè)像素點(diǎn)之間的L1損失。

生成網(wǎng)絡(luò)的總體損失函數(shù)如式（9）所示：

判別網(wǎng)絡(luò)判斷真假圖像的問(wèn)題可以看作是一個(gè)二分類(lèi)任務(wù)，因此選擇二分類(lèi)交叉熵?fù)p失（BCEloss）作為判別網(wǎng)絡(luò)的損失函數(shù)。

2.2 評(píng)價(jià)指標(biāo)

峰值信噪比（PSNR）用于評(píng)價(jià)重建圖像與背景圖像之間的相似度，其數(shù)值越高，兩個(gè)圖像之間的相似度越高。通過(guò)式（10）計(jì)算兩個(gè)圖像之間的均方誤差，然后通過(guò)式（11）計(jì)算PSNR。MAXI是圖像中可能最大的像素值，若使用8位表示像素，則MAXI的值為255。

結(jié)構(gòu)相似性（SSIM）用于評(píng)價(jià)兩個(gè)圖像之間的相似度［23］，該指標(biāo)從對(duì)比度、亮度、結(jié)構(gòu)3 個(gè)方面對(duì)圖像進(jìn)行相似性比較。結(jié)構(gòu)相似性值的范圍為［0，1］，當(dāng)值越靠近1，說(shuō)明兩個(gè)圖像之間的相似度越高。計(jì)算SSIM 需要計(jì)算兩個(gè)圖像各自的均值，如式（12）所示：

標(biāo)準(zhǔn)差的計(jì)算公式如式（13）所示：

圖像協(xié)方差的計(jì)算公式如式（14）所示：

SSIM 一般選用均值作為亮度的估計(jì)，如式（15）所示：

標(biāo)準(zhǔn)差作為對(duì)比度的估計(jì)，如式（16）所示：

協(xié)方差作為結(jié)構(gòu)相似程度的度量，如式（17）所示：

SSIM 的計(jì)算公式如式（18）所示，其中α、β、γ 取值均為1。

SSIM 選取圖像中的部分區(qū)域進(jìn)行計(jì)算，可能存在誤差，而多尺度結(jié)構(gòu)相似性（MS-SSIM）［24］在圖像中選擇多個(gè)區(qū)域進(jìn)行計(jì)算，然后取多個(gè)區(qū)域SSIM 的平均值，相比SSIM評(píng)價(jià)更加合理。用滑動(dòng)窗口將圖像分成N 塊，加權(quán)計(jì)算每一窗口的均值、方差以及協(xié)方差，權(quán)值滿足求和為1，通常采用高斯核，然后計(jì)算對(duì)應(yīng)塊的結(jié)構(gòu)相似度，最后將平均值作為兩圖像之間的結(jié)構(gòu)相似性進(jìn)行度量。

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)環(huán)境與過(guò)程

實(shí)驗(yàn)環(huán)境如表1 所示。在生成網(wǎng)絡(luò)的總損失函數(shù)中存在一個(gè)超參數(shù)λ，在實(shí)驗(yàn)中將其設(shè)置為0.001。深度學(xué)習(xí)中針對(duì)損失函數(shù)的優(yōu)化包含多種優(yōu)化器：隨機(jī)梯度下降（SGD）、帶有動(dòng)量的梯度下降、自適應(yīng)矩估計(jì)（Adam）。一般常用的優(yōu)化器為SGD 和Adam，本文選擇Adam 作為優(yōu)化器。學(xué)習(xí)率是影響模型訓(xùn)練的重要參數(shù)，若學(xué)習(xí)率太高，損失函數(shù)無(wú)法收斂；若學(xué)習(xí)率低，損失函數(shù)下降速度慢，無(wú)法完成學(xué)習(xí)。本文的學(xué)習(xí)率從0.000 1 開(kāi)始，在訓(xùn)練過(guò)程中動(dòng)態(tài)調(diào)整學(xué)習(xí)率。根據(jù)訓(xùn)練輪次，每10 次對(duì)學(xué)習(xí)率進(jìn)行修改。每輪次訓(xùn)練需要30 多分鐘，模型在訓(xùn)練30 輪次后損失幾乎保持不變，因此訓(xùn)練輪次選擇50 次，每一輪次輸入圖像為16 張。針對(duì)預(yù)測(cè)參數(shù)是否對(duì)圖像校正結(jié)果產(chǎn)生影響，在訓(xùn)練中進(jìn)行了帶有參數(shù)預(yù)測(cè)模型和不帶有參數(shù)預(yù)測(cè)模型的對(duì)比實(shí)驗(yàn)。在本文模型的生成網(wǎng)絡(luò)中，每個(gè)模塊都可以包含多個(gè)殘差塊，也進(jìn)行了對(duì)比實(shí)驗(yàn)，殘差塊個(gè)數(shù)分別為1、2、3、4。

Table 1 Experimental environment表1 實(shí)驗(yàn)環(huán)境

3.2 實(shí)驗(yàn)結(jié)果

從魚(yú)眼數(shù)據(jù)集中選擇3 個(gè)不同種類(lèi)的圖像作為對(duì)比，選擇的圖像如圖7 所示。對(duì)比方法選擇了經(jīng)緯度校正方法和文獻(xiàn)［1］中提到的基于外觀流的漸進(jìn)互補(bǔ)網(wǎng)絡(luò)魚(yú)眼圖像校正方法。

Fig.7 Fisheye dataset image圖7 魚(yú)眼圖像數(shù)據(jù)集圖像

圖8 是魚(yú)眼圖像經(jīng)過(guò)經(jīng)緯度校正后的圖像，通過(guò)與圖7 中的圖像進(jìn)行比較，雖然圖像中的畸變被校正，但是在圖像的頂端和低端又有了新的畸變，而且相比圖7 內(nèi)容有所減少。圖9 是魚(yú)眼圖像經(jīng)過(guò)文獻(xiàn)［1］中的基于外觀流的漸進(jìn)互補(bǔ)網(wǎng)絡(luò)魚(yú)眼圖像校正方法校正后的圖像，相較于圖8，圖9 不僅對(duì)魚(yú)眼圖像進(jìn)行了校正，而且圖像內(nèi)容保存更加完整。

Fig.8 Results of latitude and longitude correction method圖8 經(jīng)緯度校正方法結(jié)果

Fig.9 Results of appearance flow-based progressive complementary network correction method圖9 基于外觀流的漸進(jìn)互補(bǔ)網(wǎng)絡(luò)校正方法結(jié)果

圖10 是魚(yú)眼圖像經(jīng)過(guò)本文方法校正后的圖像，圖11是魚(yú)眼圖像對(duì)應(yīng)的真實(shí)背景圖像。圖10 的校正效果與圖9 相比更加接近背景圖像，圖9 中的左側(cè)圖像電梯門(mén)還存在一點(diǎn)點(diǎn)“凸起”，圖10 中左側(cè)圖像電梯門(mén)已經(jīng)不存在“凸起”；圖10 中間的文字與圖9 相比也更加清晰；圖10 中的右側(cè)圖像與圖9 中的圖像相比也是“凸起”消失，更加接近圖11中的背景圖像。

Fig.10 Correction results in this paper圖10 本文校正結(jié)果

Fig.11 Groundtruth image圖11 真實(shí)背景圖像

3.3 實(shí)驗(yàn)結(jié)果分析

針對(duì)魚(yú)眼圖像校正效果，選擇PSNR、SSIM、MS-SSIM3個(gè)定量指標(biāo)進(jìn)行比較，測(cè)試集計(jì)算結(jié)果如表2 所示。本文方法在3 個(gè)指標(biāo)上均高于文獻(xiàn)［1］中基于外觀流的漸進(jìn)互補(bǔ)網(wǎng)絡(luò)方法，PSNR 從25.596 提高到28.039、SSIM 從0.800提高到0.875、MS-SSIM 從0.943提高到0.970。

由表3 可知，將參數(shù)預(yù)測(cè)嵌入到生成網(wǎng)絡(luò)之后，其校正效果與沒(méi)有參數(shù)嵌入的網(wǎng)絡(luò)相比有所提高，數(shù)值的增加主要體現(xiàn)在PSNR 和SSIM 值上，證明參數(shù)嵌入確實(shí)可以提高模型對(duì)魚(yú)眼圖像的校正效果。

Table 2 Correction results of different methods表2 不同方法校正結(jié)果

Table 3 Correction result with and without parameter network表3 有無(wú)參數(shù)網(wǎng)絡(luò)校正結(jié)果

不同殘差塊對(duì)模型帶來(lái)的影響如表4 所示。前期殘差塊個(gè)數(shù)增加對(duì)模型校正效果的影響是積極的，殘差塊個(gè)數(shù)增加后模型的校正效果也得到提升，但當(dāng)殘差塊個(gè)數(shù)增加到4 個(gè)時(shí)，模型校正效果卻會(huì)下降，而且隨著殘差塊的增加，整個(gè)模型的參數(shù)量也在不斷增加。綜合來(lái)看，本文網(wǎng)絡(luò)中的殘差塊個(gè)數(shù)應(yīng)該為3。

Table 4 Influence of the number of residual blocks on the model表4 殘差塊個(gè)數(shù)對(duì)模型的影響

4 結(jié)語(yǔ)

針對(duì)生成對(duì)抗網(wǎng)絡(luò)在魚(yú)眼圖像校正過(guò)程中由于跳躍連接帶來(lái)的誤差和解碼器負(fù)擔(dān)過(guò)重問(wèn)題，提出一種結(jié)合生成對(duì)抗網(wǎng)絡(luò)和魚(yú)眼校正參數(shù)預(yù)測(cè)網(wǎng)絡(luò)的算法。該算法通過(guò)在模型的生成網(wǎng)絡(luò)中添加魚(yú)眼校正參數(shù)預(yù)測(cè)模塊，將生成網(wǎng)絡(luò)編碼器的輸出作為預(yù)測(cè)網(wǎng)絡(luò)的輸入，然后將預(yù)測(cè)的參數(shù)嵌入到生成網(wǎng)絡(luò)的解碼器中，用預(yù)測(cè)的參數(shù)指導(dǎo)魚(yú)眼圖像解碼過(guò)程，以此減少跳躍連接帶來(lái)的誤差損失和解碼器負(fù)擔(dān)，提高模型校正魚(yú)眼圖像的質(zhì)量。實(shí)驗(yàn)結(jié)果表明，在魚(yú)眼圖像數(shù)據(jù)集上，校正圖像與背景圖像的峰值信噪比（PSNR）達(dá)到28.039，相比之前的方法提升了9.5%；結(jié)構(gòu)相似度（SSIM）達(dá)到0.875，相比之前的方法升了7.5%。本文模型雖然在一定程度上減少了跳躍連接帶來(lái)的誤差，但是模型生成的校正圖像在放大后的某些部分還存在像素模糊的問(wèn)題，如何直接通過(guò)模型生成較高質(zhì)量的校正圖像是下一步需要研究的問(wèn)題。