面向自動(dòng)駕駛數(shù)據(jù)生成的風(fēng)格遷移網(wǎng)絡(luò)研究*

王大方，杜京東，曹 江，張 梅，趙 剛

（1. 哈爾濱工業(yè)大學(xué)（威海）汽車工程學(xué)院，威海 264209；2. 32184部隊(duì)，北京 100072）

前言

深度學(xué)習(xí)算法在自動(dòng)駕駛感知算法中應(yīng)用廣泛，如立體視覺、目標(biāo)檢測(cè)、目標(biāo)跟蹤、語義分割等。這些算法需要在大量可靠的數(shù)據(jù)上進(jìn)行有效的訓(xùn)練和測(cè)試。因此，自動(dòng)駕駛數(shù)據(jù)集應(yīng)運(yùn)而生。當(dāng)前較為典型的數(shù)據(jù)集有KITTI、BDD100K、City Scapes等。以BDD100K 為例，該數(shù)據(jù)集包含了10萬段高清視頻，約10 萬張圖片，覆蓋了晴天、多云等6 種天氣以及黎明/黃昏、白天、夜晚3 個(gè)時(shí)段。雖然當(dāng)前有的數(shù)據(jù)集已經(jīng)開始在不同天氣和光照條件下去采集數(shù)據(jù)，但由于采集時(shí)間和條件的限制，現(xiàn)有的數(shù)據(jù)集絕大部分仍然是在白天相對(duì)晴朗的狀態(tài)下拍攝的。夜晚時(shí)段以及各種氣候、天氣狀態(tài)下的數(shù)據(jù)集的豐富性仍然十分有限。為了充分驗(yàn)證算法的魯棒性，往往想得到各種環(huán)境下的數(shù)據(jù)去測(cè)試，但是統(tǒng)一路段往往很難得到各種環(huán)境下的數(shù)據(jù)，所以有研究提出想通過增強(qiáng)圖像的方式去擴(kuò)展數(shù)據(jù)。Tian等就采用了根據(jù)駕駛條件（如雨、霧、光照條件等）的變化自動(dòng)生成測(cè)試用例，但是采用的僅僅是在圖像上加了一層貼圖，嚴(yán)重缺乏真實(shí)性。

據(jù)此，本文中采用圖像風(fēng)格遷移網(wǎng)絡(luò)增強(qiáng)現(xiàn)有的自動(dòng)駕駛數(shù)據(jù)集，這不僅可以從天氣、時(shí)段等方面豐富數(shù)據(jù)集，還可以保持圖像的真實(shí)感。與此同時(shí)，經(jīng)過增強(qiáng)轉(zhuǎn)換后的數(shù)據(jù)集，其內(nèi)容特征保持不變，可以直接使用原有的標(biāo)注數(shù)據(jù)，從而節(jié)省標(biāo)注數(shù)據(jù)時(shí)消耗的大量時(shí)間和勞動(dòng)成本。

1 相關(guān)研究

圖像風(fēng)格遷移即提取某張圖像的風(fēng)格并將其融入到另一張圖像中，并且不改變圖像的內(nèi)容特征。傳統(tǒng)非參數(shù)的圖像風(fēng)格遷移方法主要基于物理模型的繪制和紋理的合成，但這類方法只能提取圖像的底層特征，在處理顏色和紋理較復(fù)雜的圖像時(shí)，生成效果差，且運(yùn)算速度緩慢，不能適應(yīng)實(shí)際需求。隨著深度學(xué)習(xí)的興起，Gatys 等創(chuàng)造性地提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的圖像風(fēng)格遷移，并采用了Gram 矩陣表征風(fēng)格損失。使用預(yù)訓(xùn)練后的VGG 模型作為特征提取器提取圖像的內(nèi)容特征表示和風(fēng)格特征表示，并以此建立損失函數(shù)優(yōu)化迭代白噪聲圖像，使其風(fēng)格特征和內(nèi)容特征不斷向既定的風(fēng)格圖片和內(nèi)容圖片靠攏，實(shí)現(xiàn)風(fēng)格遷移。Justin 等在Gatys 研究的基礎(chǔ)上提出了基于模型迭代的方法，亦稱作快速風(fēng)格遷移。批量歸一化（batch normalization，BN）和實(shí)例歸一化層（instance normalization，IN）給風(fēng)格遷移研究拓展了新的思路，Li 等采用BN 得到的統(tǒng)計(jì)量代替Gram 矩陣去表征風(fēng)格損失。文獻(xiàn)［10］中認(rèn)為IN 本身就具有描述特征圖不同通道之間相關(guān)性的能力，因此用IN 代替了BN。受IN 的啟發(fā)，文獻(xiàn)［11］中提出了自適應(yīng)實(shí)例歸一化層（adaptive instance normalization，AdaIN），自適應(yīng)地計(jì)算歸一化層的仿射參數(shù)，實(shí)現(xiàn)了實(shí)時(shí)的任意風(fēng)格轉(zhuǎn)換。

2013 年變分自動(dòng)編碼器和2014 年生成對(duì)抗網(wǎng)絡(luò)兩種模型的提出，給圖像風(fēng)格遷移提供了新的思路。Isola 等提出了采用條件生成對(duì)抗網(wǎng)絡(luò)來解決圖像風(fēng)格遷移任務(wù)，但要求大量的成對(duì)帶標(biāo)簽的訓(xùn)練數(shù)據(jù)。與此同時(shí)，應(yīng)用于自然語言處理領(lǐng)域的對(duì)偶學(xué)習(xí)的思想被應(yīng)用到了GAN 網(wǎng)絡(luò)中，從而可以用無監(jiān)督的方式訓(xùn)練GAN 網(wǎng)絡(luò)，如CycleGAN、DiscoGAN和 DualGAN等。CycleGAN 中首次提出了循環(huán)一致性損失函數(shù)，其基本思想是對(duì)偶學(xué)習(xí)生成重構(gòu)圖像，而輸入圖像自然成為該重構(gòu)圖像的標(biāo)簽，從而可以計(jì)算出一個(gè)損失替代Gatys 等提出的內(nèi)容損失。循環(huán)一致性約束已經(jīng)在許多研究中證明了它在風(fēng)格遷移任務(wù)中的高效性。Liu等提出的UNIT 風(fēng)格遷移框架引入了潛在共享空間概念，并結(jié)合了變自分編碼器和生成式對(duì)抗網(wǎng)絡(luò)，進(jìn)一步提高了無監(jiān)督風(fēng)格遷移的效果。AugGAN在CycleGAN 的基礎(chǔ)上加入了語義分割網(wǎng)絡(luò)，該網(wǎng)絡(luò)在解碼器的首端和尾端采用了不同的權(quán)重共享策略，提升了生成圖片在目標(biāo)檢測(cè)算法上的訓(xùn)練效果。

基于卷積神經(jīng)網(wǎng)絡(luò)的風(fēng)格遷移方法受到了預(yù)訓(xùn)練模型好壞的限制，對(duì)于風(fēng)格特別明顯的轉(zhuǎn)換任務(wù)，如真實(shí)圖片到藝術(shù)畫的轉(zhuǎn)換具有出色的表現(xiàn)但對(duì)于許多其他的轉(zhuǎn)換任務(wù)（如白天到黑夜），應(yīng)用效果較差。而基于生成式對(duì)抗網(wǎng)絡(luò)的方法不僅可以無監(jiān)督的生成圖像，還可以同時(shí)適用于多種遷移形式，泛化性能好，因此本文中基于編碼-解碼結(jié)構(gòu)的生成式對(duì)抗網(wǎng)絡(luò)對(duì)風(fēng)格遷移網(wǎng)絡(luò)進(jìn)行了優(yōu)化和改善，提高其在自動(dòng)駕駛數(shù)據(jù)集上的應(yīng)用效果。

2 網(wǎng)絡(luò)設(shè)計(jì)

本文中基于對(duì)偶學(xué)習(xí)的思想，引入基于編碼-解碼架構(gòu)的生成式對(duì)抗網(wǎng)絡(luò)結(jié)構(gòu)。網(wǎng)絡(luò)主要包含3 部分：生成器網(wǎng)絡(luò)、鑒別器網(wǎng)絡(luò)和語義分割網(wǎng)絡(luò)。生成網(wǎng)絡(luò)用于生成風(fēng)格化后的假圖像。鑒別器網(wǎng)絡(luò)用于區(qū)分真實(shí)圖像和生成的虛假圖像。語義分割網(wǎng)絡(luò)用于約束生成器的行為，使得高維隱層特征具備表征圖像語義信息的能力?？傮w網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 總體結(jié)構(gòu)

2.1 生成器優(yōu)化設(shè)計(jì)

如圖2 所示，生成器網(wǎng)絡(luò)由基于自編碼器結(jié)構(gòu)的編碼器和解碼器組成。

圖2 生成器結(jié)構(gòu)

2.1.1 編碼-解碼結(jié)構(gòu)優(yōu)化

風(fēng)格遷移任務(wù)的實(shí)質(zhì)是保留原圖像的內(nèi)容特征，并添加新的風(fēng)格。本文中假設(shè)在自編碼器中，編碼器用于提取圖像的內(nèi)容特征，解碼器基于內(nèi)容特征對(duì)圖像進(jìn)行風(fēng)格化生成。不同天氣和光照條件下的自動(dòng)駕駛數(shù)據(jù)集具備類似的內(nèi)容特征，因此與CycleGAN、UNIT以及AugGAN等采用循環(huán)一致性約束來實(shí)現(xiàn)風(fēng)格遷移的網(wǎng)絡(luò)相比，減少了一個(gè)編碼器，采用了單一編碼器和雙解碼器結(jié)構(gòu)，顯然這可大幅降低網(wǎng)絡(luò)的參數(shù)量和計(jì)算量。

如圖1 所示，首先，來自兩個(gè)圖像域的圖像和經(jīng)過同一個(gè)編碼器得到隱層特征，該隱層特征經(jīng)過解碼器和分別生成域1和域2中的圖像，從而實(shí)現(xiàn)圖像風(fēng)格的遷移。圖2 展示了生成器模型的詳細(xì)網(wǎng)絡(luò)結(jié)構(gòu)，主要由降采樣模塊、殘差模塊和上采樣模塊組成。在降采樣模塊中，采用了步幅等于2 的卷積層代替池化層，使得降采樣參數(shù)可學(xué)，從而減少信息的丟失問題。在殘差模塊中，為殘差模塊的堆疊數(shù)量，可作為超參數(shù)進(jìn)行調(diào)節(jié)。在上采樣模塊中，采用了雙線性插值加卷積代替了轉(zhuǎn)置卷積，從而減少了棋盤格效應(yīng)。對(duì)兩種上采樣方式進(jìn)行實(shí)驗(yàn)，得到了不同的效果，如圖3所示。

圖3 上采樣方式對(duì)比

2.1.2 語義分割子模塊

為了進(jìn)一步保持風(fēng)格化后的圖像內(nèi)容特征（如車輛、行人等）不會(huì)模糊和失真，本文中借鑒AugGAN，加入了圖像語義分割網(wǎng)絡(luò)用于約束生成器的行為，保持輸入圖片的語義特征。與AugGAN 不同的是，本文中僅加入了一個(gè)語義分割解碼模塊。兩個(gè)風(fēng)格解碼模塊共享該模塊。該網(wǎng)絡(luò)如圖2 所示，其與風(fēng)格解碼模塊的區(qū)別在于最后的輸出層的深度由語義分割的類別數(shù)決定。

2.1.3 跳躍連接與殘差結(jié)構(gòu)

該網(wǎng)絡(luò)借鑒了U-Net網(wǎng)絡(luò)中的跳躍連接結(jié)構(gòu)。將降采樣過程中得到的3 個(gè)特征圖與上采樣時(shí)得到的3 個(gè)特征圖分別在通道維度上進(jìn)行拼接然后再進(jìn)行卷積，從而避免因降采樣導(dǎo)致的信息不可逆丟失的問題，幫助生成細(xì)節(jié)信息更豐富的圖像。

隨著網(wǎng)絡(luò)的加深，訓(xùn)練集損失逐漸下降，然后趨于飽和，這時(shí)繼續(xù)增加深度會(huì)導(dǎo)致?lián)p失的反向增大，稱之為退化問題。這一問題的原因是卷積層的簡(jiǎn)單堆疊難以擬合恒等映射。本文中在降采樣后采用了殘差塊堆疊的方式加深網(wǎng)絡(luò)結(jié)構(gòu)，從而提高網(wǎng)絡(luò)的擬合性能。單個(gè)殘差塊的結(jié)構(gòu)如圖4 所示。表示輸入，()表示經(jīng)過兩次卷積后的特征輸出。()表示()和輸入相加得到的最終輸出。由此而來，當(dāng)需要學(xué)習(xí)恒等映射時(shí)，僅需要使得() = 0，這比直接學(xué)習(xí)恒等映射要更容易，可以任意地加深網(wǎng)絡(luò)的深度而不必?fù)?dān)心退化問題導(dǎo)致的網(wǎng)絡(luò)性能的下降。

圖4 殘差結(jié)構(gòu)

2.2 鑒別器優(yōu)化設(shè)計(jì)

本文中鑒別器網(wǎng)絡(luò)結(jié)構(gòu)借鑒了PatchGAN 的思路，取消了全連接層，可以大幅減少網(wǎng)絡(luò)參數(shù)，提升訓(xùn)練效率。

對(duì)于PatchGAN 而言，一個(gè)較為重要的參數(shù)即Patch Size。Patch Size 越小，每一塊Patch 所對(duì)應(yīng)的像素區(qū)域就越小。前人的研究中，Patch Size 越小，生成的圖像的顏色信息越豐富。Patch Size 越大，生成的圖像越銳利，細(xì)節(jié)信息越豐富。在Patch Size達(dá)到70時(shí)，其生成質(zhì)量最好。

本文中為了兼顧色彩信息和局部細(xì)節(jié)信息的豐富，如圖5 所示，引入了多尺度鑒別器。其主要思想是將輸入圖像通過降采樣分別縮小2倍和4倍，然后3 種不同尺度的圖像分別送入鑒別器得到3 個(gè)輸出矩陣，再對(duì)經(jīng)過3 個(gè)矩陣運(yùn)算得到的損失求均值從而計(jì)算出最終的損失。經(jīng)計(jì)算，本文中3 種尺度鑒別 器 的Patch Size 分 別 為46×46、92×92 以 及194×194。通過均衡不同的Patch Size，從而幫助生成器生成真實(shí)程度更高、更逼真的圖像。

圖5 PatchGAN與多尺度鑒別器

2.3 損失函數(shù)設(shè)計(jì)

2.3.1 對(duì)抗損失

本網(wǎng)絡(luò)模型的目標(biāo)是學(xué)習(xí)兩個(gè)圖像域之間相互的映射函數(shù)。如圖1 所示，該網(wǎng)絡(luò)含有兩組生成式對(duì)抗網(wǎng)絡(luò)：GAN={，}和GAN={，}。在GAN中，的目標(biāo)是盡可能地區(qū)分來自于圖像域1中的真實(shí)樣本和生成的虛假樣本，即()。而的目標(biāo)在于使得生成的圖像盡可能地接近圖像域1 中的圖像。生成的圖像即在遷移階段，由圖像域2 中的樣本經(jīng)過生成器網(wǎng)絡(luò)后遷移得到的，即

同理可得，GAN的目標(biāo)函數(shù)為

2.3.2 循環(huán)一致性約束和自重建損失

2.3.3 語義損失

由于自動(dòng)駕駛數(shù)據(jù)集的語義特征十分重要，因此如何保證遷移后的圖像不會(huì)丟失語義信息是尤為重要的。本文中引入了語義特征損失作為正則化項(xiàng)進(jìn)一步約束生成器的行為。由圖1 所示，有語義分割子網(wǎng)絡(luò)。生成的圖像即在遷移階段，由域1 和域2 中的圖像生成的語義圖。本文中采用交叉熵來衡量預(yù)測(cè)語義圖與標(biāo)簽圖^的差異。該目標(biāo)函數(shù)如式（5）所示，其中表示交叉熵。

3 網(wǎng)絡(luò)訓(xùn)練

3.1 訓(xùn)練數(shù)據(jù)

由于當(dāng)前各類真實(shí)的圖像數(shù)據(jù)集很少將各類天氣以及光照條件下的圖像進(jìn)行分類，因此本文中選用了SYNTHIA這一虛擬數(shù)據(jù)集。SYNTHIA 由一組從虛擬仿真環(huán)境中采集的視頻幀組成，并帶有13個(gè)類別的精確像素級(jí)語義注釋。采集場(chǎng)景有歐式小鎮(zhèn)、現(xiàn)代城市、高速公路和綠地等。該數(shù)據(jù)集覆蓋了所有季節(jié)，涵括多種天氣和光照條件。本實(shí)驗(yàn)進(jìn)行白天到夜晚、春季到冬季的風(fēng)格遷移。各類圖片采集自5 個(gè)駕駛場(chǎng)景序列，其中春季白天圖像共約26 232 張，夜晚圖像共約23 077 張，冬季圖像共約19 039張。

3.2 網(wǎng)絡(luò)訓(xùn)練及預(yù)測(cè)

3.2.1 實(shí)驗(yàn)環(huán)境

讓她如此糾結(jié)的情事，她希望那些糾結(jié)能像發(fā)絲一樣被剪去。半個(gè)小時(shí)后，她就變身成一個(gè)美貌的小男孩。看著鏡中的自己，她驚奇地發(fā)現(xiàn)，難過好像真的就那么少了一些。

由于該網(wǎng)絡(luò)包含一對(duì)生成式對(duì)抗網(wǎng)絡(luò)，需要完成語義分割和風(fēng)格遷移兩個(gè)任務(wù)，因此對(duì)于實(shí)驗(yàn)條件有很高的要求。本文中訓(xùn)練網(wǎng)絡(luò)模型使用的實(shí)驗(yàn)平臺(tái)的硬件配置如表1 所示。采用主流深度學(xué)習(xí)框架Pytorch 構(gòu)建網(wǎng)絡(luò)模型，使用并行計(jì)算架構(gòu)CUDA和GPU加速庫(kù)cudnn進(jìn)行高性能并行計(jì)算。

表1 實(shí)驗(yàn)平臺(tái)配置

3.2.2 超參設(shè)置

本文的超參數(shù)設(shè)置主要有Batch Size、學(xué)習(xí)率、優(yōu)化器、損失函數(shù)權(quán)重和殘差模塊數(shù)量等。

以訓(xùn)練集中所有數(shù)據(jù)參與訓(xùn)練記為1 個(gè)全周期（epoch），設(shè)置學(xué)習(xí)率為0.000 2。采用當(dāng)前主流的優(yōu)化算法Adam 算法進(jìn)行梯度更新，beta1 取0.5，beta2取0.999。

采用mini-Batch 的訓(xùn)練方式可以在一個(gè)epoch中多次更新參數(shù)，加速收斂，提高計(jì)算效率。但在生成任務(wù)中，Batch Size 的選取并非越大越好，過大可能會(huì)陷入局部最優(yōu)，導(dǎo)致生成的圖像丟失特有的細(xì)節(jié)特征。實(shí)驗(yàn)發(fā)現(xiàn)對(duì)于本文的風(fēng)格遷移網(wǎng)絡(luò)，輸入圖像尺寸的優(yōu)先級(jí)要大于Batch Size。基于上述考慮和內(nèi)存的限制，本文中輸入圖像尺寸設(shè)置為513×304，而Batch Size設(shè)置為1。

在殘差模塊數(shù)量上，編碼器的殘差模塊和解碼器的殘差模塊的比例設(shè)置為10∶1。這也代表著訓(xùn)練時(shí)，3 個(gè)解碼器所共享的編碼模塊占的比重更大，網(wǎng)絡(luò)的參數(shù)量將明顯降低。

表2～表4 分別展示了編碼器、解碼器和鑒別器詳細(xì)的結(jié)構(gòu)參數(shù)。其中Conv代表卷積層，IN 代表實(shí)例歸一化層，Resblock 為殘差模塊。插值算法為雙線性插值。拼接代表在通道維度上對(duì)特征圖進(jìn)行拼接。語義解碼和風(fēng)格解碼僅最后一層有所不同，不同之處由表3加粗字體表示。

表2 編碼器

表3 解碼器

表4 鑒別器

在損失函數(shù)權(quán)重方面，由于循環(huán)一致性約束已經(jīng)在諸多研究中證明了其在圖像風(fēng)格遷移任務(wù)中的高效性，因此本文中設(shè)置該損失的權(quán)重為10，自編碼器的重建損失權(quán)重為5，生成式對(duì)抗網(wǎng)絡(luò)的損失權(quán)重為1，語義特征損失可設(shè)置的稍低，避免對(duì)生成器造成過多的影響，本實(shí)驗(yàn)設(shè)置為1?？偟膿p失函數(shù)為

歸一化能夠有效加快模型收斂。為了避免批量歸一化（batch normalization）弱化單一樣本本身特有的細(xì)節(jié)信息，且實(shí)例歸一化（instance normalization）在風(fēng)格遷移任務(wù)中相比于批量歸一化更具有表征圖像風(fēng)格特征的能力，因此均采用了實(shí)例歸一化層。

3.2.3 網(wǎng)絡(luò)訓(xùn)練及預(yù)測(cè)

本實(shí)驗(yàn)對(duì)晴天轉(zhuǎn)黑夜、晴天轉(zhuǎn)雪天兩個(gè)風(fēng)格遷移任務(wù)進(jìn)行訓(xùn)練，迭代訓(xùn)練了10 萬次。其中，晴天轉(zhuǎn)黑夜任務(wù)采用了SYNTHIA 數(shù)據(jù)集中序列2、4 和6中共9 532 張圖像，晴天轉(zhuǎn)雪天任務(wù)采用了序列4、5和6中共10 540張圖像進(jìn)行訓(xùn)練。

使用訓(xùn)練好的模型對(duì)數(shù)據(jù)進(jìn)行風(fēng)格化生成，得到的夜晚效果圖如圖6 所示，雪天效果圖如圖7 所示。其中，前3 行為未經(jīng)訓(xùn)練的序列1 中的圖像，后2 行為序列2-6 中的圖像?？梢?，經(jīng)由單編碼器-雙解碼器模型生成的圖像保留了車輛、行人、建筑等多種語義特征，并對(duì)各種風(fēng)格特征進(jìn)行了良好的轉(zhuǎn)換與生成。

圖6 白天轉(zhuǎn)夜晚效果圖

圖7 晴天轉(zhuǎn)雪天效果圖

4 實(shí)驗(yàn)

4.1 評(píng)價(jià)指標(biāo)

目前，如何評(píng)價(jià)生成式對(duì)抗網(wǎng)絡(luò)生成的圖像質(zhì)量仍是一個(gè)具有挑戰(zhàn)的事情。特別是對(duì)于無監(jiān)督的風(fēng)格遷移網(wǎng)絡(luò)來說，尚未有一個(gè)統(tǒng)一的標(biāo)準(zhǔn)去評(píng)價(jià)生成的好壞。Isola 等認(rèn)為，如果生成的圖片質(zhì)量越好，則在真實(shí)圖片上訓(xùn)練好的分類器用于分類虛假圖片時(shí)，其表現(xiàn)也應(yīng)當(dāng)越好。因此其采用了FCN-8s語義分割網(wǎng)絡(luò)計(jì)算像素準(zhǔn)確率作為評(píng)價(jià)指標(biāo)。本文中采用了性能表現(xiàn)更優(yōu)的Deeplabv3+這一語義分割網(wǎng)絡(luò)用于評(píng)價(jià)圖像質(zhì)量，并采用像素準(zhǔn)確率、交并比等作為評(píng)價(jià)指標(biāo)。

4.2 對(duì)比實(shí)驗(yàn)

基于Deeplabv3+網(wǎng)絡(luò)進(jìn)行語義分割任務(wù)的訓(xùn)練，網(wǎng)絡(luò)骨架設(shè)為Xception。訓(xùn)練集為SYNTHIA 數(shù)據(jù)集中的序列2、序列4 和序列6 中的夜晚數(shù)據(jù)共9 532 張。測(cè)試集為序列1 中前視攝像頭的夜晚數(shù)據(jù)。共訓(xùn)練100 個(gè)epoch。將測(cè)試集注入訓(xùn)練好的模型，計(jì)算得到評(píng)價(jià)基準(zhǔn)指標(biāo)，即表5 中Ground Truth所示。

為了說明本文中提出的風(fēng)格遷移網(wǎng)絡(luò)的優(yōu)越性，復(fù)現(xiàn)了AugGAN 和UNIT 與本網(wǎng)絡(luò)做對(duì)比。首先，采用相同的訓(xùn)練集同樣訓(xùn)練10 萬次。之后，采用SYNTHIA 序列1 中晴天數(shù)據(jù)作為測(cè)試集得到1 189 張?zhí)摂M夜晚數(shù)據(jù)注入Deeplabv3+評(píng)價(jià)網(wǎng)絡(luò)，得到的結(jié)果如表5 所示?？梢?，本文中提出的網(wǎng)絡(luò)在所有評(píng)價(jià)指標(biāo)中均得到了最高的表現(xiàn)。3 種網(wǎng)絡(luò)的效果對(duì)比圖如圖8 所示，主觀上本文網(wǎng)絡(luò)生成的圖像更接近真實(shí)圖像，這與客觀指標(biāo)所體現(xiàn)的相一致。

圖8 不同網(wǎng)絡(luò)效果對(duì)比

表5 不同風(fēng)格遷移網(wǎng)絡(luò)對(duì)比

4.3 語義損失消融實(shí)驗(yàn)

為驗(yàn)證加入語義損失后的作用，將語義損失權(quán)重設(shè)置為0，訓(xùn)練集以及其余超參數(shù)設(shè)置不變，并訓(xùn)練到相同的次數(shù)，同樣采用序列1 中的數(shù)據(jù)作為測(cè)試集。實(shí)驗(yàn)結(jié)果如表6所示?？梢?，這4類指標(biāo)除了平均交并比略有下降以外均有所上升。這證明加入語義損失后將會(huì)對(duì)生成結(jié)果產(chǎn)生積極的作用。

表6 實(shí)驗(yàn)結(jié)果

5 結(jié)論

根據(jù)自動(dòng)駕駛場(chǎng)景數(shù)據(jù)的特點(diǎn)，本文中優(yōu)化了風(fēng)格遷移網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)。

（1）采用單一編碼器和雙解碼器結(jié)構(gòu)，并輔助以多尺度鑒別器、跳躍連接、實(shí)例歸一化等手段。在減少參數(shù)量的同時(shí)，提高了圖像的生成質(zhì)量。其中平均交并比提升最顯著，相比AugGAN 和UNIT 分別提升了2.50%和4.41%。

（2）將語義解碼模塊和風(fēng)格解碼模塊并聯(lián)耦合，提供語義損失正則化項(xiàng)約束圖像生成網(wǎng)絡(luò)，使頻權(quán)交并比提升了1.16%。

實(shí)驗(yàn)結(jié)果表明，本文中提出的風(fēng)格遷移網(wǎng)絡(luò)可有效增強(qiáng)自動(dòng)駕駛圖像數(shù)據(jù)，為當(dāng)前自動(dòng)駕駛數(shù)據(jù)在異常天氣、夜晚時(shí)段豐富性不足這一問題提供了新的解決思路。不過，并聯(lián)語義分割模塊僅起到了較小的積極作用，今后將繼續(xù)研究風(fēng)格遷移網(wǎng)絡(luò)和語義分割網(wǎng)絡(luò)的耦合方式，進(jìn)一步提高生成圖像的質(zhì)量。