基于遷移學(xué)習(xí)的超表面設(shè)計(jì)

駱文浩，王宜穎，莫錦軍

（桂林電子科技大學(xué)信息與通信學(xué)院，桂林 541004）

0 引言

超表面由周期性的亞波長(zhǎng)結(jié)構(gòu)陣列組成，可以靈活地調(diào)控電磁波［1］。超表面對(duì)電磁波的調(diào)制不依賴(lài)于空間累積，而依賴(lài)于強(qiáng)共振或空間取向引起的突然相變。因此，超表面可用于控制反射或透射波的相位、振幅和偏振［2-4］。近年來(lái)，許多具有獨(dú)特功能的超表面被用于控制電磁波。由于超表面在操縱電磁波方面具有很大的自由度，因此在工程中具有很大的應(yīng)用價(jià)值，并因此引起了極大關(guān)注。文獻(xiàn)［5］提出了“數(shù)字超材料”的概念，其單元圖案被離散化并編碼。文獻(xiàn)［6］提出了不同的超表面單元編碼序列，以實(shí)現(xiàn)不同的電磁響應(yīng)。具有不同相位響應(yīng)的元原子在設(shè)計(jì)具有聚焦、偏振轉(zhuǎn)換等功能的超表面方面具有很大的應(yīng)用價(jià)值［7］。希望能夠快速預(yù)測(cè)不同編碼序列的電磁特性，以便于快速設(shè)計(jì)超表面。然而，傳統(tǒng)的超表面設(shè)計(jì)通常需要專(zhuān)業(yè)人員參與，并且非常耗時(shí)。需要確定基本結(jié)構(gòu)、模擬掃描參數(shù)、尋找最優(yōu)結(jié)構(gòu)等步驟。這些步驟都非常復(fù)雜且耗時(shí)，設(shè)計(jì)周期也很長(zhǎng)。對(duì)此，一種更有效且易于使用的設(shè)計(jì)方法是使用人工神經(jīng)網(wǎng)絡(luò)作為逆設(shè)計(jì)方法［8-9］。但是深度學(xué)習(xí)對(duì)數(shù)據(jù)和計(jì)算能力有很大要求，并且訓(xùn)練和部署模型也需要大量時(shí)間。

為了解決上述問(wèn)題，本文使用ResNet34 作為預(yù)訓(xùn)練模型的遷移學(xué)習(xí)網(wǎng)絡(luò)，快速完成超表面設(shè)計(jì)，并建立起超表面結(jié)構(gòu)和相位之間關(guān)系。遷移學(xué)習(xí)是一種利用在其他任務(wù)上訓(xùn)練得到知識(shí)，在新任務(wù)上更快地收斂，并減少訓(xùn)練所需數(shù)據(jù)和計(jì)算能力的機(jī)器學(xué)習(xí)方法［10-13］。本文將該方法應(yīng)用于最典型功能超表面——相位梯度超表面實(shí)現(xiàn)波束偏轉(zhuǎn)能力，驗(yàn)證其可靠性，并展示該方法將其他領(lǐng)域知識(shí)轉(zhuǎn)移到超表面設(shè)計(jì)中可能對(duì)學(xué)術(shù)研究人員具有啟發(fā)意義。

1 超表面單元設(shè)計(jì)與收集處理

1.1 超表面單元設(shè)計(jì)

考慮到設(shè)計(jì)圖案能更好地被計(jì)算機(jī)所理解，我們選擇了數(shù)字超表面的編碼模式，圖案由10×10 正方型的離散格子組成，圖1 表示了所設(shè)計(jì)的超表面的離散化編碼。超表面的表面金屬用編碼序列所表示，其中“1”表示金屬，“0”表示沒(méi)有金屬。中間層為間距介電層，底層為金屬底板。金屬的厚度為0.015 mm。頂層金屬圖案打印在商用介電襯底FR-4上，厚度h=1.0 mm，介電常數(shù)εr=4.4，損耗tanδ=0.025。

圖1 超表面單元結(jié)構(gòu)及圖案編碼

頂層的圖案有不同的編碼序列，采用均勻分布離散隨機(jī)格作為編碼序列。二維平面上的超表面單元尺寸均為L(zhǎng)1 = 6.0 mm。為了減小相鄰超表面單元之間的相互耦合，將超表面單元上的圖案外尺寸設(shè)為L(zhǎng)2= 5.0 mm。我們將內(nèi)平面均勻劃分為10×10 的格，每個(gè)格為邊長(zhǎng)u=0.5 mm 的正方形。為了設(shè)計(jì)超表面的多樣性，采用10×10編碼序列作為矩陣。

超表面單元的圖案編碼序列等于一個(gè)矩陣，我們可以計(jì)算出這個(gè)矩陣對(duì)應(yīng)的相位，如圖1所示。將矩陣和相對(duì)應(yīng)的相位加入到訓(xùn)練數(shù)據(jù)集中。10×10 矩陣有210×10種可能的模式，約1.26 × 1030，在實(shí)踐中相當(dāng)巨大。

我們使用MatlabCST 聯(lián)合仿真來(lái)準(zhǔn)備20000個(gè)訓(xùn)練數(shù)據(jù)集。首先，利用Matlab 生成均勻分布離散隨機(jī)格作為編碼序列矩陣。其次，利用CST Microwave Studio 計(jì)算該編碼序列的反射相位。然后，存儲(chǔ)編碼序列矩陣和相應(yīng)相位，并加入到訓(xùn)練數(shù)據(jù)集中。反射相位可以在［1°,360°］范圍內(nèi)歸一化。因此，這個(gè)問(wèn)題可以簡(jiǎn)化為一個(gè)分類(lèi)問(wèn)題，數(shù)字超表面上的拓?fù)浣Y(jié)構(gòu)可以看作一個(gè)圖像，超表面的相位預(yù)測(cè)也可以看作是一個(gè)360 類(lèi)的分類(lèi)問(wèn)題。在這樣的考慮下，我們將圖像分類(lèi)轉(zhuǎn)化為相位預(yù)測(cè)。基于此，我們對(duì)ResNet 進(jìn)行預(yù)訓(xùn)練，并使用更少的數(shù)據(jù)傳輸模型。超表面的特征提取可以類(lèi)似于圖像的特征提取。將不同類(lèi)別的圖像識(shí)別轉(zhuǎn)化為［1°,360°］相位預(yù)測(cè)。這樣，可以把圖像分類(lèi)的經(jīng)驗(yàn)轉(zhuǎn)化為相位預(yù)測(cè)。

1.2 雙線(xiàn)性插值

雙線(xiàn)性插值是圖像預(yù)處理方法之一，常常應(yīng)用于圖像增強(qiáng)以提高深度學(xué)習(xí)算法的特征學(xué)習(xí)能力［14］。雙線(xiàn)性插值法也稱(chēng)二次線(xiàn)性插值法，實(shí)質(zhì)是在圖像的相鄰兩個(gè)像素點(diǎn)行列方向各進(jìn)行一次線(xiàn)性插值，通過(guò)利用已知像素產(chǎn)生未知像素的方法來(lái)引入不同的圖像邊緣效果，提高圖像分辨率。

設(shè)圖片像素位置在Q11=（x1,y1）、Q12=（x1,y2）、Q21=（x2,y1）以及Q22=（x2,y2）上，若想得到插值后的P=(x,y)上的位置。首先，在x軸方向上進(jìn)行兩次線(xiàn)性插值；然后，以R1和R2為已知數(shù)據(jù)，在y軸上進(jìn)行一次線(xiàn)性插值，如圖2所示。

圖2 雙線(xiàn)性插值過(guò)程

超表面單元的圖案分辨率為10×10，對(duì)于預(yù)訓(xùn)練模型可能無(wú)法從中學(xué)習(xí)到足夠多的有用信息，所以使用雙線(xiàn)性插值進(jìn)行數(shù)據(jù)增強(qiáng)。

2 模型介紹

ResNet 是一種深度神經(jīng)網(wǎng)絡(luò)架構(gòu)，主要用于圖像分類(lèi)。它由He 等［15］于2015 年提出，主要用于解決深度神經(jīng)網(wǎng)絡(luò)中的梯度消失問(wèn)題。ResNet 通過(guò)使用殘差連接（residual connections）來(lái)解決這個(gè)問(wèn)題，這使得較深層的訓(xùn)練變得容易。在ResNet 中，殘差連接直接將較淺層的輸出與較深層的輸入相加，從而使得較深層的訓(xùn)練變得容易。

殘差網(wǎng)絡(luò)的核心思想是使用殘差連接（residual connection）來(lái)解決深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)的梯度消失問(wèn)題。如圖3 所示，在殘差網(wǎng)絡(luò)中，每一層都是一個(gè)殘差模塊，它包含一些卷積層和激活函數(shù)層。殘差模塊的輸入是上一層的輸出，輸出是殘差模塊中的輸出加上上一層的輸出。這樣，如果殘差模塊中的輸出是上一層輸出的線(xiàn)性變換，那么殘差模塊的輸出就是上一層的輸出。這意味著，即使在多層深度網(wǎng)絡(luò)中，梯度仍然能夠流動(dòng)，從而解決了梯度消失問(wèn)題。

圖3 殘差塊結(jié)構(gòu)

ResNet34 架構(gòu)由34 個(gè)卷積層組成，如圖4所示，并在大型圖像分類(lèi)基準(zhǔn)ImageNet 數(shù)據(jù)集上進(jìn)行訓(xùn)練。ResNet34 被廣泛應(yīng)用于圖像分類(lèi)、目標(biāo)檢測(cè)和語(yǔ)義分割等計(jì)算機(jī)視覺(jué)任務(wù)。它能夠有效地解決梯度消失問(wèn)題和在圖像識(shí)別任務(wù)中實(shí)現(xiàn)高準(zhǔn)確率。

圖4 ResNet34的整體架構(gòu)

ResNet34 的表征能力和學(xué)習(xí)能力較高目模型參數(shù)較少，是圖像分類(lèi)領(lǐng)域研究的熱點(diǎn)方同，所以我們采用ResNet34 作為遷移學(xué)習(xí)的預(yù)訓(xùn)練模型。在進(jìn)行遷移學(xué)習(xí)時(shí)，通常會(huì)使用一個(gè)預(yù)訓(xùn)練的ResNet34模型作為初始化。這個(gè)模型可以在大型數(shù)據(jù)集（ImageNet）上訓(xùn)練好，然后解凍一部分參數(shù)，重新訓(xùn)練用于新的問(wèn)題。ImageNet數(shù)據(jù)集包含1000 類(lèi)約120 萬(wàn)張圖片，使用在如此大的數(shù)據(jù)集上預(yù)訓(xùn)練好的網(wǎng)絡(luò)模型，可以有效遷移到各種不同的圖像分類(lèi)任務(wù)中，如圖5 所示。使用這種方法，可以大大減少訓(xùn)練新模型所需的時(shí)間和計(jì)算資源。此外，使用預(yù)訓(xùn)練的模型可以獲得更好的性能，因?yàn)檫@個(gè)模型已經(jīng)在大型數(shù)據(jù)集上進(jìn)行了訓(xùn)練，從先前任務(wù)中學(xué)到了知識(shí)，并且可以為新的問(wèn)題提供有用的特征，僅需要進(jìn)行微小的改動(dòng)即可應(yīng)用到相關(guān)的任務(wù)中，對(duì)于一些基本的規(guī)則，模型無(wú)需重新學(xué)習(xí)，大大降低了時(shí)間成本。本研究使用在ImageNet數(shù)據(jù)集上訓(xùn)練好的ResNet34 殘差網(wǎng)絡(luò)進(jìn)行超表面圖像的特征提取。

圖5 遷移學(xué)習(xí)與深度學(xué)習(xí)識(shí)別準(zhǔn)確率

首先使用預(yù)訓(xùn)練模型作為特征提取器，凍結(jié)所有層并且更改最后一層，只訓(xùn)練最后一層，然后使用這些特征來(lái)訓(xùn)練一個(gè)新的分類(lèi)器。因?yàn)檫@是一個(gè)分類(lèi)問(wèn)題，我們使用softmax 函數(shù)作為激活函數(shù)。然后計(jì)算輸入數(shù)據(jù)的損失，并對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整。softmax 函數(shù)也是將每個(gè)類(lèi)別的網(wǎng)絡(luò)輸出轉(zhuǎn)換為概率值的分類(lèi)器。而引入指數(shù)函數(shù)使得分類(lèi)的概率更大，從而使得損失函數(shù)對(duì)網(wǎng)絡(luò)輸出更敏感，更有利于分類(lèi)。

3 結(jié)果分析與實(shí)際設(shè)計(jì)

3.1 實(shí)驗(yàn)結(jié)果分析

我們將遷移學(xué)習(xí)網(wǎng)絡(luò)與傳統(tǒng)深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行比較，深度學(xué)習(xí)網(wǎng)絡(luò)模型也是ResNet34，經(jīng)過(guò)200 個(gè)Epoch 訓(xùn)練后，比較結(jié)果如圖5 所示。與傳統(tǒng)深度學(xué)習(xí)相比，遷移學(xué)習(xí)有效地減少了訓(xùn)練數(shù)據(jù)，使得在樣本較少的情況下表現(xiàn)更好。

為了探究深度學(xué)習(xí)在測(cè)試數(shù)據(jù)集上表現(xiàn)不佳的原因，圖6 給出了深度學(xué)習(xí)模型訓(xùn)練過(guò)程中的損失曲線(xiàn)和準(zhǔn)確率曲線(xiàn)。如圖6（b）所示，因?yàn)樯疃葘W(xué)習(xí)模型對(duì)訓(xùn)練數(shù)據(jù)存在過(guò)擬合問(wèn)題，在驗(yàn)證集上的損失上升，因此深度學(xué)習(xí)的性能較差。傳統(tǒng)的深度學(xué)習(xí)模型由于樣本數(shù)量太少，需要調(diào)整的參數(shù)較多，收斂速度較慢。因?yàn)樵贗mageNet 中有超過(guò)1400 萬(wàn)的樣本，所以深度學(xué)習(xí)模型在ImageNet 數(shù)據(jù)集上具有很好的性能。因此，如果我們想要得到更好的結(jié)果，需要更大的數(shù)據(jù)量。

圖6 深度學(xué)習(xí)訓(xùn)練準(zhǔn)確率和損失值

在相同的條件下，遷移學(xué)習(xí)模型的性能遠(yuǎn)優(yōu)于傳統(tǒng)的深度學(xué)習(xí)模型。相比之下，遷移學(xué)習(xí)需要的數(shù)據(jù)更少，性能更好，因?yàn)檫w移學(xué)習(xí)是基于大數(shù)據(jù)的ImageNet 訓(xùn)練的。遷移學(xué)習(xí)方法是一種實(shí)現(xiàn)超表面單元相位預(yù)測(cè)有效的方法，可以有效減少訓(xùn)練數(shù)據(jù)量。

如圖7 所示，訓(xùn)練集的準(zhǔn)確率達(dá)到99%左右。驗(yàn)證集的最高準(zhǔn)確度達(dá)到90%左右。交叉熵計(jì)算的損失值收斂到0.03，相比于傳統(tǒng)深度學(xué)習(xí)準(zhǔn)確率提升了一倍，同時(shí)降低了對(duì)樣本數(shù)量的依賴(lài)。

圖7 遷移學(xué)習(xí)訓(xùn)練準(zhǔn)確率和損失值

我們只使用了2 萬(wàn)個(gè)樣本進(jìn)行訓(xùn)練，但訓(xùn)練結(jié)果反映了該模型具有很高的預(yù)測(cè)精度和泛化能力。我們?cè)跍y(cè)試集中隨機(jī)選擇100 個(gè)樣本來(lái)驗(yàn)證模型的準(zhǔn)確率，結(jié)果如圖8 所示，模型有著較好的準(zhǔn)確性。三角形表示預(yù)測(cè)超表面單元的相位，圓圈表示全波電磁計(jì)算得到超表面單元的相位。

圖8 隨機(jī)100個(gè)樣本的預(yù)測(cè)和實(shí)際結(jié)果

此外，為了進(jìn)一步證明遷移學(xué)習(xí)模型在訓(xùn)練超表面單元樣本方面的有效性，我們額外測(cè)試了一些有代表性的網(wǎng)絡(luò)，包括AlexNet 網(wǎng)絡(luò)、VGG網(wǎng)絡(luò)和MobileNet網(wǎng)絡(luò)。

從表1 可以看出，由于提取的特征不匹配導(dǎo)致欠擬合的情況，AlexNet網(wǎng)絡(luò)和VGG 網(wǎng)絡(luò)在測(cè)試精度上遠(yuǎn)不及遷移學(xué)習(xí)模型。通過(guò)對(duì)比這兩個(gè)簡(jiǎn)單模型，我們發(fā)現(xiàn)ImageNet 預(yù)訓(xùn)練模型的特征提取層能夠有效地提取超表面單元圖案的特征，并能更好地?cái)M合數(shù)據(jù)集。我們也使用了一個(gè)輕量級(jí)網(wǎng)絡(luò)MobileNet 模型作為訓(xùn)練的對(duì)比。在ImageNet 的源數(shù)據(jù)集上，MobileNet 的性能稍低于ResNet。因此，在超表面單元分類(lèi)方面MobileNet 也略遜于ResNet。對(duì)比表明遷移學(xué)習(xí)框架可以有效地處理超表面單元分類(lèi)問(wèn)題。

表1 不同神經(jīng)網(wǎng)絡(luò)的性能

3.2 實(shí)際設(shè)計(jì)

為了進(jìn)一步驗(yàn)證訓(xùn)練好的遷移學(xué)習(xí)模型，在針對(duì)復(fù)雜引用設(shè)計(jì)時(shí)，我們運(yùn)用模型輔助設(shè)計(jì)了一個(gè)相位梯度超表面。利用CST Microwave Studio對(duì)超表面進(jìn)行了全波電磁模擬和驗(yàn)證。

相位梯度超表面是一種非均勻周期結(jié)構(gòu)。如圖9 所示，當(dāng)一束電磁波入射到一個(gè)不同介質(zhì)的分界面（上方是空氣，下方是介質(zhì)）上時(shí)，波矢量為ki的電磁波以θi入射便會(huì)有一束反射角為θr的反射波（波矢量為kr）。當(dāng)在分界面上放置相位梯度超表面時(shí)，相位梯度超表面的不同位置處的反射相位皆不相同，從而引入一個(gè)相位梯度ζ，假設(shè)該相位梯度超表面只在x方向上存在較大的相位梯度。相位梯度會(huì)產(chǎn)生一個(gè)附加波矢，使得入射波的波矢與反射波的波矢不再相同，從而改變反射波的反射方向，如圖9所示，入射角為θi的入射波會(huì)產(chǎn)生一個(gè)反射角為θar的異常反射波，異常反射波的波矢為kar，且karx=karsinθar由廣義Snell 定律:

圖9 相位梯度超表面異常反射示意圖

其中：Δφ為相位梯度超表面相鄰單元之間的相位差，L為相鄰單元的間距，在空氣中電磁波的波矢，都為已知。

設(shè)計(jì)一個(gè)異常反射角為45°的相位梯度超表面，如圖10所示。

圖10 超表面設(shè)計(jì)目標(biāo)

根據(jù)廣義Snell 定律公式（1），電磁波垂直入射超表面θi= 0°，超表面的單元長(zhǎng)度為L(zhǎng)=6 mm，反射電磁波角度為θr= 45°，計(jì)算得Δφ=76°。所以超表面單元目標(biāo)相位為0°，76°，152°，228°，304°，20°，96°，172°。隨機(jī)生成一組數(shù)字超表面單元，利用訓(xùn)練好的分類(lèi)網(wǎng)絡(luò)尋找所需目標(biāo)相位對(duì)應(yīng)數(shù)字超表面單元結(jié)構(gòu)，結(jié)果如圖11所示。

圖11 相位梯度超表面結(jié)構(gòu)

在設(shè)計(jì)頻率12 GHz 處，根據(jù)圖12所示。

圖12 相位梯度超表面方向圖

所設(shè)計(jì)的超表面通過(guò)表面反射系數(shù)相位補(bǔ)償對(duì)反射波前的調(diào)整，可在預(yù)定設(shè)計(jì)的45°觀察角度上產(chǎn)生一個(gè)明顯的散射波瓣。結(jié)果如圖12所示，仿真在45°有明顯的散射波瓣。因此，借助ResNet34 網(wǎng)絡(luò)模型和超表面設(shè)計(jì)中反射系數(shù)相位梯度的調(diào)節(jié)靈活性，對(duì)于其他的入射與反射情形，輕易地實(shí)現(xiàn)所需的反射系數(shù)相位梯度，進(jìn)而將主散射波瓣重定向于預(yù)定的觀察角度上，由此達(dá)到雷達(dá)散射截面增強(qiáng)的設(shè)計(jì)目標(biāo)。

4 結(jié)語(yǔ)

綜上，本文提出了一種基于ResNet34 網(wǎng)絡(luò)模型遷移學(xué)習(xí)的超表面逆設(shè)計(jì)方法。我們將ResNet34 模型應(yīng)用于超表面設(shè)計(jì)，并成功地將圖像識(shí)別的模型應(yīng)用轉(zhuǎn)移到相位預(yù)測(cè)，準(zhǔn)確率約為90%，相比于傳統(tǒng)深度學(xué)習(xí)模型準(zhǔn)確率提升，同時(shí)降低了對(duì)樣本數(shù)量的依賴(lài)。為了驗(yàn)證遷移學(xué)習(xí)模型，我們利用訓(xùn)練模型設(shè)計(jì)了梯度超表面，并通過(guò)全波仿真驗(yàn)證了該設(shè)計(jì)。在設(shè)計(jì)超表面方面提供了一種新的方法學(xué)習(xí)。