基于Lmser-in-Lmser雙向網(wǎng)絡(luò)的人臉?biāo)孛鑸D像生成方法

盛慶杰 蘇銳丹 涂仕奎 徐 雷

人臉?biāo)孛鑸D像生成是指將給定的人臉照片生成相應(yīng)的素描圖像.對此類問題的研究可協(xié)助縮小犯罪嫌疑人的范圍，并且隨著科技的發(fā)展，該研究成果也出現(xiàn)在一些數(shù)字產(chǎn)品中，如特色人物肖像圖生成.迄今發(fā)展起來的方法可粗略分為兩類：數(shù)據(jù)驅(qū)動方法和模型驅(qū)動方法[1].數(shù)據(jù)驅(qū)動方法的核心在于人臉照片切片和素描圖像切片的相似度搜索，從訓(xùn)練集上的素描圖像切片集合中，選定與人臉照片相似的切片進(jìn)行線性組合，合成最終的素描圖像[2-3].模型驅(qū)動方法的核心在于學(xué)習(xí)一種從人臉照片映射到素描圖像的模型，直接獲得生成結(jié)果[4-7].

2.7 果實采收 根據(jù)市場要求及果實成熟度適時采收，為保證果實品質(zhì)可以適當(dāng)晚采。采收后嚴(yán)格分級，統(tǒng)一果個、顏色、果形，及時入庫貯藏。

Tang等[8]提出基于特征變換的數(shù)據(jù)驅(qū)動方法，通過主成分分析將測試照片映射到訓(xùn)練圖像集的特征空間中，再通過這個映射將訓(xùn)練素描集進(jìn)行加權(quán)線性組合，生成最后的素描圖像.Liu等[9]將整個人臉照片細(xì)分為方形切片，各切片與鄰近切片部分重疊，再通過近鄰相似度搜索，使用歐氏距離，在切片級別上計算加權(quán)線性組合，生成素描圖像.Wang等[1]采用馬爾可夫隨機(jī)場模型，并考慮近鄰一致性.

考慮到上述方法中相似度搜索的過程效率很低，Song等[2]提出SSD(Spatial Sketch Denoising)，將人臉?biāo)孛鑸D像生成問題視為一種素描空間降噪問題并進(jìn)行處理.Wang等[3]提出RSLCR(Random Sampling with Locality Constraint for Face Sketch Synthesis Me-thod)，采用隨機(jī)采樣策略搜索最近鄰切片.這兩種方法將生成一幅素描圖像的效率提升到可接受的層級，但相比那些沒有類似相似度搜索機(jī)制的模型驅(qū)動方法，仍存在很大差距.Zhu等[10]提出DPGM(Learning Deep Patch Representation for Probabilistic Graphical Model)，利用深度神經(jīng)網(wǎng)絡(luò)統(tǒng)一提取圖像切片的特征，采用離線的候選切片索引方法加速切片相似度的搜索過程.Zhu等[11]提出基于知識蒸餾的模型，從大規(guī)模數(shù)據(jù)集上學(xué)習(xí)人臉照片知識和素描圖像知識，傳遞給素描圖像生成模型，提高生成圖像質(zhì)量.

傳統(tǒng)的模型驅(qū)動方法基于CNN網(wǎng)絡(luò)學(xué)習(xí)一個由人臉照片直接到素描圖像的生成模型.Zhang等[4]提出FCN(Fully Convolutional Network)，采用7層的完全全連接網(wǎng)絡(luò)，結(jié)合最小平方誤差損失函數(shù)構(gòu)造生成模型.Zhang等[6]提出分支的完全全連接網(wǎng)絡(luò)模型，一分支生成臉部結(jié)構(gòu)，另一分支生成臉部紋理，再根據(jù)人臉解析的結(jié)果組合兩者.近期，學(xué)者們開始關(guān)注基于生成對抗網(wǎng)絡(luò)(Generative Adver-sarial Network， GAN)[12]的模型，以求生成更高質(zhì)量的人臉?biāo)孛鑸D像.相比數(shù)據(jù)驅(qū)動方法和傳統(tǒng)模型驅(qū)動方法，基于GAN的模型可擴(kuò)展網(wǎng)絡(luò)并結(jié)合其它機(jī)制[13-14]，提高生成素描圖像的質(zhì)量，減少污點和變形，視覺感受更自然.Isola等[15]提出pix2pix，能適應(yīng)多種有成對訓(xùn)練樣本的圖像到圖像轉(zhuǎn)換問題，如圖像風(fēng)格轉(zhuǎn)換[16]、標(biāo)簽到街道場景圖像、語義分割等.Zhu等[17]提出CycleGAN，是一種無監(jiān)督學(xué)習(xí)模型，由2個循環(huán)組成，分別是X→Y→X和Y→X→Y,目標(biāo)是讓2個循環(huán)的輸入和最終輸出保持一致.Wang等[5]提出BP-GAN，結(jié)合條件GAN與反向投影策略，進(jìn)一步提升生成素描圖像的質(zhì)量.Wan等[18]提出一種細(xì)節(jié)損失函數(shù)，加強(qiáng)素描圖像生成的細(xì)節(jié)表現(xiàn).Zhang等[19]提出由多重特征生成器與級聯(lián)低階表示以優(yōu)化不同光照條件下的人臉?biāo)孛鑸D像生成方法.Li 等[20]提出基于正則化的廣義學(xué)習(xí)系統(tǒng)，當(dāng)提取的特征映射節(jié)點不足時，無需重新訓(xùn)練便可重構(gòu)生成網(wǎng)絡(luò).Yu等[7]提出SCA-GANs(Stacked Composition-Aided GAN),擴(kuò)展pix2pix框架，以人臉圖像中組成部位的結(jié)構(gòu)信息指導(dǎo)素描圖像的生成，并采用結(jié)構(gòu)性損失[6,21]增強(qiáng)人臉各部位和結(jié)構(gòu)的信息，結(jié)合感知損失和網(wǎng)絡(luò)堆疊策略，表現(xiàn)較優(yōu).

針對以上情況，我們結(jié)合自身經(jīng)驗研制了一種新型的椎弓根螺釘定位導(dǎo)向置釘一體器，臨床使用療效確切，現(xiàn)匯報如下。

然而，上述數(shù)據(jù)驅(qū)動方法由于采用相似素描圖像切片線性組合的生成方式，導(dǎo)致最終合成的圖像過于平滑，與畫師繪制的人臉?biāo)孛鑸D像差異較大，而且在測試階段，相似度搜索的過程較耗時，不利于實際應(yīng)用.模型驅(qū)動方法在人臉?biāo)孛鑸D像生成領(lǐng)域的研究和應(yīng)用較突出，但較早的研究考慮到網(wǎng)絡(luò)的訓(xùn)練難度和效率，采用相對簡單的網(wǎng)絡(luò)模型，相比畫師繪制的人臉?biāo)孛瑁傻乃孛鑸D像質(zhì)量較差、污點較多，在細(xì)微的結(jié)構(gòu)和紋理上有所欠缺，存在扭曲變形的問題，仍有較大的改進(jìn)空間.Yu等[7]和Johson等[22]引入感知損失(Perceptual Loss)和人臉解析機(jī)制，提高網(wǎng)絡(luò)表現(xiàn)，但通常需要在大型數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，受限于本身的數(shù)據(jù)集與輔助數(shù)據(jù)集之間數(shù)據(jù)模式和分布的差異，應(yīng)用場景改變后可能不再對模型起正向作用，并且這些輔助的大型數(shù)據(jù)集收集成本較高，實際應(yīng)用門檻較高.

為了克服這些問題，使模型在不依賴輔助數(shù)據(jù)集的同時，依然具有良好表現(xiàn)，本文基于Lmser(Least Mean Square Error Reconstruction)[23],構(gòu)建內(nèi)外嵌套的深度雙向?qū)W習(xí)模型，即Lmser-in-Lmser雙向網(wǎng)絡(luò).進(jìn)而提出基于Lmser-in-Lmser雙向網(wǎng)絡(luò)的人臉?biāo)孛鑸D像生成方法.首先，Lmser-in-Lmser雙向網(wǎng)絡(luò)結(jié)合內(nèi)部神經(jīng)元對偶(Duality in Paired Neurons， DPN)前向傳遞和外部DPN反饋傳遞信息的特性，強(qiáng)化人臉照片到素描圖像的生成效果.引入并改進(jìn)感知損失機(jī)制，以素描圖像的特征一致性正則化約束素描圖像生成網(wǎng)絡(luò)，提高生成性能.直接采用模型本身的子網(wǎng)絡(luò)作為感知網(wǎng)絡(luò)以提取素描圖像的特征，使模型不再依賴額外數(shù)據(jù)集，可應(yīng)用性較強(qiáng).

1 預(yù)備知識

1.1 Lmser及其DPN特性

西南地區(qū)煤炭礦區(qū)規(guī)劃環(huán)境影響評價指標(biāo)體系在考慮自然環(huán)境、生態(tài)環(huán)境、資源利用和社會經(jīng)濟(jì)等基礎(chǔ)上，針對區(qū)域環(huán)境特點又增加了資源、環(huán)境承載力等指標(biāo)，同時基于國家對污染物排放總量控制的要求，增加了主要污染物排放總量控制指標(biāo)，使評價內(nèi)容更加全面完善，但在礦區(qū)開發(fā)的過程中是否滿足宏觀管理的需要，還有待在礦區(qū)開發(fā)過程中進(jìn)一步檢驗。

圖1 AE和Lmser結(jié)構(gòu)對比

Lmser是AE的進(jìn)一步發(fā)展，如圖1右圖所示，將AE沿著中間編碼層Y對折得到.對折使神經(jīng)元融合后同時承擔(dān)編碼和解碼兩個角色，因此具有多種對偶特性[25].例如，它的神經(jīng)元具有編碼和解碼的雙重特性，稱為DPN對偶性.早期的Lmser相關(guān)研究是在全連接網(wǎng)絡(luò)上展開的，然而受限于算力和數(shù)據(jù)，僅實現(xiàn)含一個隱層的Lmser網(wǎng)絡(luò).最近，學(xué)者們回顧和擴(kuò)展Lmser[25-26]，不僅實現(xiàn)為深度神經(jīng)網(wǎng)絡(luò)[26]，還拓展到卷積神經(jīng)網(wǎng)絡(luò)[27]中.Lmser能利用DPN在不同方向上、在一個或多個網(wǎng)絡(luò)層的連接上擴(kuò)展網(wǎng)絡(luò)功能，成功應(yīng)用到圖像修復(fù)[27]、圖像超分辨率[28]、圖像分割[29-30]等研究.這些研究結(jié)果驗證Lmser被提出時認(rèn)為具有的各種功能，包括圖像聯(lián)想、記憶等[23].

Lmser的DPN特性可視為編碼器和解碼器之間對應(yīng)神經(jīng)元的雙向短路連接.如圖2所示，圖中箭頭表示全連接神經(jīng)網(wǎng)絡(luò)的連接方向(修改自Xu[25]的圖1).DPN使對應(yīng)神經(jīng)元可相互融合信息，所在特征層可互相傳遞信息.研究結(jié)果表明，DPN特性是有效的信息交換、融合機(jī)制，可提升深度神經(jīng)網(wǎng)絡(luò)的表示學(xué)習(xí)能力.本文采用的Lmser就是基于卷積神經(jīng)網(wǎng)絡(luò)設(shè)計的，并通過內(nèi)外嵌套兩種層次的DPN特性以強(qiáng)化信息的融合、共享，達(dá)到提高模型魯棒性和表現(xiàn)的目的.

圖2 Lmser的DPN特性

1.2 條件生成對抗網(wǎng)絡(luò)

傳統(tǒng)的GAN由一個生成器G和一個判別器D組成，G和D均由神經(jīng)網(wǎng)絡(luò)實現(xiàn).GAN結(jié)構(gòu)如圖3所示.

圖3 生成對抗網(wǎng)絡(luò)結(jié)構(gòu)圖

Ex～pdata(x)[lnD(x)]+Ez～pz(z)[ln(1-D(G(z)))].

Ex,y[lnD(x,y)]+Ez,y[ln(1-D(G(z),y))].

Isola等[15]針對圖像轉(zhuǎn)換問題進(jìn)一步擴(kuò)展cGAN，生成器G的輸入不再是隨機(jī)噪音，而是特定的圖像數(shù)據(jù)，達(dá)到通過給定圖像生成期望圖像的目的.為了使生成的圖像具有多樣性，在生成器G的隱空間中也引入隨機(jī)噪音z.

圖4 條件生成對抗網(wǎng)絡(luò)結(jié)構(gòu)

2 基于Lmser-in-Lmser雙向網(wǎng)絡(luò)的人臉?biāo)孛鑸D像生成方法

2.1 Lmser-in-Lmser雙向網(wǎng)絡(luò)整體結(jié)構(gòu)

本文提出Lmser-in-Lmser雙向網(wǎng)絡(luò)，整體結(jié)構(gòu)如圖5所示.

圖5 Lmser-in-Lmser雙向網(wǎng)絡(luò)結(jié)構(gòu)圖

2.4 優(yōu)化算法步驟

內(nèi)部DPN位于內(nèi)部的2個Lmser網(wǎng)絡(luò)中，具體表現(xiàn)為從特征圖的收縮路徑到對應(yīng)的擴(kuò)展路徑上的跳躍連接，以往相關(guān)工作絕大部分采用拼接式的跳躍連接，而預(yù)實驗結(jié)果表明，加性和拼接式方式在圖像生成能力上幾乎相同.本文為了讓內(nèi)部DPN更好地適配外部DPN，在每個Lmser網(wǎng)絡(luò)中采用加性跳躍連接.

為滿足幼果快速膨大的營養(yǎng)需求，追施一定量大量、中微量元素肥料很有必要，以有效促進(jìn)棗果膨大，減少落果。根據(jù)大量田間栽培經(jīng)驗及科學(xué)研究顯示，幼果期（綠豆粒大?。┦怯坠虼笞贩实淖罴褧r期，追施含有一定量氮、磷及中微量元素的高鉀型肥料，能夠快速膨大棗果，有效減少落果，保證果型周正、亮麗。

外部DPN是指在G-Lmser和F-Lmser中，施加在兩者之間匹配的網(wǎng)絡(luò)塊上的一致性約束：

(2)加強(qiáng)部門設(shè)置，遵循專業(yè)表決。 地方國有平臺公司需要完善部門的設(shè)置，在明確各類業(yè)務(wù)事項分類、責(zé)任歸屬的基礎(chǔ)上，施行定崗定編機(jī)制，由各部門負(fù)責(zé)部門業(yè)務(wù)的決策表決，做到‘專業(yè)人表專業(yè)事’，同時公司要明確牽頭組織，在進(jìn)行重大決策期間，要以財務(wù)部門、法務(wù)部門和內(nèi)控部門的意見為主要參考意見。

其中，Ψi、Φi分別表示G-Lmser和F-Lmser中對應(yīng)的第i層特征圖(如圖5中淺綠色雙向箭頭所示)，|S|表示隱藏層S的集合大小，注意輸入層和輸出層不包含在S中.

2.2 F-Lmser和G-Lmser

本文將人臉照片數(shù)據(jù)表示在RGB色彩空間中，素描圖像數(shù)據(jù)表示在灰度色彩空間中.G-Lmser網(wǎng)絡(luò)結(jié)構(gòu)見圖5上面的子網(wǎng)絡(luò)，F(xiàn)-Lmser與G-Lmser具有相同的結(jié)構(gòu)但方向相反，見圖5下面的子網(wǎng)絡(luò).以G-Lmser為例，包括解碼器和編碼器兩個部分，圖5中G-Lmser左側(cè)黃色部為解碼器，包括5個殘差模塊(ResDown塊)，右側(cè)藍(lán)色部為解碼器，也包括5個殘差模塊(ResUp塊).ResDown塊和ResUp塊具體網(wǎng)絡(luò)結(jié)構(gòu)見圖5下方2個虛線框，分別用Di/j和Ui/j表示，在ResDown塊中使用斜率為0.2的ReLU激活函數(shù)，i為輸入通道數(shù)，j為輸出通道數(shù)，Lmser具體如下：

支氣管哮喘是由嗜酸粒細(xì)胞、T淋巴細(xì)胞、肥大細(xì)胞等多種炎癥細(xì)胞介入的氣道慢性炎癥,簡稱哮喘。患者的臨床表現(xiàn)包括胸悶、咳嗽、呼氣性呼吸困難、反復(fù)喘息等,多于清晨或夜間發(fā)作,經(jīng)治療后緩解[1]。本文選取我院2016年5月~2017年5月之間收治的20例支氣管哮喘患者,對其臨床治療觀察分析如下。

Din/128→D128/256→D256/512→D512/512→D512/1024→

U1024/512→U512/512→U512/256→U256/128→U128/out.

網(wǎng)絡(luò)使用2個對抗式判別器DY和DX.DY用于區(qū)分素描圖像是生成網(wǎng)絡(luò)生成的還是畫師所畫的真素描圖像，即區(qū)分{x,G(x)}與{x,y}，DX用于區(qū)分人臉照片是生成網(wǎng)絡(luò)生成的還是真正的照片,即區(qū)分{y,F(y)}與{y,x}.判別器DX和Dy均沿用Isola等[15]提出的70×70 patchGAN(Patch-Based GAN)結(jié)構(gòu).

2.3 損失函數(shù)

1)FID(Fréchet Inception Distance)[38].衡量真實圖像與生成圖像在特征上的推土機(jī)距離(Earth Mover′s Distance， EMD).越低的FID數(shù)值意味著真實圖像與生成圖像之間的分布和感知特征越接近.

其中Φ5表示網(wǎng)絡(luò)中間隱藏層提取的特征圖.

在兩個映射模型中，采用LSGAN(Least Squares GAN)[33].具體實現(xiàn)時，本文將LSGAN與條件GAN結(jié)合應(yīng)用，使網(wǎng)絡(luò)更容易收斂，表現(xiàn)也更優(yōu).由于本文目的在于生成確定的素描圖像，所以不再引入條件GAN中的隨機(jī)噪音.以G-LmserG∶X→Y和其對應(yīng)的判別器DY為例，損失函數(shù)可表示為

Ladv(G,DY,X,Y)=Ex，y[(1-D(x,y))2]+
Ex[(D(x,G(x)))2].

參考文獻(xiàn)[7]和文獻(xiàn)[15]，本文還采用L1損失激勵“假”輸出擬合“真”樣本的分布，即

3 關(guān)注產(chǎn)品重金屬含量2008年WHO（世界衛(wèi)生組織）要求所有的GMP廠家在其產(chǎn)品上標(biāo)注其重金屬含量。對中國家長來說，需要側(cè)重關(guān)注的是小寶寶服用的魚肝油。

完整的損失函數(shù)如下：

L(G,DY,X,Y)=Ladv(G,DY,X,Y)+λLL1(G,X,Y)+

簡而言之，教育是塑造美的藝術(shù)、思維和精神實踐。教育的根本目標(biāo)是培養(yǎng)人的審美能力，使受教育者能夠擁有一雙善于發(fā)現(xiàn)美的眼睛。高中語文教育的情感價值目標(biāo)包括學(xué)生的審美品位和能力。散文是一種具有強(qiáng)烈情感和藝術(shù)實力的文學(xué)體裁，對培養(yǎng)學(xué)生的審美素養(yǎng)和審美能力起著重要作用。

βLdpn(G,F,X,Y)+αLc(G,F,X,Y),

L(F,DX,Y,X)=Ladv(F,DX,Y,X)+λLL1(F,Y,X),

其中，λ、β、α表示權(quán)重因子，實驗設(shè)置λ=10，β=1，α=5.最終目的在于求解以下問題：

康熙十四年十月十三日，幸盤山諸寺，皆賜金。 智樸和尚呈《接駕詩二首》。康熙二十五年十二月一日，康熙再次幸臨盤山盤谷寺，賜詩，智樸作《丙寅季冬一日駕幸青溝應(yīng)制詩》如下：

pix2pix沒有這種平滑的問題，然而生成的結(jié)果污點很多.SCA-GANs是基于pix2pix框架，并結(jié)合人臉結(jié)構(gòu)解析和感知損失機(jī)制的方法，而人臉結(jié)構(gòu)解析和采用的感知損失方法均依賴不同的輔助大型數(shù)據(jù)集.SCA-GANs改進(jìn)效果較明顯，生成的素描圖像人臉細(xì)節(jié)較豐富、清晰，但在一些細(xì)微的結(jié)構(gòu)和紋理上仍存在不足，如眼鏡框部位和人臉腮部紋理.本文方法能生成視覺上更真實的人臉?biāo)孛鑸D像，特別是在人臉細(xì)微之處.以圖6結(jié)果來說，Lmser-in-Lmser雙向網(wǎng)絡(luò)能生成完整的眼鏡框(AR、XM2VTS數(shù)據(jù)集上的取樣)、臉部皺紋(AR數(shù)據(jù)集上的取樣)、細(xì)致豐富的臉部紋理(CUHK、XM2VTS數(shù)據(jù)集上的取樣)，并且扭曲和變形更少(CUFSF數(shù)據(jù)集上的取樣).這是由于本文網(wǎng)絡(luò)的結(jié)構(gòu)和機(jī)制更優(yōu)，外部DPN中的一致性約束增強(qiáng)模型的魯棒性，從而最終的表現(xiàn)更優(yōu).

本文采用雙對數(shù)模型來分析中國乳制品的需求價格彈性。雙對數(shù)模型的優(yōu)點是可以使數(shù)據(jù)更為平穩(wěn)且消除異方差。價格因素用中國乳制品的進(jìn)口價格來表示。將影響乳制品進(jìn)口的因素代入彈性公式中，為了簡單起見，我們可將Q=f(P)表達(dá)為對數(shù)形式:

算法Lmser-in-Lmser雙向網(wǎng)絡(luò)優(yōu)化算法

輸入訓(xùn)練照片和素描圖像的集合，

迭代步數(shù)t=0,最大迭代步數(shù)T

當(dāng)t

step 1 隨機(jī)挑選一組訓(xùn)練樣本.

step 2 估計生成素描圖像和生成人臉照片:

step 3 估計重建人臉照片：

step 4 更新DX,DY:

step 5 更新G,F:

結(jié)束循環(huán)

算法中訓(xùn)練照片和素描圖像的集合表示為二元素形式，如[1幅人臉照片x,1幅匹配的素描圖像y].

3 實驗及結(jié)果分析

3.1 實驗設(shè)置

實驗在使用單個顯卡(Nvidia Titan X型號)的服務(wù)器上進(jìn)行，運行環(huán)境為Anaconda,python 3.6,詳細(xì)代碼和數(shù)據(jù)公布在GitHub上.

例6：《國民經(jīng)濟(jì)與社會發(fā)展第十三個五年計劃綱要》是2016-2017年中國經(jīng)濟(jì)社會發(fā)展的宏偉藍(lán)圖，其制定過程如下：黨的十八屆五中全會審議通過制定“十三五規(guī)劃的建議”→國家發(fā)改委啟動“共繪新藍(lán)圖→我為規(guī)劃建言獻(xiàn)策”活動→政府依據(jù)《建議》和民意編制“十三五”規(guī)劃綱要→“十三五”規(guī)劃綱要提交全國人大、全國政協(xié)審議討論，最終由全國人大表決通過。

在CUFS[1]、CUFSF數(shù)據(jù)集[34]這2種廣泛應(yīng)用和開源的公共數(shù)據(jù)集上進(jìn)行實驗.CUFS數(shù)據(jù)集共包含606對人臉照片和素描圖像，由3個子數(shù)據(jù)集組成，分別是CUHK student數(shù)據(jù)集[35](188對)、AR人臉數(shù)據(jù)集[36](123對)和XM2VTS數(shù)據(jù)集[37](295對).CUFSF數(shù)據(jù)集共包含1 194對人臉照片和素描圖像.由于此數(shù)據(jù)集中的人臉照片是在多種光照條件下采集，并且素描圖像有較劇烈的變形和夸張元素，因此更具挑戰(zhàn)性.

為了與代表性方法進(jìn)行對比，本文遵循Wang等[3]的數(shù)據(jù)集劃分方式.將CUHK student數(shù)據(jù)集上的88對、AR人臉數(shù)據(jù)集上的80對和XM2VTS數(shù)據(jù)集上的100對人臉照片和素描圖像用于訓(xùn)練，其余用于測試.對于CUFSF數(shù)據(jù)集，250對人臉照片和素描圖像用于訓(xùn)練，其余用于測試.

所有患者都實施常規(guī)治療與護(hù)理,如控制患者血壓、血糖,抗感染治療,早期進(jìn)行康復(fù)訓(xùn)練,包括肢體擺放、體位變換、定時翻身、肢體被動運動。待患者基礎(chǔ)體征穩(wěn)定48h后行康復(fù)治療。運用Bobath技術(shù)及本體神經(jīng)肌肉促進(jìn)技術(shù),逐步進(jìn)行從體位轉(zhuǎn)移、平衡訓(xùn)練到步行訓(xùn)練、抗痙攣訓(xùn)練、脊柱功能訓(xùn)練、肢體主動訓(xùn)練、關(guān)節(jié)活動訓(xùn)練等ADL訓(xùn)練的治療。訓(xùn)練為1次/d,5次/周,每次30min,療程為3個月。訓(xùn)練時有專人負(fù)責(zé)。訓(xùn)練強(qiáng)度以第二日患者無疲勞、肢體酸痛等癥狀為宜。觀察組50例患者在上述治療同時進(jìn)行中醫(yī)治療。針對疾病不同階段及病癥,制定個體治療方案,實施康復(fù)訓(xùn)練聯(lián)合中醫(yī)辨證施治。

為了驗證本文方法的有效性，采用如下3種普遍使用的測試指標(biāo)進(jìn)行定量分析.

本文將F-Lmser用作感知網(wǎng)絡(luò)，從y和G(x)中提取高層特征.然后，采用一致性損失讓兩者對應(yīng)的特征相互趨近.此做法與文獻(xiàn)[7]和文獻(xiàn)[22]類似.不同的是，文獻(xiàn)[7]和文獻(xiàn)[22]是使用一個預(yù)訓(xùn)練好的網(wǎng)絡(luò)提取人為指定的多層特征圖，在訓(xùn)練過程中保持這部分網(wǎng)絡(luò)參數(shù)不變.這類方法采用的感知網(wǎng)絡(luò)都由其它大規(guī)模數(shù)據(jù)集預(yù)訓(xùn)練所得，通常在圖像數(shù)據(jù)的模式上與當(dāng)前訓(xùn)練集兼容性較差，并不能總提高模型的表現(xiàn).另外，本文還考慮感知網(wǎng)絡(luò)輸出層的一致性，將感知損失和輸出層的一致性損失融合為一個損失函數(shù)：

本文從兩個角度驗證Lmser-in-Lmser雙向網(wǎng)絡(luò)的魯棒性：1)測試不同尺寸大小照片的輸出結(jié)果；2)測試不同數(shù)據(jù)模式下的輸出結(jié)果.在CUFS數(shù)據(jù)集上訓(xùn)練本文方法，進(jìn)行如下實驗.

3)NLDA(Null-Space Linear Discriminant Analy-sis)[3].人臉識別是人臉?biāo)孛鑸D像生成問題的一個重要應(yīng)用.Wang等[3]使用NLDA進(jìn)行人臉識別實驗，本文同樣采用NLDA評估真實素描與生成素描的人臉識別準(zhǔn)確率.

3.2 消融實驗結(jié)果

針對Lmser-in-Lmser雙向網(wǎng)絡(luò)中的各種不同模塊進(jìn)行消融實驗，評估各模塊對網(wǎng)絡(luò)的影響.針對網(wǎng)絡(luò)中不同的組件及其組合，分別進(jìn)行6組實驗.在CUFSF數(shù)據(jù)集上的消融實驗結(jié)果如表1所示，Baseline表示以加性內(nèi)部DPN實現(xiàn)的生成器G結(jié)合pix2pix框架組成的基本模型，concat表示以拼接式跳躍連接方式實現(xiàn)的內(nèi)部DPN，global DPN表示引入外部DPN，Lvgg表示Yu等[7]采用的傳統(tǒng)感知損失，Lc為本文2.3節(jié)定義的損失.

表1 各模塊在CUFSF數(shù)據(jù)集上的消融實驗結(jié)果

由表1可見，只采用pix2pix框架時，Lmser-in-Lmser雙向網(wǎng)絡(luò)中的內(nèi)部DPN采用加性和傳統(tǒng)拼接式跳躍連接的表現(xiàn)幾乎相同.在引入外部DPN之后，性能獲得明顯提升，F(xiàn)ID值從15.2降至14.0.由此可驗證外部DPN確實會實現(xiàn)通過F-Lmser達(dá)到正則化約束G-Lmser的目的，強(qiáng)化2個Lmser生成器之間的信息流動，以間接方式實現(xiàn)信息共享，從而使G-Lmser從另一方得到支持和增強(qiáng).

相比Yu等[7]采用傳統(tǒng)的感知損失，Baseline+Lc將FID值從15.2降至14.3，但是Baseline+Lvgg將FID值從15.2增至17.7，這是因為Yu等[7]采用的感知網(wǎng)絡(luò)由VGGFace數(shù)據(jù)集預(yù)訓(xùn)練所得，此數(shù)據(jù)集上人臉照片的樣式與CUFSF數(shù)據(jù)集上的樣式存在較大差異，訓(xùn)練的感知網(wǎng)絡(luò)不能有效提取CUFSF數(shù)據(jù)集上的數(shù)據(jù)特征.

在2種DPN特性基礎(chǔ)上引入本文采用的感知損失之后，性能得到進(jìn)一步改進(jìn)，F(xiàn)ID值從14.0降至13.6.這意味著本文的感知損失有助于提升Lmser-in-Lmser雙向網(wǎng)絡(luò)的性能，并且由于直接在Lmser-in-Lmser雙向網(wǎng)絡(luò)上實現(xiàn)，未引入額外的感知網(wǎng)絡(luò)，整個網(wǎng)絡(luò)的參數(shù)量更少.

3.3 實驗結(jié)果對比

本文選擇如下方法進(jìn)行對比實驗.1)數(shù)據(jù)驅(qū)動方法：SSD[2]、RSLCR[3]、BP-GAN[5]、DGFL(Deep Graphical Feature Learning)[40].2)模型驅(qū)動方法：SCA-GANs[7]、DPGM[10]、pix2pix[15].

各方法在2個數(shù)據(jù)集上的指標(biāo)值對比如表2所示，表中黑體數(shù)字表示最優(yōu)值.由表可見，本文方法取得最小的FID值.另外，相比其它方法，本文方法在FSIM值和NLDA值上也具有競爭力.值得一提的是，在更具挑戰(zhàn)性的CUFSF數(shù)據(jù)集上，本文方法改進(jìn)更明顯，魯棒性更強(qiáng)，可應(yīng)對更復(fù)雜的情形.

表2 各方法在2個數(shù)據(jù)集上的指標(biāo)值對比

各方法在CUFS、CUFSF數(shù)據(jù)集上一些圖像樣本生成的素描圖像如圖6所示.由圖可看出，數(shù)據(jù)驅(qū)動方法，如SSD、RSLCR，和一些結(jié)合神經(jīng)網(wǎng)絡(luò)模塊的數(shù)據(jù)驅(qū)動方法，如DGFL、BP-GAN、DPGM，生成的人臉?biāo)孛栎^平滑.BP-GAN、DPGM生成的素描圖像有較清楚的輪廓和結(jié)構(gòu)，但FID值相對較高，F(xiàn)SIM值也相對較低，可見素描圖像的平滑程度是與圖像的感知相似度密切相關(guān)的.

(a)真實照片

(b)真實素描圖像

(c)SSD

(d)RSLCR

(e)DGFL

(f)BP-GAN

(g)pix2pix

(h)DPGM

(i)SCA-GANs

(j)Lmser-in-Lmser雙向網(wǎng)絡(luò)

為了優(yōu)化方法，本文先交替使用梯度下降法訓(xùn)練DX和DY，再訓(xùn)練G和F.使用Adam(Adaptive Moment Estimation)優(yōu)化器，批大小為1，生成器的學(xué)習(xí)率為0.000 1，判別器的學(xué)習(xí)率為0.000 2.優(yōu)化算法步驟如下所示.

3.4 魯棒性測試

2)FSIM(Feature Similarity)[39].以圖像相位一致性和梯度幅值衡量真實圖像與生成圖像一致性的指標(biāo).

為了驗證Lmser-in-Lmser雙向網(wǎng)絡(luò)在不同分辨率圖像上的魯棒性，對CUFS數(shù)據(jù)集上的測試數(shù)據(jù)進(jìn)行下采樣和上采樣處理后再作為輸入，模擬不同分辨率的情況，結(jié)果如圖7所示.由圖可知，相比正常尺寸，分辨率為125×100的輸出結(jié)果較模糊，損失較多的細(xì)節(jié)信息，生成效果不夠理想.分辨率為500×400的輸出結(jié)果在視覺上清晰度較高，仍保持輪廓和紋理信息，但一些區(qū)域引入污點，生成效果也低于分辨率為250×200的結(jié)果.

(a)照片 (b)標(biāo)簽

(c)125×100 (d)250×200

(e)500×400

以在光照、姿態(tài)、場景等數(shù)據(jù)模式上與訓(xùn)練集差異較大的圖像作為輸入，驗證本文方法的魯棒性.本文采集一些符合要求的圖像數(shù)據(jù)，并簡單裁剪處理成方法需要的250×200的尺寸，不做幾何校正.圖像及其測試結(jié)果如圖8所示.

在對原始數(shù)據(jù)的處理上，本文采用Yu等[7]的設(shè)置，對原始數(shù)據(jù)集上未對齊的數(shù)據(jù)，根據(jù)雙眼和嘴唇中間三點進(jìn)行幾何校正，然后將所有圖像裁剪至250×200尺寸.由上述方式得到的圖像無法直接輸入方法中，需要進(jìn)一步調(diào)整.在pix2pix[15]中，直接將圖像數(shù)據(jù)調(diào)整到256×256尺寸，但會從一定程度上破壞原圖像中人臉的結(jié)構(gòu)，對實驗結(jié)果有一定干擾.本文采用先填充再裁剪的數(shù)據(jù)預(yù)處理方式，即先將圖像環(huán)繞填充到286×286尺寸，并且在訓(xùn)練中為了增強(qiáng)數(shù)據(jù)，以隨機(jī)方式裁剪到256×256尺寸，而在測試時裁剪中央尺寸為256×256的部分.Yu等[7]使用0值(即黑色)填充，在本文實驗中發(fā)現(xiàn)，相比采用255值(即白色)填充，這樣設(shè)置會使生成的圖像產(chǎn)生更多的污點，所以本文采用255值環(huán)繞填充.

由圖8可知，圖像a、b是在極端光照條件下的照片.圖像c～e是在網(wǎng)絡(luò)上采集的3張人物照片，這3張人臉照片未經(jīng)過三點幾何校正，姿態(tài)也有所差異.圖像f、g為2種不同寵物犬的照片，圖像h、i為2個不同場景的建筑照片.這些照片與訓(xùn)練集上的數(shù)據(jù)模式差別都較大，雖然不是人類的照片，但本文方法仍能有效工作.

(a)照片

(b)素描圖像

3.5 在圖像轉(zhuǎn)換問題上的應(yīng)用

pix2pix是應(yīng)用在圖像轉(zhuǎn)換問題上的.為了驗證Lmser-in-Lmser雙向網(wǎng)絡(luò)在圖像轉(zhuǎn)換問題上的表現(xiàn)也較優(yōu)，同時也為了觀察Lmser-in-Lmser雙向網(wǎng)絡(luò)在較大規(guī)模數(shù)據(jù)集上的表現(xiàn)，開展pix2pix中與本課題相似的鞋類照片→邊緣圖的圖像轉(zhuǎn)換實驗.實驗在Edges2shoes數(shù)據(jù)集上進(jìn)行.該數(shù)據(jù)集上，訓(xùn)練集共49 825對樣本，測試集共200對樣本.訓(xùn)練時的圖像尺寸均為256×256，鞋類照片表示在RGB色彩空間中，鞋類邊緣圖表示在灰度空間中.

本文方法和pix2pix在Edges2shoes數(shù)據(jù)集上的轉(zhuǎn)換結(jié)果如圖9所示.由圖可見，相比目標(biāo)邊緣圖，pix2pix生成的邊緣圖只有輪廓部分較完整，缺少內(nèi)部的細(xì)節(jié)線條.而本文方法生成的結(jié)果包含更細(xì)致準(zhǔn)確的特征，內(nèi)部線條更豐富.由此可見，G-Lmser經(jīng)過F-Lmser的激勵之后，生成能力更出色，這表明Lmser-in-Lmser雙向網(wǎng)絡(luò)能有效工作在具有不同規(guī)模數(shù)據(jù)集的任務(wù)上.

同時，以本文方法在CUFS數(shù)據(jù)集上訓(xùn)練的模型進(jìn)行魯棒性測試，結(jié)果見圖9(e)，由于訓(xùn)練集數(shù)據(jù)的模式差異，生成的結(jié)果素描色彩較濃重.

應(yīng)該說，中國神話的大趨勢是走向歷史化，原始的生態(tài)神向子生態(tài)神進(jìn)化。在討論中國古代神話演變的基本趨勢時，李炳海先生總結(jié)了三個方面：世俗化的趨勢、夫妻的傾向和衰老的趨勢?？偨Y(jié)的十分精辟。然而，與同期的北方神話和后來的神話相比，楚神話的非歷史傾向是顯而易見的。我們在歷史和神話中通過對羿的不同形象來說明這個問題。羿是中國神話中最有爭議的形象，往往置于善惡的兩端。

鞋類照片→邊緣圖轉(zhuǎn)換實驗的FID值如下：pix2pix為72.7，本文方法為66.4，魯棒性測試結(jié)果為336.5.這也從客觀上說明本文方法更優(yōu).

(a)輸入圖像

(b)標(biāo)簽

(c)pix2pix

(d)Lmser-in-Lmser雙向網(wǎng)絡(luò)

(e)魯棒性測試

4 結(jié) 束 語

本文針對人臉?biāo)孛鑸D像生成問題，提出Lmser-in-Lmser雙向網(wǎng)絡(luò),用于人臉?biāo)孛鑸D像的生成.融合內(nèi)部DPN和外部DPN這兩種Lmser中對偶特性的變種，實現(xiàn)信息的前向傳遞和反饋傳遞.內(nèi)部DPN采用加性跳躍連接，將編碼器提取的特征前向傳遞到解碼器，促進(jìn)內(nèi)部Lmser子網(wǎng)絡(luò)的學(xué)習(xí)，同時外部DPN又激勵G-Lmser與F-Lmser中的網(wǎng)絡(luò)塊保持一致性傾向，將F-Lmser的高層語義特征和底層細(xì)節(jié)信息間接反饋給G-Lmser.這不僅加強(qiáng)局部和全局方式的信息流，而且讓模型直接實現(xiàn)一種新形式的感知損失機(jī)制，進(jìn)一步提高模型的表現(xiàn).在CUFS、CUFSF數(shù)據(jù)集上的實驗說明，Lmser-in-Lmser雙向網(wǎng)絡(luò)可合成高質(zhì)量的人臉?biāo)孛鑸D像，改進(jìn)效果較明顯.此外，Lmser-in-Lmser雙向網(wǎng)絡(luò)不依賴其它大型數(shù)據(jù)集補(bǔ)充信息，雙向網(wǎng)絡(luò)可在缺乏大型數(shù)據(jù)集輔助或大型數(shù)據(jù)集收集成本難以承受的情況下較好的工作.今后考慮嘗試引入Lmser網(wǎng)絡(luò)的其它對偶特性，如網(wǎng)絡(luò)權(quán)重對偶特性，提高模型性能.