基于卷積神經(jīng)網(wǎng)絡(luò)的風(fēng)格遷移泳裝圖案設(shè)計(jì)

程鵬飛 王偉珍 房媛

摘要： 將深度學(xué)習(xí)中的風(fēng)格遷移技術(shù)運(yùn)用到服裝圖案設(shè)計(jì)領(lǐng)域正逐漸成為熱門(mén)話題，但傳統(tǒng)風(fēng)格遷移圖案設(shè)計(jì)的方法存在風(fēng)格單一、紋理簡(jiǎn)單的缺點(diǎn)。本文提出一種輔助泳裝設(shè)計(jì)師進(jìn)行圖案設(shè)計(jì)的方法，通過(guò)優(yōu)化風(fēng)格遷移中格拉姆矩陣結(jié)構(gòu)，分別學(xué)習(xí)提取多張繪畫(huà)作品和照片作為風(fēng)格圖生成創(chuàng)新的泳裝圖案設(shè)計(jì)圖，同時(shí)運(yùn)用Canny邊緣檢測(cè)算法和OpenCV圖像處理庫(kù)將作品從復(fù)雜背景中識(shí)別并分割出來(lái)，最終實(shí)現(xiàn)多風(fēng)格圖像輸入的風(fēng)格遷移輔助泳裝圖案設(shè)計(jì)方法。經(jīng)過(guò)對(duì)比實(shí)驗(yàn)證明，本文生成的圖案比其他風(fēng)格遷移方法在風(fēng)格滿意度等方面獲得更高評(píng)價(jià)。

關(guān)鍵詞： 卷積神經(jīng)網(wǎng)絡(luò);風(fēng)格遷移;泳裝;圖案設(shè)計(jì);Canny邊緣檢測(cè);泳裝圖像分割

中圖分類號(hào)： TS941.734

文獻(xiàn)標(biāo)志碼： A

文章編號(hào)： 1001-7003（2023）03-0097-08

引用頁(yè)碼：

031201

DOI： 10.3969/j.issn.1001-7003.2023.03.013（篇序）

隨著人工智能技術(shù)向各領(lǐng)域的滲透，將人工智能同藝術(shù)設(shè)計(jì)相結(jié)合，為服裝的智能設(shè)計(jì)提供了更廣闊的前景。風(fēng)格遷移作為人工智能深度學(xué)習(xí)的一個(gè)活躍課題，已開(kāi)始被用于服裝圖案設(shè)計(jì)、藝術(shù)繪畫(huà)等領(lǐng)域。其原理是通過(guò)一個(gè)深度學(xué)習(xí)模型提取輸入圖像的紋理、色彩等藝術(shù)風(fēng)格，遷移到另一張圖片上，使得新生成的圖像兼具所輸入圖像的風(fēng)格和紋理特征。

在服裝圖案及色彩設(shè)計(jì)過(guò)程中，多風(fēng)格融合的個(gè)性化設(shè)計(jì)一直是難點(diǎn)。因?yàn)橛狙b對(duì)于圖案的依賴性明顯超出大多品類服裝，且泳裝因其款式相對(duì)簡(jiǎn)潔的特點(diǎn)，適合作為當(dāng)前階段人工智能技術(shù)的產(chǎn)業(yè)應(yīng)用場(chǎng)景切入點(diǎn)，因此本研究以泳裝作為實(shí)驗(yàn)載體。泳裝圖案印染主要分為兩類：一類是獨(dú)立印染圖案，該圖案輪廓就是泳裝裁剪樣板的規(guī)定尺寸;另一類是與普通成衣服裝面料圖案一樣非獨(dú)立圖案的整片坯布連續(xù)圖案。由于泳裝獨(dú)立圖案的設(shè)計(jì)難度更大、市場(chǎng)需求更多，因此，本研究將針對(duì)第一類圖案需求，探究基于神經(jīng)網(wǎng)絡(luò)方法進(jìn)行泳裝特定區(qū)域圖案風(fēng)格遷移設(shè)計(jì)的可行性，尋求一種運(yùn)用融合格拉姆矩陣和Canny邊緣檢測(cè)解決風(fēng)格遷移中多風(fēng)格融合與背景分割的問(wèn)題。

在神經(jīng)網(wǎng)絡(luò)技術(shù)出現(xiàn)之前，傳統(tǒng)非參數(shù)的圖像風(fēng)格遷移工作主要是基于繪制物理模型及合成紋理。在深度學(xué)習(xí)［1］興起之后，Gatys等［2］在2015年開(kāi)創(chuàng)性地提出了基于卷積神經(jīng)網(wǎng)絡(luò)的圖像風(fēng)格遷移模型，極大提升了圖像風(fēng)格遷移方法的效果和可用性;在定義圖像的風(fēng)格和紋理方面，Erfos等［3］提出了一種對(duì)樣本紋理進(jìn)行重組拼接以合成新紋理的算法;Hertzmann等［4］提出一種通過(guò)推導(dǎo)圖像特征映射之間的關(guān)系，并將其定義為風(fēng)格的紋理特征。

傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)風(fēng)格遷移方法，大多選擇VGG（Visual Geometry Group Network）模型作為特征提取器，運(yùn)用VGG模型中某層提取出的結(jié)果構(gòu)建格拉姆矩陣（Gram Matrix，GM）來(lái)量化圖像的風(fēng)格。但是該方法導(dǎo)致在風(fēng)格遷移中輸入的風(fēng)格圖像只能有一張，且將風(fēng)格遷移技術(shù)運(yùn)用到服裝圖案設(shè)計(jì)領(lǐng)域時(shí)，無(wú)法消除遷移過(guò)程中產(chǎn)生的冗余背景。本研究提出一種新的適用于輔助設(shè)計(jì)師進(jìn)行泳裝圖案設(shè)計(jì)的風(fēng)格遷移方法，通過(guò)改變格拉姆矩陣來(lái)實(shí)現(xiàn)多輸入的風(fēng)格遷移，并使用Canny邊緣檢測(cè)技術(shù)對(duì)生成圖像進(jìn)行處理。最終生成的泳裝圖像相較于傳統(tǒng)風(fēng)格遷移色彩更豐富，解決了傳統(tǒng)風(fēng)格遷移服裝圖案設(shè)計(jì)風(fēng)格單調(diào)、紋理簡(jiǎn)單的缺點(diǎn)。

1 技術(shù)背景

1.1 卷積神經(jīng)網(wǎng)絡(luò)

本研究使用卷積神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)泳裝風(fēng)格遷移圖案設(shè)計(jì)。卷積神經(jīng)網(wǎng)絡(luò)是一類包含卷積計(jì)算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)，是深度學(xué)習(xí)的代表算法之一［5］。卷積神經(jīng)網(wǎng)絡(luò)核心操作是卷積，即自定義一個(gè)卷積核，將卷積核在原圖上覆蓋并逐像素滑動(dòng)，將覆蓋到的值和卷積核上的權(quán)重對(duì)應(yīng)位置相乘求和并填在一張F(tuán)eature map上。其作用是把卷積核定義的特征從原圖中提取出來(lái)反映在Feature map上，每一個(gè)卷積核提取一種特征對(duì)應(yīng)一張F(tuán)eature map。

目前基于深度學(xué)習(xí)的圖像風(fēng)格遷移所使用的神經(jīng)網(wǎng)絡(luò)，主要是卷積神經(jīng)網(wǎng)絡(luò)和生成對(duì)抗網(wǎng)絡(luò)［6］。本研究選擇VGG-19卷積神經(jīng)網(wǎng)絡(luò)模型作為特征提取器，該模型由牛津大學(xué)的Oxford Visual Geometry Group在2014年提出［7］，其結(jié)構(gòu)如圖1所示。相比于傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)，VGG-19模型的準(zhǔn)確率大幅提高，并減少了網(wǎng)絡(luò)的訓(xùn)練參數(shù)，更加適合用來(lái)進(jìn)行風(fēng)格遷移的相關(guān)研究。

1.2 風(fēng)格遷移

風(fēng)格遷移是近年來(lái)深度學(xué)習(xí)領(lǐng)域的熱點(diǎn)問(wèn)題，它是指運(yùn)用某種算法使一張圖片兼具另一張圖片的風(fēng)格。風(fēng)格遷移的輸入圖像分為兩種：內(nèi)容圖和風(fēng)格圖。最終生成的圖片會(huì)在內(nèi)容圖中渲染上風(fēng)格圖的特征，其效果如圖2所示。在遷移時(shí)需要定義兩個(gè)損失函數(shù)：內(nèi)容損失函數(shù)Jcontent（C，G）用來(lái)衡量?jī)?nèi)容圖與生成圖之間的內(nèi)容差異，風(fēng)格損失函數(shù)Jstyle（S，G）用來(lái)衡量風(fēng)格圖與生成圖的風(fēng)格差異。最終模型的損失函數(shù)公式如下所示：

Jloss（G）=α×Jcontent（C，G）+β×Jstyle（S，G）（1）

式中：α和β為超參數(shù)，用于調(diào)整Jcontent（C，G）和Jstyle（S，G）的相對(duì)比重。

整個(gè)風(fēng)格遷移流程如圖3所示，首先需要初始化一個(gè)白噪聲圖像并計(jì)算像素?cái)?shù)（長(zhǎng)×寬×顏色通道），然后將白噪聲圖像輸入卷積神經(jīng)網(wǎng)絡(luò)模型中，并利用各卷積層特征來(lái)計(jì)算內(nèi)容損失函數(shù)和風(fēng)格損失函數(shù)并得到總的損失函數(shù)Jloss（G），再計(jì)算損失函數(shù)相對(duì)于每一個(gè)像素的梯度，來(lái)求得每個(gè)像素的變化對(duì)損失函數(shù)的影響，通過(guò)不斷修正像素值來(lái)優(yōu)化損失函數(shù)［8］。

內(nèi)容損失函數(shù)來(lái)比較內(nèi)容圖與生成圖之間內(nèi)容差異，其原理為比較兩張圖片在VGG模型中生成的Feature map的差異。內(nèi)容損失函數(shù)的公式如下所示［9］：

Jcontent（C，G）=12∑i，j（a|l|（C）ij-a|l|（G）ij）2（2）

式中：a|l|ij表示第l層第i個(gè)Feature map的第j個(gè)輸出值，（C）表示內(nèi)容圖，（G）表示生成圖。

風(fēng)格損失函數(shù)來(lái)比較風(fēng)格圖與生成圖片之間風(fēng)格差異，由圖1可知，VGG-19中每層的輸出結(jié)果為三維的Feature map（N×H×C），即使用了C個(gè)卷積核，共有C個(gè)通道，每個(gè)通道都反映了卷積核從圖像中提取出來(lái)的一種特征，形式表現(xiàn)為N×H的矩陣，如圖4所示［10］。

將N×H排列成一個(gè)一維列向量就可以得到一個(gè)矩陣，再將矩陣與自身轉(zhuǎn)置作向量?jī)?nèi)積就可以得到輸入圖像的格拉姆矩陣。格拉姆矩陣中的每一個(gè)元素都反映了原先特征兩兩之間的共現(xiàn)相關(guān)性。格拉姆矩陣一般用來(lái)量化一個(gè)圖像的風(fēng)格，其公式如下所示［11］：

Glij=∑kFlikFljk（3）

式中：i和j表示通道的序號(hào)，l表示層數(shù)，k表示特征圖寬和高構(gòu)成的空間中的位置索引。

風(fēng)格損失函數(shù)公式如下所示：

Lstyle（S，G）=14N2lM2l∑i，j（Gl（S）ij-Gl（G）ij）2（4）

式中：（S）表示風(fēng)格圖片，（G）表示生成圖片，N表示卷積核的個(gè)數(shù)，M表示卷積核的大小。

2 基于卷積神經(jīng)網(wǎng)絡(luò)的風(fēng)格遷移泳裝圖案設(shè)計(jì)方法

在將傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)風(fēng)格遷移運(yùn)用到泳裝圖案設(shè)計(jì)中

時(shí)，由于只能輸入一張風(fēng)格圖片，用于定義風(fēng)格損失的格拉姆矩陣形式表現(xiàn)為單一元素的矩陣，故生成的泳裝圖案風(fēng)格單一、紋理簡(jiǎn)單，且無(wú)法消除遷移過(guò)程中產(chǎn)生的冗余背景。本研究提出一種新的適用于泳裝圖案設(shè)計(jì)的風(fēng)格遷移方法，通過(guò)改變格拉姆矩陣和損失函數(shù)優(yōu)化方法來(lái)實(shí)現(xiàn)多輸入的風(fēng)格遷移，并使用Canny邊緣檢測(cè)技術(shù)對(duì)生成圖像進(jìn)行處理，流程如圖5所示。

首先根據(jù)內(nèi)容圖隨機(jī)初始化一張高斯白噪聲圖像輸入模型中，同時(shí)使VGG-19提取輸入的內(nèi)容圖與多張風(fēng)格圖的特征。利用內(nèi)容圖在conv5_2層得到的特征圖與白噪聲圖像在conv5_2層得到的特征圖求出內(nèi)容損失函數(shù);利用風(fēng)格圖在conv1_1層、conv2_1層、conv3_1層、conv4_1層、conv1_2層、conv2_2層、conv3_2層、conv3_3層、conv3_4層、conv4_2層、conv4_3層、conv4_4層輸出計(jì)算出的新格拉姆矩陣Gnew與白噪聲圖像在風(fēng)格層的格拉姆矩陣求出風(fēng)格損失函數(shù);并使用設(shè)置好的超參數(shù)α和β求出總損失函數(shù)和損失函數(shù)相對(duì)于原始圖像每個(gè)像素的梯度，將結(jié)果輸入優(yōu)化器中，使用L-BFGS算法來(lái)優(yōu)化損失函數(shù)，不斷迭代此過(guò)程生成泳裝風(fēng)格遷移圖像。將生成圖像輸入邊緣檢測(cè)模型中，畫(huà)出所有輪廓并將所有輪廓閉合，通過(guò)計(jì)算閉合后的輪廓周長(zhǎng)和面積篩選出泳裝輪廓來(lái)分割出最終的泳裝圖案設(shè)計(jì)圖。

2.1 格拉姆矩陣優(yōu)化

本研究為實(shí)現(xiàn)多風(fēng)格遷移將n張風(fēng)格圖像輸入VGG-19模型中，使指定為風(fēng)格輸出的層分別提取各張風(fēng)格圖像的特征并輸出，分別計(jì)算每一張圖像的格拉姆矩陣如式（5）所示，矩陣中X1-2表示通道1與通道2之間的共現(xiàn)相關(guān)性。通過(guò)特征值之間的共現(xiàn)相關(guān)性來(lái)表示一個(gè)圖像的風(fēng)格，再將所有格拉姆矩陣加權(quán)形成新的矩陣Gnew，權(quán)重參數(shù)的個(gè)數(shù)需要與風(fēng)格圖像張數(shù)相同，如式（6）所示，并將該矩陣作為本層的結(jié)果代入風(fēng)格損失函數(shù)進(jìn)行計(jì)算。

G=X1-1X1-2…X1-CX2-1X2-2…X2-CXC-1XC-2…XC-C（5）

Gnew=aG1+bG2+cG3+…+nGn（6）

式中：G1、G2、G3、Gn為各張輸入風(fēng)格圖像的格拉姆矩陣，a、b、c、n為各個(gè)格拉姆矩陣權(quán)重，可自行設(shè)定，此時(shí)矩陣Gnew擁有本層提取出的所有輸入風(fēng)格圖像的特征。

2.2 損失函數(shù)優(yōu)化

在卷積神經(jīng)網(wǎng)絡(luò)中，越深的層就越能提取圖片中抽象、全局的特征，能夠更好地衡量?jī)?nèi)容圖與生成圖之間的差異，所以一般選擇高層的輸出定義內(nèi)容，本研究選擇conv5_2層的輸出來(lái)計(jì)算內(nèi)容損失。為了同時(shí)提取風(fēng)格圖底層特征與高層特征，增強(qiáng)生成泳裝圖案的風(fēng)格，本研究增加了風(fēng)格損失函數(shù)計(jì)算的層數(shù)，選擇使用由conv1_1層、conv2_1層、conv3_1層、conv4_1層、conv1_2層、conv2_2層、conv3_2層、conv3_3層、conv3_4層、conv4_2層、conv4_3層、conv4_4層輸出計(jì)算出的格拉姆矩陣代入風(fēng)格損失函數(shù)。此時(shí)風(fēng)格損失函數(shù)如下所示：

Lstyle（S，G）=∑lw|l|·L|l|style（S，G）（7）

式中：w|l|為參與計(jì)算的各層的權(quán)重系數(shù)。

在迭代過(guò)程中，由于需要不斷修正像素值來(lái)優(yōu)化損失函數(shù)，為了使最終的生成圖像更加平滑，具有空間連續(xù)性，本研究將相鄰像素值差的平方作為正則化項(xiàng)加入最終的總損失函數(shù)中［12］，公式如下所示：

Lt=wt×∑CC=1∑H-1i=1∑Wj=1（xi+1，j，c-xi，j，c）2+∑CC=1∑Hi=1∑W-1j=1（xi，j+1，c-xi，j，c）2（8）

式中：wt為權(quán)重;C、N、H分別表示通道數(shù)、寬和高，與圖4中定義相同;xijc表示表示第C層第i行第j列的像素值。

一般卷積神經(jīng)網(wǎng)絡(luò)風(fēng)格遷移使用隨機(jī)梯度下降法來(lái)優(yōu)化損失函數(shù)［13］，但隨機(jī)梯度下降法存在精準(zhǔn)度較低、收斂速度較慢等缺陷，對(duì)多輸入風(fēng)格遷移的效果較差。本研究選擇具有更快收斂速度的L-BFGS算法來(lái)優(yōu)化損失函數(shù)。在深度學(xué)習(xí)中函數(shù)最優(yōu)化問(wèn)題的本質(zhì)是尋找其導(dǎo)函數(shù)為零的點(diǎn)或近似點(diǎn)來(lái)作為算法表現(xiàn)最好的點(diǎn)，Hessin矩陣是牛頓法求駐點(diǎn)在深度學(xué)習(xí)領(lǐng)域的延伸，BFGS算法是通過(guò)迭代不斷逼近Hessin矩陣的近似正定矩陣的算法，其公式如下所示［14］：

Hk+1=Hk+ykyTkyTksk-Hksk（Hksk）TsTkHksk（9）

式中：yk為梯度更新量，sk為速度模型更新量。

BFGS算法在運(yùn)算時(shí)需要儲(chǔ)存和計(jì)算的量很大，而L-BFGS算法直接利用保存在存儲(chǔ)器中的數(shù)據(jù)，節(jié)省了大量?jī)?chǔ)存空間和計(jì)算量，因此常用于深度學(xué)習(xí)中的損失優(yōu)化。本研究同時(shí)計(jì)算損失函數(shù)和損失函數(shù)相對(duì)于每個(gè)像素的梯度，將結(jié)果輸入優(yōu)化器，通過(guò)不斷迭代來(lái)降低損失［15］。

2.3 Canny邊緣檢測(cè)

上述步驟生成的圖像除了泳裝之外，還有大量冗雜的背景，本研究使用Canny邊緣檢測(cè)算法來(lái)處理風(fēng)格遷移生成的圖像，提取出泳裝款式圖。其主要處理過(guò)程分為5步［16］：

1） 使用高斯濾波器，以平滑圖像，消除噪聲。

2） 增強(qiáng)圖像。在風(fēng)格遷移生成圖中泳裝邊界像素點(diǎn)與背景像素點(diǎn)之間具有較大差值，計(jì)算圖像中每個(gè)像素點(diǎn)的梯度強(qiáng)度與方向。本研究選擇Sobel算子來(lái)計(jì)算梯度，將被卷積核掃描的3×3的像素點(diǎn)值xij設(shè)為矩陣A［17］：

A=x11x12x13x21x22x23x31x32x33（10）

設(shè)橫向梯度為Gx，縱向梯度為Gy，利用Sobel算子x與y方向矩陣Sobel-X和Sobel-Y與矩陣A做卷積則可得Gx和Gy，分別為［18］：

Gx=Sobel-X×A=-1-2-1000121×A（11）

Gy=Sobel-Y×A=-101-202-101×A（12）

梯度方向Angle（θ）為：

Angle（θ）=tan-1GyGx（13）

梯度大小G為：

G=G2x+G2y（14）

3） 應(yīng)用非極大值抑制，以消除檢測(cè)泳裝邊緣時(shí)帶來(lái)的雜散效應(yīng)［19］。

4） 應(yīng)用雙閾值檢測(cè)來(lái)確定邊緣。

5） 通過(guò)抑制弱邊緣來(lái)完成最終邊緣檢測(cè)。

3 實(shí) 驗(yàn)

3.1 搭建環(huán)境

本研究的軟件環(huán)境為PyCharm，以TensorFlow 2.6.0作為風(fēng)格遷移的深度學(xué)習(xí)框架。硬件環(huán)境使用了配備N(xiāo)VIDIA Quadro RTX 5000顯卡的高性能計(jì)算機(jī)，內(nèi)存64 G，處理器為Intel（R） Xeon（R） Silver 4215R CPU@3.20GHz。

3.2 設(shè) 定

3.2.1 實(shí)驗(yàn)風(fēng)格圖選取

遴選繪畫(huà)藝術(shù)流派作為實(shí)驗(yàn)對(duì)象，共選取畢加索、葛飾北齋、蒙德里安、安德烈·德朗等畫(huà)家的作品和中國(guó)傳統(tǒng)文化代表之一的青花瓷，作為風(fēng)格圖片輸入模型進(jìn)行訓(xùn)練內(nèi)容圖選擇了基礎(chǔ)款泳裝圖片。

3.2.2 超參數(shù)設(shè)置

超參數(shù)是內(nèi)容損失函數(shù)權(quán)重，超參數(shù)β是風(fēng)格損失函數(shù)權(quán)重。α越大最終遷移圖會(huì)越接近內(nèi)容圖的內(nèi)容，β越大最終遷移圖會(huì)越接近風(fēng)格圖的風(fēng)格。本研究從遷移效果與邊緣分割精確度的角度考慮，經(jīng)過(guò)多次實(shí)驗(yàn)，最終設(shè)置α=0.01，β=1。

3.2.3 迭代次數(shù)設(shè)置

在實(shí)驗(yàn)中當(dāng)?shù)螖?shù)不斷增加，遷移圖像的風(fēng)格化程度也不斷加深，當(dāng)?shù)螖?shù)大于50次時(shí)，泳裝邊緣輪廓會(huì)逐漸失真，且泳裝部分區(qū)域會(huì)出現(xiàn)色塊;當(dāng)?shù)螖?shù)在20～40次時(shí)，視覺(jué)效果與評(píng)價(jià)指標(biāo)差異并不大。從節(jié)約計(jì)算資源與時(shí)間角度考慮，本實(shí)驗(yàn)最終選擇20次迭代，生成的泳裝圖像大小為400×400像素。

4 結(jié)果分析

4.1 風(fēng)格遷移結(jié)果

本研究將《女子》《拿書(shū)的女人》《哭泣的女人》《星月夜》《查林十字橋》《紅、藍(lán)、黃的構(gòu)成》《百老匯爵士樂(lè)》不同流派風(fēng)格的7幅畫(huà)和青花瓷圖片，采用隨機(jī)配對(duì)形式每三幅為一組輸入模型，最終生成結(jié)果，如圖6所示。

4.2 生成圖像處理

4.2.1 正面圖像處理

在風(fēng)格遷移生成圖像中，除了有實(shí)驗(yàn)所需要的設(shè)計(jì)成品之外，還有實(shí)驗(yàn)不需要的與泳裝紋理相似的背景，故本研究選擇使用Canny邊緣檢測(cè)對(duì)圖像進(jìn)行處理，識(shí)別并分割出需要的服裝圖案設(shè)計(jì)圖。本研究通過(guò)如下3個(gè)步驟來(lái)實(shí)現(xiàn)圖像分割：

1） 將風(fēng)格遷移生成圖像轉(zhuǎn)化為灰度圖并將圖像局部二值化。

2） 在消除噪聲后運(yùn)用Canny邊緣檢測(cè)算法識(shí)別并畫(huà)出圖像中所有輪廓，再將輪廓線閉合后通過(guò)計(jì)算所有輪廓的周長(zhǎng)和面積來(lái)腐蝕不需要的背景。

3） 制作掩膜并填充便可以得到分割后的泳裝圖像，圖7展示了圖像處理過(guò)程中的（a）原圖、（b）邊緣檢測(cè)圖、（c）掩膜圖和（d）輪廓圖。

在對(duì)泳裝正面的圖案設(shè)計(jì)中，由于透視與泳裝款式設(shè)計(jì)的緣故，泳裝的胯部與肩帶處的灰色區(qū)域?qū)儆谟狙b內(nèi)側(cè)，不需要渲染圖案，本研究通過(guò)使用OpenCV圖像處理庫(kù)對(duì)該區(qū)域進(jìn)行處理。在泳裝正面的原圖中，渲染區(qū)域與非渲染區(qū)域存在明顯的色差與面積差異，使用Canny邊緣檢測(cè)將原圖中所有閉合區(qū)域畫(huà)出，并按照面積從大到小排序，再將原圖轉(zhuǎn)換為HSV圖，求出所有閉合區(qū)域內(nèi)各個(gè)像素的HSV數(shù)值。由于色差明顯，非渲染區(qū)域的HSV區(qū)間和渲染區(qū)域的HSV區(qū)間存在明顯差異，可以提取出非渲染區(qū)域，如圖8所示。經(jīng)過(guò)實(shí)驗(yàn)，本研究的非渲染區(qū)域HSV區(qū)間設(shè)定為H：0～195，S：0～43，V：46～220。將圖8非渲染區(qū)域圖與圖7（d）輪廓圖修改為同樣大小，疊加后便可得到最終的泳裝正面生成圖，如圖9所示。

4.2.2 側(cè)面圖像處理

泳裝的側(cè)面圖除胯部與肩帶處的泳裝內(nèi)側(cè)不需要遷移之外，肩帶之間和腿部的空隙也無(wú)需遷移。針對(duì)泳裝款式這一特點(diǎn)，本研究的邊緣處理模型方法步驟為：首先對(duì)泳裝側(cè)面原圖進(jìn)行處理，利用灰度差異和色差提取出側(cè)面非渲染區(qū)域圖和遮罩圖，再將側(cè)面圖風(fēng)格遷移后使用Canny邊緣檢測(cè)分割出泳裝側(cè)面輪廓圖，然后將遮罩圖及非渲染區(qū)域圖與泳裝側(cè)面輪廓圖疊加后進(jìn)行裁剪便可得到最終的泳裝側(cè)面生成圖，流程如圖10所示。

4.3 與其他方法比較

為了驗(yàn)證本研究在服裝圖案設(shè)計(jì)領(lǐng)域的有效性，將本研究生成的效果圖與其他卷積神經(jīng)網(wǎng)絡(luò)風(fēng)格遷移方法的效果圖進(jìn)行對(duì)比，如圖11所示，所選風(fēng)格圖分別為《運(yùn)輸船遇難》《雨中女郎》《吶喊》《繆斯女神》《皮卡比亞》和青花瓷盤(pán)。由于對(duì)風(fēng)格遷移泳裝圖案設(shè)計(jì)的效果很難單獨(dú)使用客觀指標(biāo)進(jìn)行評(píng)價(jià)，本研究采用主客觀結(jié)合的形式，使用問(wèn)卷調(diào)查評(píng)分、PSNR、SSIM這3種指標(biāo)進(jìn)行比較。

4.3.1 主觀評(píng)價(jià)

調(diào)查問(wèn)卷從設(shè)計(jì)的風(fēng)格滿意度、色彩滿意度、紋理滿意度三個(gè)方面進(jìn)行調(diào)查，選項(xiàng)為評(píng)分制，共設(shè)1～5分共5個(gè)選項(xiàng)，三項(xiàng)總分視為實(shí)驗(yàn)對(duì)象對(duì)該組結(jié)果的最終評(píng)價(jià)。

本研究問(wèn)卷調(diào)查共選取實(shí)驗(yàn)對(duì)象135人，其中男性44人，女性91人;擁有服裝相關(guān)專業(yè)背景55人，無(wú)服裝相關(guān)背景80人;年齡分布29歲及以下110人，29歲以上25人。將實(shí)驗(yàn)對(duì)象對(duì)三組泳裝圖案設(shè)計(jì)結(jié)果評(píng)價(jià)的最高分視為對(duì)該組的偏好，問(wèn)卷調(diào)查結(jié)果如圖12所示。

4.3.2 客觀評(píng)價(jià)

本研究選擇峰值信噪比PSNR（Peak Signal-to-Noise Ratio）和結(jié)構(gòu)相似性SSIM（Structural Similarity）作為評(píng)價(jià)遷移效果的客觀指標(biāo)。

峰值信噪比PSNR是一個(gè)表示信號(hào)最大可能功率和影響表示精度的破壞性噪聲功率的比值的工程術(shù)語(yǔ)，常被用來(lái)衡量圖像的質(zhì)量，PSNR越大，代表生成圖像的質(zhì)量越好。結(jié)構(gòu)相似性SSIM是衡量?jī)蓮垐D片相似度的指標(biāo)，本研究將生成的泳裝圖像和原圖像進(jìn)行對(duì)比，可以用來(lái)判斷風(fēng)格遷移過(guò)程中對(duì)泳裝輪廓造成的影響;SSIM取值范圍為［0，1］，SSIM越大，代表生成圖像的質(zhì)量越好。

將100幅不同的風(fēng)格圖像輸入四種方法并測(cè)量生成圖像的PSNR和SSIM大小取均值進(jìn)行對(duì)比，結(jié)果如圖13和圖14所示。

由圖12的問(wèn)卷調(diào)查結(jié)果可知，在生成效果方面，本研究方法在不同年齡、性別、專業(yè)背景的被調(diào)查人均給出比更高的評(píng)價(jià)。由圖13和圖14可知，本研究方法與其他三種方法相比，生成圖像質(zhì)量更高，結(jié)構(gòu)上也與原圖更接近。

5 結(jié) 論

本文采用卷積神經(jīng)網(wǎng)絡(luò)VGG-19模型作為風(fēng)格遷移的特征提取器，提出了一種運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)風(fēng)格遷移輔助設(shè)計(jì)師進(jìn)行泳裝圖案設(shè)計(jì)的方法。通過(guò)改變格拉姆矩陣并結(jié)合Canny邊緣檢測(cè)技術(shù)，可以提取多張繪畫(huà)作品的藝術(shù)風(fēng)格來(lái)與泳裝圖案設(shè)計(jì)結(jié)合，且具有自動(dòng)識(shí)別分割功能，能精準(zhǔn)地將設(shè)計(jì)成果從復(fù)雜的背景中提取出來(lái)。本研究將繪畫(huà)藝術(shù)風(fēng)格與泳裝的圖案設(shè)計(jì)結(jié)合，能夠以極低的成本設(shè)計(jì)出大量富有多風(fēng)格融合特征的泳衣圖案，具有巨大的應(yīng)用前景。后續(xù)將針對(duì)邊緣檢測(cè)與圖像分割的精度和其他風(fēng)格遷移算法進(jìn)行深入研究。

參考文獻(xiàn)：

［1］LECUN Y， BENGIO Y， HINTON G. Deep learning［J］. Nature， 2015， 521（7553）： 436-445.

［2］GATYS L A， ECKER A S， BETHGE M. A neural algorithm of artistic style［J］. Journal of Vision， 2015， 22（11）： 54-65.

［3］EFROS A A， FREEMAN W T. Image quilting for texture synthesis and transfer［C］//Proceedings of the 28th Annual Conference on Computer Graphics and Interactive Techniques. New York： ACM Press， 2001： 341-346.

［4］HERTZMANN A， JACOBS C E， OLIVER N. Image analogies［C］//Proceedings of the 28th Annual Conference on Computer Graphics and Interactive Techniques. New York： ACM Press， 2001： 327-340.

［5］林碧珺， 耿增民， 洪穎， 等. 卷積神經(jīng)網(wǎng)絡(luò)在紡織及服裝圖像領(lǐng)域的應(yīng)用［J］. 北京服裝學(xué)院學(xué)報(bào)（自然科學(xué)版）， 2021， 41（1）： 92-99.

LIN Bijun， GENG Zengming， HONG Ying， et al. Application of convolutional neural network in textile and clothing image field［J］. Journal of Beijing Institute of Fashion Technology （Natural Science Edition）， 2021， 41（1）： 92-99.

［6］KIM M S， CHOI H C. Uncorrelated feature encoding for faster image style transfer［J］. Neural Networks， 2021， 140： 148-157.

［7］XIANG S C， FU Y Z， LIU T. Progressive learning with style transfer for distant domain adaptation［J］. IET Image Processing， 2020， 14（14）： 3527-3535.

［8］WANG C X， LU Y T， CHEN Z J， et al. An efficient method for training deep learning networks distributed： Special section on parallel， distributed， and reconfigurable computing， and networking

［J］. IEICE Transactions on Information and Systems， 2020（12）： 2444-2456.

［9］CHONG Y W， PENG C W， ZHANG J J， et al. Style transfer for unsupervised domain adaptive person re-identification［J］. Neurocomputing， 2020， 422： 314-321.

［10］LI J Y， WANG Q， CHEN H et al. A review on neural style transfer［J］. Journal of Physics： Conference Series， 2020， 1651（1）： 21-23.

［11］WANG J J， MA Y L， ZHANG L B， et al. Deep learning for smart manufacturing： Methods and applications［J］. Journal of Manufacturing Systems， 2018， 48： 144-156.

［12］DING H， FU G， YAN Q A， et al. Deep attentive style transfer for images with wavelet decomposition［J］. Information Sciences， 2022， 587： 63-81.

［13］苗永康. 基于L-BFGS算法的時(shí)間域全波形反演［J］. 石油地球物理勘探， 2015， 50（3）： 469-474.

MIAO Yongkang. Full waveform inversion in time domain based on limited memory BFGS algorithm［J］. Oil Geophysical Prospecting， 2015， 50（3）： 469-474.

［14］俞海龍， 馮晅， 恩和得力海， 等. 基于梯度法和L-BFGS算法的探地雷達(dá)時(shí)間域全波形反演［J］. 物探化探計(jì)算技術(shù)， 2018， 40（5）： 623-630.

YU Hailong， FENG Xuan， EN Hedelihai， et al. Time-domain full waveform inversion of ground-penetrating radar using gradient method and L-BFGS algorithm［J］. Computing Techniques for Geophysical and Geochemical Exploration， 2018， 40（5）： 623-630.

［15］趙睿穎. 用于深度學(xué)習(xí)的一種改進(jìn)L-BFGS算法［J］. 首都師范大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2021， 42（5）： 8-14.

ZHAO Ruiying. An improved L-BFGS algorithm for deep learning［J］. Journal of Capital Normal University （Natural Science Edition）， 2021， 42（5）： 8-14.

［16］DONG L， SHENG H P. Improved Canny edge detection algorithm based on deep learning［J］. Scientific Journal of Intelligent Systems Research， 2021， 3（2）： 114-118.

［17］HUA Q Z， KE L T， CHI Z， et al. Image segmentation based on GGVF Snake model and Canny operator［J］. Scientific Journal of Intelligent Systems Research， 2021， 3（3）： 130-137.

［18］李磊， 李英娜， 趙振剛. 基于改進(jìn)Canny算子的輸電導(dǎo)線圖像邊緣檢測(cè)［J］. 電力科學(xué)與工程， 2021， 37（12）： 19-27.

LI Lei， LI Yingna， ZHAO Zhengang. Edge detection of transmission line image based on improved Canny operator［J］. Electric Power Science and Engineering， 2021， 37（12）： 19-27.

［19］ZHANG H Z， LIANG J S， JIANG H B， et al. Lane line recognition based on improved 2D-gamma function and variable threshold Canny algorithm under complex environment［J］. Measurement and Control， 2020， 53（9/10）： 1694-1708.

Design of style transfer swimsuit patterns based on convolutional neural network

CHENG Pengfeia， WANG Weizhena，b， FANG Yuanc

（a.School of Fashion; b.Clothing Human Factors and Intelligent Design Research Center; c.Engineering Training Center（Innovation and Entrepreneurship Education Center）， Dalian Polytechnic University， Dalian 116034， China）

Abstract：

With the penetration of artificial intelligence technology into various fields， the combination of artificial intelligence and art design provides a broader prospect for the intelligent design of clothing. As an active topic of deep learning of artificial intelligence， style transfer starts to be used in the fields of clothing pattern design and art painting. At present， there are many technical shortcomings in using style transfer technology for clothing pattern design. When style transfer based on the convolutional neural network is applied to clothing pattern design， the problems of monotonous color， simple texture and inability to remove redundant backgrounds arise. Therefore， this study explores an integration of Gram matrix and Canny edge detector to solve the problem of multi-style fusion and background segmentation in style transfer.

In this study， in order to realize multi-style transfer， we first input multiple style images into the VGG-19 model， so that the layers designated as style output can extract the features of each style image and output them separately. We calculate the Gram matrix of each image separately， and weight all the obtained Gram matrices to form a new matrix. Therefore， the co-occurrence and correlation of each channel in the new matrix can represent the fusion style. In order to deal with the redundant backgrounds generated in the style transfer process and the non-rendered areas due to the features of swimsuit styles， we adopt the Canny edge detector algorithm and the OpenCV image processing library to perform operations such as rendering segmentation of images using the HSV interval differences of different rendered areas of swimsuit， and finally obtain the swimsuit pattern design drawings. Compared with other convolutional neural networks whose style transfer can only extract the style of one image， we optimize the structure of the Gram matrix， and can extract the style of multiple images to transfer at the same time. In the processing of the image generated by style transfer， by analyzing the structure and design features of swimsuit， a clothing image segmentation model applicable to swimsuits is established. In order to verify the effectiveness of this study in the field of clothing pattern design， we compare the effect drawings generated in this study with those generated by the style transfer method of other convolutional neural networks using the three metrics of questionnaire score， PSNR， and SSIM， and the results show that the method of this study obtains higher evaluation in all the three metrics.

This study， by combining the painting art style with swimsuit pattern design， is able to design a large number of swimsuit patterns with multi-style fusion features at a very low cost and has great application prospects. There is still room for improvement in the accuracy of swimsuit image segmentation in this study， and further research will be conducted in this area.

Key words：

convolutional neural network; style transfer; swimsuit; pattern design; Canny edge detector; swimsuit image segmentation

收稿日期：

2022-06-24;

修回日期：

2023-01-27

基金項(xiàng)目：

教育部社會(huì)科學(xué)規(guī)劃基金項(xiàng)目（21YJAZH088）;教育部產(chǎn)學(xué)協(xié)同育人項(xiàng)目（220404211305120）;遼寧省教育廳高?；究蒲兄攸c(diǎn)攻關(guān)項(xiàng)目（LJKZZ20220069）;遼寧省教育廳項(xiàng)目（1010152）;中國(guó)紡織工業(yè)聯(lián)合會(huì)項(xiàng)目（2021BKJGLX321）

作者簡(jiǎn)介：

程鵬飛（1999），男，碩士研究生，研究方向?yàn)槿斯ぶ悄芊b設(shè)計(jì)。通信作者：王偉珍，副教授，wz-wang@foxmail.com。