數(shù)字賦能:基于視覺Transformer的非遺苗繡紋樣數(shù)字化提取

摘要： 苗繡通常是以線稿描繪的基礎圖樣，搭配豐富色彩的絲線及不同的刺繡技法而形成，出現(xiàn)在一系列如服飾、頭飾及配件等紡織品中，但是隨著紡織品的損壞和丟失等原因，部分苗繡紋樣便也隨之流失。目前采用傳統(tǒng)手工描繪紋樣獲取線稿的方式極其不便，因此文章針對苗繡紋樣的數(shù)字化提取，提出了一種基于兩階段漸進采樣視覺Transformer的邊緣檢測算法，分為全局和局部檢測。在兩個階段都引入漸進式采樣來定位重要區(qū)域，使提取的邊緣集中于苗繡紋樣主體部分，減少服飾背景等造成的干擾。通過使用多尺度通道注意力特征融合模塊，將全局和局部檢測的邊緣進行加權融合，以獲得更清晰的邊緣。實驗結果表明，該算法與其他算法相比，提取的苗繡紋樣獲得了更纖細的線條，且丟失的紋樣形狀線條較少，紋樣整體效果與標簽圖最接近，效果最佳。

關鍵詞： 紋樣提取;苗繡刺繡;非物質文化遺產;視覺Transformer;數(shù)字化;邊緣檢測

中圖分類號： TS941.2 文獻標志碼： A

數(shù)字技術的發(fā)展為非遺文化的傳承提供了一種可持續(xù)發(fā)展模式，解決了傳統(tǒng)方法在非遺文化保護中存在的問題［1］。貴州苗繡作為國家級非物質文化遺產，苗繡紋樣作為一種民族符號是少數(shù)民族意識形態(tài)的體現(xiàn)，對少數(shù)民族文化符號的提取檢測是保護和傳承民族文化遺產的重要環(huán)節(jié)［2］。苗繡的線稿圖樣是苗族織繡圖案發(fā)展過程中的根基，通過以線稿為刺繡基礎，搭配多種成熟精湛的制作技法和繡線材質，以取得更加賞心悅目的紋理表現(xiàn)和視覺效果。苗繡紋樣是向外界傳播苗族文化的特色文化符號［3］，常作為苗族圖騰出現(xiàn)在一系列的紡織品中，如服飾、頭飾、配件中。此前針對苗繡紋樣的提取方式主要利用設計軟件Illustrator或Photoshop采用人工描繪的方式對苗繡紋樣進行提取，提取效率極低。數(shù)字化提?。?］為苗繡紋樣的可持續(xù)、可復制、可再生提供了技術手段。苗繡紋樣提取的研究也取得了相應的進展，部分研究基于深度學習語義分割框架用于提取苗繡紋樣輪廓［5］，其后續(xù)工作主要是對提取的苗繡紋樣進行分類，并未考慮到苗繡紋樣線稿的提取。部分研究采用傳統(tǒng)邊緣檢測算法結合人工描摹，實現(xiàn)服飾紋樣的抽象化提?。?］。提取的效率與人工相比有了提升，但苗繡紋樣中花鳥魚蟲等的獨特形狀線條既有酣暢淋漓又有細膩婉約，使用傳統(tǒng)邊緣檢測算法對苗繡紋樣形狀進行提取的效果并不是特別理想。因此，本文繼續(xù)對利用邊緣檢測算法提取苗繡紋樣線稿進行研究。

邊緣檢測是計算機視覺領域的重要技術之一，應用廣泛，如目標檢測、圖像分割等。傳統(tǒng)邊緣檢測算法如Sobel和Canny邊緣檢測算法，大多基于低級局部線索（如顏色和紋理）獲取邊緣，在計算機視覺中得到廣泛應用，但它們基于手工創(chuàng)建的特征使其對于紋樣的提取效率和能力受到了很大的限制。卷積神經(jīng)網(wǎng)絡（Convolution Neural Network，CNN）的廣泛應用使其作為計算機視覺領域的主導模型［7］，邊緣檢測也因此取得了巨大進展，紋樣的提取效率有了很大提升。Bertasius等［8］利用多層CNN提取的對象感知線索進行輪廓檢測。Xie等［9］是第一個端到端的邊緣檢測方法。Liu等［10］嘗試同時使用VGG和ResNet作為主干網(wǎng)絡。He等［11］使用從雙向級聯(lián)結構推測的層特定監(jiān)督來指導每一層的訓練。但隨著感受野的不斷擴大，卷積神經(jīng)網(wǎng)絡的特征會逐漸捕捉到全局和語義意識的視覺概念，但與此同時，許多苗繡紋樣的精細細節(jié)也不可避免地丟失。

Transformer拋棄了傳統(tǒng)CNN和RNN神經(jīng)網(wǎng)絡，整個網(wǎng)絡結構完全由Attention機制及前饋神經(jīng)網(wǎng)絡組成［12］。其應用于計算機視覺領域，并在圖像分類、目標檢測、圖像生成、圖像分割等任務中取得了很好的效果?；赥ransformer的ViT（Vision Transformers）由Dosovitskiy等［12］提出，第一次在圖像分類任務中成功地使用Transformer以達到較理想的效果［13］。目前，部分研究者將Transformer應用在邊緣檢測領域進行邊緣檢測。Pu等［14］利用ViT作為骨架網(wǎng)絡將粗細兩種粒度的信息進行融合，來進行邊緣的檢測，Edter提取的邊緣寬度占多個像素，與紋樣提取的理想的邊緣寬度仍有差距。胡名揚等［15］利用Swin Transformer作為骨干網(wǎng)絡，加入金字塔池化模塊對高層語義進行融合來檢測邊緣，但提取苗繡紋樣輪廓的準確性有待提高。荊東東等［16］使用Swin Transformer作為骨干網(wǎng)絡來提取圖像基本特征，提出多尺度特征增強和邊緣注意力模塊以獲取清晰邊緣，但在輸出清晰準確邊緣的同時也保留了紋樣中大量的非主體線條?？傮w上，基于Transformer的邊緣檢測性能與基于CNN的邊緣檢測相比仍有較大優(yōu)勢。

綜上所述，本文針對苗繡紋樣數(shù)字化提取過程中存在的問題，提出了一種基于漸進式采樣（Progressive Sampling，PS）兩階段視覺Transformer的邊緣檢測方法，以實現(xiàn)苗繡紋樣形狀提取。模型基于視覺Transformer分為兩個階段，在兩個階段都引入漸進式采樣來定位重要區(qū)域，以緩解視覺Transformer中簡單的tokens化方案帶來的固有的結構信息丟失，使提取的邊緣趨向于苗繡紋樣主體部分。在第一階段中，使用全局Transformer編碼器在粗粒度patches上獲取全局上下文。然后在第二階段，使用局部Transformer編碼器在細粒度patches挖掘局部線索。每個Transformer編碼器后面都有一個雙向多級聚合解碼器，以實現(xiàn)高分辨率特征。最后，通過一個多尺度通道注意力特征融合模塊將全局和局部檢測的邊緣進行融合，以獲得較好的苗繡紋樣提取效果。

1 苗繡紋樣提取特征研究

苗繡圖源包含兩層含義：繡之前準備的圖形紋樣及苗繡體系的根基紋樣和圖案。苗族有上百個分支，服飾與服飾上的刺繡紋樣圖案及不同繡法，是支系劃分的重要標志之一。每個分支的刺繡款式和風格是由紋樣形狀及不同繡法形成的肌理所決定的。設計中處理苗繡紋樣素材時，既需要繡品紋理，又需要紋樣形狀。苗族的織繡圖案在長期的發(fā)展過程中，把日常生活中常見的魚鳥及自然抽象成為造型夸張的獨特形狀。各種刺繡針法和織錦方法，如刺繡技法中的編帶繡、絲棉平繡、纏繡、錫片繡，以及用棉紗、絲線混合織成的苗錦花帶、織帶等，形成了起伏的、變化的豐富肌理。一方面苗繡紋樣邊緣蘊含了圖像豐富的內在信息如方向、階躍性質與形狀等，傳統(tǒng)邊緣檢測算法Sobel算法從水平方向和垂直方向獲取圖像的階躍性，使得立體圖像的明暗特點得以保留，從而提取出具有肌理特征的苗繡紋樣。另一方面苗繡紋樣中花鳥魚蟲等的獨特形狀線條的臨摹既有酣暢淋漓又有細膩婉約，在使用邊緣檢測算法對紋樣形狀進行提取時是一個巨大的挑戰(zhàn)。苗繡繡的是抽象的符號與法則，紋樣是由簡單的幾何符號連續(xù)疊加構成，利用基本單元，以不同的排列循環(huán)組合出千變萬化的圖形。在未來發(fā)展中，設計師需要大膽實踐、檢驗它的適用性，不斷探索把握其造型、裝飾形態(tài)、動物變體、幾何骨骼，更好地把苗族刺繡紋樣的張揚、灑脫飄逸等風格展現(xiàn)在視覺傳達藝術中，并創(chuàng)造更加新穎的視覺作品。苗繡紋樣的數(shù)字化提取即是將苗繡的圖文符碼還原成線條，揭示出苗繡宗教化書寫的形態(tài)和功能，供設計師二次創(chuàng)作。苗繡紋樣也分繁和簡，繁是將有特定含義的符號不斷進行疊加，重復組合，形成紋樣，布置嚴密，連續(xù)排列，或者在主體圖案周圍或角隅襯以細小而豐富的花紋，具有很強烈的視覺沖擊。簡則是一只蝴蝶或一朵艷麗的花朵即可成為一個圖案。目前部分邊緣檢測算法只能對少部分背底布料平整且簡單的苗繡紋樣如單只的蝴蝶、魚兒，獲得較好的提取效果，因此不具備對苗繡紋樣提取的通用性。經(jīng)過分析存在問題如下：

1） 問題1：如圖1（a）所示，繁復的苗繡紋樣，采用滿鋪式構圖，布置嚴密，連續(xù)排列，存在很多細小的邊緣。針對此類苗繡紋樣提取，目前部分算法對于復雜紋樣的提取使線條占據(jù)像素過寬，圖像線條產生粘連，導致提取的紋樣雜糅做一團;或是算法將豐富細小的邊緣當作非主體邊緣處理，導致提取的紋樣形狀缺失不完整。

2） 問題2：如圖1（b）所示，此部分苗繡紋樣雖然簡單但苗繡紋樣多存在于服飾、繡片中，因此苗繡紋樣的提取過程中，會存在背景布料等產生的干擾線條。目前效果最佳的EDTER邊緣檢測算法也不能避免。本文基于以上苗繡紋樣提取存在的問題，針對苗繡紋樣形狀提取的邊緣檢測算法進行研究工作。

2 本文方法

2.1 網(wǎng)絡架構

本文基于Transformer引入漸進式采樣，可以實現(xiàn)對苗繡紋樣提取時更多關注在紋樣主體輪廓區(qū)域，通過全局和局部采樣，減弱背景布料對主體紋樣形狀提取的干擾，最終通過基于多尺度通道注意力特征融合模塊，將全局和局部檢測的邊緣進行融合，以獲得較纖細、清晰的邊緣，從而實現(xiàn)苗繡紋樣形狀的提取。第一階段，先將苗繡繡片分割為一系列密度較

大的圖像序列，通過漸進式采樣將位置編碼不斷迭代偏移，將注意力集中在苗繡紋樣的主體部分;第二階段，將苗繡繡片分割為一系列密度較小的圖像序列，漸進式采樣迭代N次，得到局部注意力并將局部注意力連接起來，最后利用多尺度通道注意力特征融合模塊將第一階段與第二階段獲得的苗繡紋樣邊緣融合得到苗繡紋樣的最佳提取效果，整體結構如圖2所示。

本文采用的漸進式采樣是可微分的，當其與Transformer相結合時，所獲得的PS ViT網(wǎng)絡可以自適應地學習在哪里尋找目標，并不斷向目標區(qū)域偏移。傳統(tǒng)ViT將圖像劃分為一系列patch，這些patch被線性投影到一組標記中，如圖3所示，可能會破壞對象結構，將網(wǎng)格分配給背景等不感興趣的區(qū)域，而不考慮圖像區(qū)域的內容重要性和對象的整體結構，并引入干擾信號。He［17］可以更多地關注圖像中使人感興趣的區(qū)域并減輕結構破壞的問題，通過模仿人類視覺系統(tǒng)組織視覺信息的方式，在需要的時間和地點，逐漸地、有選擇地將注意力集中在視覺空間中苗繡紋樣的主體部分，而忽略布料背景的部分，隨著時間的推移，結合不同注視的信息來理解場景［18］。

在第一階段和第二階段中，PS ViT通過迭代和漸進采樣策略來定位判別區(qū)域。在每次迭代中，將當前采樣步驟嵌入并饋送到Transformer編碼器，預測一組采樣偏移以更新下一步驟的采樣位置。使采樣位置不斷地趨向紋樣主體位置，以提取更精準的紋樣線條，整體架構如圖4所示。

第一階段中對全局采樣時，在PS ViT的每次迭代中給定采樣位置Pt和特征圖F，再在F上的Pt處對初始標記T′t進行采樣，這些標記生成的位置編碼Pt和上一次迭代的輸出標記Tt-1元素相加，然后饋送到一個Transformer編碼器層中以預測當前迭代的標記Tt。偏移矩陣Ot是基于Tt通過一個全連接層來預測的，Tt與Pt相加以獲得下一次迭代的采樣位置Pt+1。并將上述過程重復N次。在每次迭代中，通過將采樣位置與上一次迭代的偏移矢量相加來更新采樣位置。

式中：LEg是Eg的損耗;Lsideg表示側面損耗;λ是用于平衡LEg和Lsideg，在本實驗中將λ設置為0.4。

在訓練了第一階段之后，再確定第一階段的參數(shù)，然后進入第二階段。對從局部BiMLA解碼器提取的中間特征執(zhí)行相同的操作（4×4去卷積層和8×8去卷積層），以生成邊輸出S1r、S2r、…、S8r。第二階段的損失函數(shù)定義為：

式中：LEr是Er的損耗，Lsider表示側面損耗，將λ同樣設置為0.4。

3 實驗結果分析

3.1 數(shù)據(jù)集

本文選用自制邊緣檢測數(shù)據(jù)集和公開數(shù)據(jù)集的BSDS500對提出的方法進行評估。在相關項目人員及專家的共同努力和指導下，本文建立了苗繡紋樣邊緣檢測數(shù)據(jù)集，對苗族的織繡紋樣圖案進行提取。該數(shù)據(jù)集收集了700張苗繡紋樣圖案，其中500張用于訓練、200張用于測試，每個圖像平均由3位標注人員進行邊緣標注;實驗對數(shù)據(jù)集進行數(shù)據(jù)增強，通過旋轉、縮放、翻轉操作將數(shù)據(jù)集擴展到了33 600張。利用數(shù)據(jù)增強可以增加模型的訓練樣本，通常數(shù)據(jù)增強會降低模型訓練的準確度，而提高模型測試的準確度。本文利用公開數(shù)據(jù)集的BSDS500對模型進行訓練，將自制苗繡數(shù)據(jù)集作為測試集，并以其評估結果作為最終參考。

BSDS500是由伯克利計算機視覺和機器學習中心創(chuàng)建的基準數(shù)據(jù)集。包含500張自然圖像、200張用于訓練、100張用于驗證和200張用于測試。將模型在訓練和驗證集上進行訓練，并在測試集上進行評估。實驗按照自制數(shù)據(jù)集的數(shù)據(jù)增強方式將數(shù)據(jù)集擴展到了28 800張。此外，使用PASCALVOC上下文數(shù)據(jù)集作為額外的訓練數(shù)據(jù)，該數(shù)據(jù)集提供了400多個標注類別，并由10 103個圖像組成用于訓練。從邊緣標注中提取的外部邊界有利于推斷階段I中的語義和上下文線索。因此，首先在PASCALVOC上下文數(shù)據(jù)集上預訓練階段I，然后在BSDS500上對其進行微調。PASCALVOC上下文數(shù)據(jù)集僅用于訓練階段I。

3.2 設 置

實驗的操作系統(tǒng)環(huán)境為Linux，處理器為Intel（R）Xeon（R）Gold6130 CPU@2.10 GHz，采用Pytorch完成模型的搭建，編程語言為Python 3.7，在NVIDIA-V100-32GGPU顯卡上進行訓練。使用ViT預先訓練的權重來初始化模型的Transformer模塊。將閾值η設置為0.3來選擇數(shù)據(jù)集的正樣本。

優(yōu)化器采用SGD，momentum設置為0.9，weightdecay設置為2e-4，并在所有數(shù)據(jù)集上采用應用多項式衰減的方式進行更新學習率，初始學習率設置為1e-6。在訓練過程中，將兩個階段設置相同的80 k迭代次數(shù)，每個圖像被隨機裁剪為320×320。為了防止過擬合，將batch-size設置為8。

3.3 評價指標

在評估過程中，記錄了所有數(shù)據(jù)集的三個指標：固定輪廓閾值（ODS）、每張圖像的最佳閾值（OIS）和平均精度（AP）。其中，ODS即選取一個固定的閾值應用于所有圖片，使得整個數(shù)據(jù)集上的F值最大;OIS也被稱為單圖最佳，在每一張圖片上均選取不同閾值使得該圖F值最大;AP指平均準確率，由于模型輸出的結果是0～1的一個值，而某個像素是否為邊緣標記為0或1，由多個標記者分別進行標記，因此在不同的閾值情況下，網(wǎng)絡輸出結果的精確度（網(wǎng)絡預測為邊緣的像素數(shù)量之和/標簽中至少有一個像素標記為邊緣的像素數(shù)量之和）與召回度（網(wǎng)絡預測為邊緣的位置中，標簽被標記為邊緣的數(shù)量之和/標簽中總的標記為邊緣的個數(shù)）是不同的。由此可以繪制一條曲線，曲線積分的結果即為算法輸出結果的AP。F值的計算如下：

式中：Precision（精確度）表示預測結果為正例的樣本中真正為正例比例，TP表示被模型預測為正例的正樣本;FP表示被模型預測為正類的負樣本;Recall（召回率）指正例樣本中被正確識別為正例的比例，F(xiàn)N表示被模型預測為負類的正樣本;F分數(shù)則是綜合考慮了精確度和召回率。

3.4 消融實驗

消融實驗是基于控制變量的原理，對比每個模塊對于本文模型性能提升的貢獻。本文通過與現(xiàn)有的邊緣檢測算法對比發(fā)現(xiàn)，在Transformer模型中加入漸進式采樣（PS ViT）與注意力特征融合模塊（AFF）可以顯著提升模型邊緣檢測效果。為了驗證以上模塊的有效性，在苗繡紋樣邊緣檢測數(shù)據(jù)集上進行了消融實驗，如表1所示。

由表1可以看出，漸進式采樣（PS ViT）與注意力特征融合模塊（AFF）對于模型性能的提升都有作用，ODS、OIS、AP三個指標均提高了。

另由圖7對比結果可以看出，沒有加入這兩個模塊，生成的邊緣圖會有嚴重的邊緣缺失，如Baseline（原始模型，沒有加入PS ViT和AFF）很多細節(jié)邊緣被忽略。但是當加入PS ViT模塊之后，邊緣線條清晰，保留了更多的有效邊緣，效果得到明顯提升。加入AFF模塊之后，生成的邊緣圖則被進一步強化。

3.5 實驗分析

本文算法在自建立的苗繡紋樣邊緣檢測數(shù)據(jù)集上測試的結果如表2所示。本文分別從傳統(tǒng)邊緣檢測算法和基于CNN的邊緣檢測算法及基于Transformer的邊緣檢測算法中選取6種算法與本文算法進行了提取效果的對比。由表2評估結果可見：本文算法在苗繡紋樣邊緣檢測數(shù)據(jù)集的評估屬于最佳水平，ODS得分達到了0.848，OIS得分達到0.871，AP得分達到了0.910;相較于目前排名較高的EDTER在ODS、OIS、AP三個評價指標上分別提升了0.6%、0.8%、0.9%。各種算法在苗繡數(shù)據(jù)集上的精確度和召回率曲線如圖8所示。

圖9展示了6種算法與本文算法在自制苗繡紋樣檢測數(shù)據(jù)集上的邊緣檢測效果對比?，F(xiàn)有算法的邊緣檢測效果分析：其中HED［9］算法提取的邊緣線條由于網(wǎng)絡處理背景噪聲不徹底，導致了一些信息的丟失，整個苗繡紋樣雜糅作一團，在邊緣的精細度方面有所欠缺。而RCF［10］算法提取的邊緣在細節(jié)方面沒有很好的提取效果，如RCF算法提取的第三張圖中出現(xiàn)人物的面部細節(jié)缺失問題。這兩種算法讓后續(xù)針對苗繡紋樣的設計工作無法提供利用價值。LPCB、BDCN［11］、DRC及EDTER［14］在對第五張圖進行提取時，提取的邊緣受到背景布料的影響產生了一些非必要線條，其中LPCB算法的邊緣線條與背景幾乎融于一體。其他三種已有算法又以EDTER算法效果最佳。但是，在關于背景對象與前景對象的甄別方面仍存在問題，其提取的邊緣圖仍存在部分背景線條。

本文邊緣檢測算法效果分析：本文算法相比于EDTER取得了更好的邊緣檢測效果，原因是它采用了注意力特征融合模塊及漸進式采樣。漸進式采樣與簡單的tokens化相比，它更關注前景對象，這使得生成的邊緣圖不存在模糊的背景，提取的主題對象更加清晰。注意力特征融合模塊對于復雜紋樣的邊緣檢測能力有很大的提升，能夠提取到較清晰的主體紋樣輪廓且能夠很大程度上抑制背景產生的非主體線條，如紋樣較復雜的第三幅圖。本文提取的紋樣獲得了更纖細的線

條，且丟失的主體線條較少，紋樣整體效果與標簽圖最接近。線條簡單的紋樣提取效果最佳，對后續(xù)針對苗繡紋樣的設計工作能夠提供很好的參考價值。

3.6 本文苗繡紋樣提取與人工苗繡紋樣提取的效果及效率對比

從苗繡紋樣提取的效果及效率兩方面將本文算法與人工提取進行比較。苗繡紋樣存在簡單和復雜兩種，對于簡單苗繡紋樣的提取，本文算法與人工算法效果相當。對于大部分復雜苗繡紋樣的提取，本文算法的提取效果雖與人工提取存在一定差異，但并不影響苗繡紋樣在后續(xù)設計中的使用，提取效果及提取效率對比，如圖10所示。本文算法的提取效率遠遠高于人工提取，為苗繡紋樣數(shù)據(jù)庫的建立節(jié)省了大量的人工消耗和時間成本，部分展示如圖11所示。

4 提取苗繡紋樣設計應用

本文分別選擇了一張滿鋪式構圖、布置嚴密、連續(xù)排列的復雜苗繡繡片，以及一張紋樣簡單但存在背景布料等干擾線條的苗繡繡片，先利用前文提出的兩階段漸進采樣視覺Transformer邊緣檢測算法對具有典型特征的苗繡紋樣進行了數(shù)字化提取，將提取的苗繡紋樣作為設計元素，融合以苗繡典型繡法堆繡呈現(xiàn)的視覺效果。并采用不同的苗繡經(jīng)典色系搭配，對苗繡紋樣進行了二次創(chuàng)作，以驗證本文算法對苗繡紋樣進行數(shù)字化提取的有效性和可用性，如圖12所示。

5 結 語

為解決傳統(tǒng)手工描繪苗繡紋樣線稿帶來的不便，本文提出了基于視覺Transformer的苗繡樣數(shù)字化取取算法，基于兩階段視覺Transformer引入漸進式采樣，通過全局和局部采樣，將注意力有選擇地聚集在苗繡紋樣重要的部分，最終通過基于多尺度通道注意力特征融合模塊將全局和局部檢測的邊緣進行融合以獲得較好的邊緣檢測效果，解決了目前部分算法對于復雜紋樣的提取使線條占據(jù)像素過寬及將豐富細小的邊緣當作非主體邊緣處理的問題。本文算法針對繁復型苗繡紋樣提取到的紋樣線稿線條更清晰、纖細，對于簡單的苗繡紋樣提取可以很大程度上弱化布料背景等產生的干擾線條，達到苗繡紋樣線稿提取的最佳效果。

苗繡圖源的數(shù)字化提取及設計再應用，可以搶救和保護諸多瀕臨消失的苗繡紋樣，也可以得到社會的廣泛關注和重視。數(shù)字化提取的苗繡紋樣還原了苗繡紋樣的初始形態(tài)，設計師可以在此基礎上大膽實踐，創(chuàng)作出更新穎有趣的作品。但此算法模型針對于苗繡紋樣的數(shù)據(jù)集訓練需要前期大量的人工繪制標簽，工作任務繁重。未來可以考慮將算法模型輕量化處理，使苗繡紋樣提取工作更高效、更便捷，也可以輕松應用于任意類型的紡織品紋樣提取。

參考文獻：

［1］王維杰， 劉毅， 肖露， 等. 基于改進生成式對抗網(wǎng)絡與矢量繪制技術的古蜀錦紋樣數(shù)字化研究［J］. 絲綢， 2023， 60（11）： 18-27.

WANG W J， LIU Y， XIAO L， et al. Research on digitalization of ancient Shu brocade patterns based on improved generative adversal network and vector rendering technology［J］. Journal of Silk， 2023， 60（11）： 18-27.

［2］FENG Y， YE F， ZHOU S， et al. Detection of ethnic minority’s symbols based on deep learning［J］. Journal of Physics： Conference Series， 2020， 1646（1）： 012033.

［3］MAGLIVERAS S S. Hmong textiles， symmetries， perception and culture［J］. Symmetry， 2020， 12（11）： 1829.

［4］趙維一， 尚玉平， 康曉靜， 等. 基于聚類算法的紡織品文物色彩提取與紋樣數(shù)字化探索： 以新疆巴里坤M12出土清代紡織品紋樣為例［J］. 絲綢， 2023， 60（5）： 8-18.

ZHAO W Y， SHANG Y P， KANG X J， et al. Exploring colour extraction and pattern digitization of textile artifacts basedon clustering algorithms： A case study of the patterns of the Qing Dynasty textiles unearthed from Balikun M12， Xinjiang［J］. Journal of Silk， 2023， 60（5）： 8-18.

［5］陳世婕， 王衛(wèi)星， 彭莉. 基于多尺度網(wǎng)絡的苗繡繡片紋樣分割算法研究［J］. 計算機技術與發(fā)展， 2023， 33（11）： 149-155.

CHEN S J， WANG W X， PENG L. Research on Miao embroidery pattern segmentation algorithm based on Multi-scale network［J］. Computer Technology and Development， 2023， 33（11）： 149-155.

［6］張帆， 蘇藝， 崔強， 等. 傳統(tǒng)服飾紋樣生成設計研究［J］. 包裝工程， 2023， 44（4）： 1-8.

ZHANG F， SU Y， CUI Q， et al. Generation design of traditional costume pattern［J］. Packaging Engineering， 2023， 44（4）： 1-8.

［7］HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway： IEEE， 2016.

［8］BERTASIUS G， SHI J B， TORRESANI L. Deepedge： A multi-scale bifurcated deep network for top down contour detection［C］//2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Boston： IEEE， 2015.

［9］XIE S N， TU Z. Holistically-nested edge detection［C］//2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Boston： IEEE， 2015.

［10］LIU Y， CHENG M M， HU X W， et al. Richer convolutional features for edge detection［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Hawaii： IEEE， 2017.

［11］HE J Z， ZHANG S L， YANG M， et al. Bi-directional cascade network for perceptual edge detection［C］//2019 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Long Beach： IEEE， 2019.

［12］DOSOVITSKIY A， BEYER L， KOLESNIKOV A， et al. An image is worth 16×16 words： Transformers for image recognition at scale［C］//9th International Conference on Learning Representations （ICLR）. Vienna， Austria： OpenReview. net， 2021.

［13］LIU Z， LIN Y T， CAO Y， et al. Swin transformer： Hierarchical vision transformer using shifted windows［C］//2021 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Nashville： IEEE， 2021.

［14］PU M Y， HUANG Y P， LIU Y M， et al. EDTER： Edge detection with transformer［C］//2022 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. New Orleans： IEEE， 2022.

［15］胡名揚， 郭燕， 金楊爽. PSwin： 基于Swin Transformer的邊緣檢測算法［J］. 計算機科學， 2023， 50（6）： 194-199.

HU M Y， GUO Y， JIN Y S. PSwin： Edge detectionm algorithm based on Swin Transformer［J］. Computer Science， 2023， 50（6）： 194-199.

［16］荊東東， 李備備， 王詩宇， 等. BMEDT： 基于Transformer的雙向多級邊緣檢測網(wǎng)絡［J/OL］. 小型微型計算機系統(tǒng)， 2024： 1-9. http：//kns.cnki.net/kcms/detail/21.1106.TP.20230915.1504.048.html.

JING D D， LI B B， WANG S Y， et al. Bidirectional multi-level edge detection network based on Transformer［J/OL］. Journal of Chinese Computer Systems， 2024： 1-9. http：//kns.cnki.net/kcms/detail/21.1106.TP.20230915.1504.048.html.

［17］HE Z X. The application of vision transformer in image classification［C］//Proceedings of the 6th International Conference on Virtual and Augmented Reality Simulations （ICVARS’ 22）. New York： Association for Computing Machinery， 2022.

［18］YUE X， SUN S， KUANG Z， et al. Vision transformer with progressive sampling［J］. Computer Vision and Patten Recognition， 2021（8）： 387-396.

［19］CAO Y J， LIN C， LI Y J. Learning crisp boundaries using deep refinement network and adaptive weighting loss［J］. IEEE Transactions on Multimedia， 2021， 23（1）： 761-771.

Digital empowerment： Digitized extraction of patterns of the intangible culturalheritage Miao embroidery based on visual Transformer

ZHANG Chi， WANG Xiangrong

DAI Yongqia， PENG Lia， XIE Naipengb

（a.School of Mechanical Engineering; b.School of Computer Science and Technology， Guizhou University， Guiyang 550025， China）

Abstract： Traditional Miao embroidery involves depicting the lines of a basic pattern on paper， cutting the pattern paper tightly onto a cloth backing， and then completing the Miao embroidery using colored threads and a variety of embroidery stitches. Many precious patterns will fade away as the old Miao embroidery breaks down. The digitized extraction of Miao embroidery patterns is not only to reduce the graphic symbols of Miao embroidery into lines， and to reveal the form and function of Miao embroidery’s religionized writing， but also to use the extracted Miao embroidery patterns as digital resources for designers’ secondary creation. Miao embroidery patterns depend on all kinds of Miao costumes， and manual extraction is greatly restricted. Thanks to the development of computer digital technology， the digitized extraction method can realize the rapid extraction of Miao embroidery patterns. The digitized collection and design reapplication of Miao embroidery patterns can rescue and protect many Miao embroidery patterns that are on the verge of disappearing.

In this paper， for the problems in the process of digitized extraction of Miao embroidery patterns， an edge detection method based on progressive sampling （PS） two-stage visual Transformer is proposed to realize the shape extraction of Miao embroidery patterns. The model is based on visual Transformer and is divided into two stages. PS is introduced in both stages to localize important regions to mitigate the loss of structural information inherent in the simple tokensization scheme in visual Transformer. The extracted edges are made to converge to the main part of the Miao embroidery pattern. In the first stage， a global Transformer encoder is used to obtain the global context on coarse-grained patches. Then in the second stage， local Transformer encoders are used to mine local cues at fine-grained patches. Each Transformer encoder is followed by a bi-directional multi-level aggregation decoder for high resolution features. Finally， the globally and locally detected edges are fused by a multi-scale channel attention feature fusion module to obtain better Miao embroidery pattern extraction.

In this paper， PS is introduced in both stages to localize the important regions， so that the extracted edges are focused on the main part of the Miao embroidery pattern， and the interference caused by the background of the dress， etc. is reduced. Clearer edges are obtained by weighted fusion of globally and locally detected edges by using the multi-scale channel attention feature fusion module. The experimental results show that the algorithm obtains slimmer lines in the extracted Miao embroidery patterns compared with other algorithms and loses fewer lines of the pattern shape， and the overall effect of the patterns is closest to the labeled image with the best results. The evaluation of this paper’s algorithm on the edge detection dataset of Miao embroidery patterns is among the best levels， with an ODS score of 0.848， an OIS score of 0.871， and an AP score of 0.910， an improvement of 0.6%， 0.8%， and 0.9% compared to the currently higher-ranked EDTER in the three evaluation indexes of ODS， OIS， and AP， respectively.

The digitized extraction and design reapplication of Miao embroidery patterns can rescue and protect many dying Miao embroidery patterns， and can also be widely noticed and valued by the society. The digitally extracted Miao embroidery patterns restore the initial form of Miao embroidery patterns， on which designers can boldly practice and create more novel and interesting works. However， the training of this algorithm model for the dataset of Miao embroidery patterns requires a large number of manually drawn labels in the early stage， which is a heavy workload. In the future， the lightweight processing of the algorithm model can be considered to make the extraction of Miao embroidery patterns more efficient and convenient， and it can also be easily applied to any type of textile pattern extraction.

Key words： pattern extraction; Miao embroidery; intangible cultural heritage; visual Transformer; digitization; edge detection

收稿日期： 2024-01-13; 修回日期： 2024-05-30

基金項目： 貴州省科技項目（黔科合支撐〔2021〕一般396）

作者簡介： 代永琪（1997），女，碩士研究生，研究方向為產品創(chuàng)新設計。通信作者：彭莉，副教授，41091119@qq.com。