楊 娟, 張遠(yuǎn)鵬
(1. 蘇州大學(xué) 紡織與服裝工程學(xué)院, 江蘇 蘇州 215123; 2. 南通大學(xué) 紡織服裝學(xué)院, 江蘇 南通 226001;3. 南通大學(xué) 智能信息技術(shù)研究中心, 江蘇 南通 226001; 4. 香港理工大學(xué) 電子計(jì)算學(xué)系, 香港 999077)
知識(shí)經(jīng)濟(jì)時(shí)代是伴隨著大數(shù)據(jù)、物聯(lián)網(wǎng)、云計(jì)算、人工智能、區(qū)塊鏈等技術(shù)的成熟和相互融合而開(kāi)始的。隨著計(jì)算機(jī)技術(shù)的迅速發(fā)展和網(wǎng)絡(luò)信息數(shù)據(jù)的爆炸式增長(zhǎng),服裝設(shè)計(jì)資源信息通過(guò)數(shù)字化、網(wǎng)絡(luò)化的形式,高速在互聯(lián)網(wǎng)上傳播形成了巨型的知識(shí)網(wǎng),為設(shè)計(jì)者提供了豐富的素材積累和實(shí)時(shí)的潮流資訊。就目前對(duì)服裝設(shè)計(jì)行業(yè)的調(diào)研來(lái)看,網(wǎng)絡(luò)資源的利用呈現(xiàn)出2方面的特征:一方面手動(dòng)檢索效率低下,信息的可信度甄選困難,信息反饋滯后;另一方面,海量數(shù)據(jù)通過(guò)各種渠道井噴式涌現(xiàn),其中所包含的信息魚(yú)龍混雜、良莠不齊,很難快速高效地提取有價(jià)值的信息并加以利用。如何解決信息超載與知識(shí)饑渴的矛盾,實(shí)現(xiàn)服裝設(shè)計(jì)資源的有效檢索與利用是當(dāng)前服裝設(shè)計(jì)領(lǐng)域的關(guān)鍵課題。服裝設(shè)計(jì)資源知識(shí)圖譜能夠從語(yǔ)義層面為設(shè)計(jì)師提供輔助檢索、智能推薦等功能,在服裝設(shè)計(jì)行業(yè)具有極高的應(yīng)用價(jià)值。在服裝設(shè)計(jì)資源知識(shí)圖譜自底向上構(gòu)建過(guò)程中,會(huì)面臨各類資源的分類問(wèn)題,其中,文本資源分類尤為常見(jiàn)。
服裝工藝作為服裝設(shè)計(jì)的三要素之一,是服裝設(shè)計(jì)得以實(shí)現(xiàn)的重要環(huán)節(jié)。裝飾工藝作為其主要的組成部分已經(jīng)成為展現(xiàn)服裝藝術(shù)性、時(shí)尚性和風(fēng)格特征的重要手段,促進(jìn)當(dāng)今服裝設(shè)計(jì)與服飾審美的多元化呈現(xiàn),因此,服裝設(shè)計(jì)知識(shí)圖譜中裝飾工藝已成為不可或缺的重要知識(shí)資源。在互聯(lián)網(wǎng)上存在大量有關(guān)裝飾工藝的文本描述,例如:“在中原地區(qū),印花技術(shù)的再度復(fù)興是從纈開(kāi)始的,纈有絞纈、葛纈和夾纈。絞纈、葛纈實(shí)際上就是一種仿染印花的織物……”[1],對(duì)于這類文本資源,期望能夠自動(dòng)判斷其工藝類別屬于刺繡、印染、編結(jié)、手繪或鑲嵌等其中的一種,因此,智能分類模型不可或缺[2-3]。由于文本資源較為復(fù)雜,在進(jìn)行向量表示后維數(shù)高,從單一視角建立分類模型進(jìn)行分類已很難滿足應(yīng)用需求,故具備多視角協(xié)同學(xué)習(xí)的分類模型應(yīng)運(yùn)而生。例如:Jiang等[4]提出一種具備雙視角協(xié)同學(xué)習(xí)的分類模型,通過(guò)在目標(biāo)函數(shù)中引入各視角決策誤差最小的約束實(shí)現(xiàn)協(xié)同學(xué)習(xí),同時(shí)引入信息熵學(xué)習(xí)各視角的權(quán)重;張遠(yuǎn)鵬等[5]提出一種多視角模糊聚類算法,利用各視角代表點(diǎn)一致性約束來(lái)實(shí)現(xiàn)多視角協(xié)同學(xué)習(xí)。
在目前已有的多視角分類模型中,噪聲視角或弱相關(guān)視角給多視角分類模型分類結(jié)果帶來(lái)負(fù)影響的研究較少。所謂噪聲視角或弱相關(guān)視角,指的是在其所包含的樣本特征空間中,缺乏有效的模式識(shí)別信息來(lái)訓(xùn)練模型參數(shù)。裝飾工藝文本在向量化后,每一維特征表示每個(gè)特征詞,如果將每個(gè)特征詞看成是一個(gè)視角的話,那么在進(jìn)行多視角分類模型建模時(shí),就必然要考慮如何降低噪聲視角或弱相關(guān)視角帶來(lái)的負(fù)影響。這是因?yàn)橐黄b飾工藝文本中肯定存在一些特征詞,對(duì)其類別判定貢獻(xiàn)較小,甚至起到負(fù)作用。為此,本文提出一種具備視角約減的多視角分類模型(VR-MV-CM),該模型以經(jīng)典1-階 TSK(Takagi-Sugeno-Kang)模糊[6]系統(tǒng)作為基礎(chǔ),引入變體信息熵,控制各視角的權(quán)重學(xué)習(xí);然后設(shè)計(jì)約減規(guī)則,在VR-MV-CM的目標(biāo)函數(shù)優(yōu)化過(guò)程中,動(dòng)態(tài)約減噪聲視角或弱相關(guān)視角,對(duì)服裝裝飾工藝文本進(jìn)行分類。
本文所使用的服裝裝飾工藝文本資源來(lái)源于表1 所示的站點(diǎn)(僅包含部分)。文本資源的抽取方式采用本文作者2018年所開(kāi)發(fā)的領(lǐng)域模型[7]。在進(jìn)行裝飾工藝文本所屬類別判定之前,需要對(duì)其進(jìn)行預(yù)處理。預(yù)處理的主要過(guò)程如圖1所示。
表1 服裝裝飾工藝文本資源部分站點(diǎn)Tab.1 Some of web sites for text recourses describing garment ornamenting craft
圖1 服裝裝飾工藝文本資源的預(yù)處理過(guò)程Fig.1 Preprocessing of text recourses describing garment ornamenting craft
從圖1可看出,在構(gòu)建分類器進(jìn)行裝飾工藝文本分類之前,需要進(jìn)行4個(gè)步驟的預(yù)處理。1)分詞:分詞的主要目的是從文本中劃分出最小實(shí)體表示單位,即詞。本文使用中科院提供的分詞工具ICTCLA[8]進(jìn)行分詞處理。2)特征詞提取:特征詞提取的主要目的是從分詞結(jié)果中提取具有一定代表性的特征詞。在本文中,對(duì)于分詞獲取的所有實(shí)體詞,利用詞頻-逆文檔(TF-IDF)[9]計(jì)算權(quán)重值并按照權(quán)重值從小到大排序,取前60%的實(shí)體詞作為特征詞。3)特征詞向量化:特征詞向量化的主要目的是利用1組量化的數(shù)值(向量)來(lái)表示特征詞,方便分類模型處理。在本文中,利用Mikolov在2013年提出的Word2vec模型[10]來(lái)訓(xùn)練特征詞向量模型,進(jìn)而將特征詞向量化。4)文本向量化:文本向量化是在特征詞向量化的基礎(chǔ)上,利用詞向量來(lái)表示文本。用于文本向量化的方法有很多,本文采用一種樸素的文本表示方法,即用所有特征詞向量的平均值來(lái)表示文本。
在將所有的服裝裝飾工藝文本向量化后,接下來(lái)構(gòu)建分類模型,進(jìn)行工藝類別判定。
經(jīng)預(yù)處理獲得的服裝裝飾工藝文本向量維數(shù)較高,必然存在一些特征對(duì)文本分類精度貢獻(xiàn)較低,甚至還會(huì)產(chǎn)生負(fù)影響。如果將每一維特征看成一個(gè)視角的話,那么在構(gòu)建多視角分類模型時(shí),就需要考慮如何約減這些貢獻(xiàn)度較低的視角。本文提出一種針對(duì)服裝裝飾工藝文本分類且能夠進(jìn)行視角約減的多視角分類模型。
(1)
其中,
(2)
(3)
在訓(xùn)練數(shù)據(jù)集D中,可能會(huì)存在某些視角(特征)對(duì)最終的分類結(jié)果產(chǎn)生負(fù)影響,因此,需要一種機(jī)制來(lái)實(shí)現(xiàn)對(duì)此類視角的自動(dòng)約減,減少或屏蔽此類視角的負(fù)影響。故提出基于變體信息熵的視角權(quán)重自適應(yīng)學(xué)習(xí)機(jī)制來(lái)學(xué)習(xí)各視角的權(quán)重,并通過(guò)預(yù)先設(shè)定的規(guī)則對(duì)視角權(quán)重小于某一閾值的視角進(jìn)行約減,消除他們對(duì)分類結(jié)果的負(fù)影響。對(duì)于訓(xùn)練數(shù)據(jù)集D而言,視角加權(quán)的機(jī)制可表示為如式(4)所示的形式:
(4)
式中:yic表示第i個(gè)文本向量屬于第c類;w=[w1,w2,…,wM]表示視角權(quán)重向量,其中wm表示第m個(gè)(m=1,2,…,M)視角的權(quán)重;δm為控制權(quán)重wm學(xué)習(xí)的參數(shù);參數(shù)β用于控制Φ的貢獻(xiàn)程度,該值由用戶指定或者在訓(xùn)練數(shù)據(jù)集上通過(guò)交叉驗(yàn)證的方式得到。
在概率統(tǒng)計(jì)領(lǐng)域,通常使用方差均值比(VMR)來(lái)觀察樣本的分散程度,VMR值越小,表示樣本越聚集,反之則表示樣本越分散。在式(4)中,期望通過(guò)第2項(xiàng),使得包含分散特征的視角能夠獲得較小的權(quán)重,因此,在本文中采用VMR的倒數(shù)形式,即均值方差比(RMV)作為δm,來(lái)實(shí)現(xiàn)對(duì)各個(gè)視角權(quán)重學(xué)習(xí)的控制。
基于上述協(xié)同機(jī)制以及視角約減機(jī)制,VR-MV-CM 的目標(biāo)函數(shù)可表示為如式(5)所示的形式:
(5)
(6)
(7)
(8)
(9)
式中:w′m表示更新后的視角權(quán)重;M′表示約減后的視角總數(shù)。
(10)
利用本文作者2018年所構(gòu)建的領(lǐng)域模型[7],從互聯(lián)網(wǎng)抽取裝飾工藝文本文檔共5 400篇,并按照?qǐng)D1所示的預(yù)處理步驟對(duì)所有文本進(jìn)行向量化。對(duì)于5 400個(gè)文本向量,選擇80%進(jìn)行人工類別標(biāo)注,并作為訓(xùn)練文本向量(訓(xùn)練文本示例如表2所示)構(gòu)建訓(xùn)練數(shù)據(jù)集,所涉及的服裝裝飾工藝類別包括5類,分別為“刺繡”“印染”“編結(jié)”“手繪”和“鑲嵌”,類別標(biāo)簽分別用1、2、3、4、5表示。其余20%作為測(cè)試文本向量構(gòu)建測(cè)試數(shù)據(jù)集。
選擇支持向量機(jī)(SVM)[11]、C4.5決策樹(shù)(C4.5)[12]、 1-階TSK模糊系統(tǒng)(1-TSK-FS)[6]以及Jiang等[13]提出的多視角TSK模糊系統(tǒng)(MV-TSK-FS)作為對(duì)比分類模型進(jìn)行分類結(jié)果的比較。SVM、C4.5、1-TSK-FS以及本文提出的VR-MV-CM中的參數(shù)均通過(guò)在訓(xùn)練數(shù)據(jù)集上進(jìn)行5-折交叉驗(yàn)證的方式獲取。實(shí)驗(yàn)將從3個(gè)方面進(jìn)行:1)對(duì)于VR-MV-CM,觀察有視角約減和無(wú)視角約減(只需將δm設(shè)置為0)時(shí)在訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集上的分類精度;2)觀察VR-MV-CM和所引入的對(duì)比模型在訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集上的分類精度;3)將VR-MV-CM所約減的視角從訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集中剔除,用剔除后的訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集重新測(cè)試對(duì)比模型,觀察與剔除之前分類精度的變化。
表2 訓(xùn)練文本示例Tab.2 Example of training texts
采用分類精度指標(biāo)評(píng)價(jià)實(shí)驗(yàn)結(jié)果。分類精度定義為正確分類的樣本數(shù)和總樣本數(shù)的比值。在訓(xùn)練數(shù)據(jù)集上的分類精度,稱之為訓(xùn)練精度,在測(cè)試數(shù)據(jù)集上的分類精度,稱之為測(cè)試精度。表3、4分別示出在訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果。其精度均為對(duì)應(yīng)模型運(yùn)行50次的平均值和標(biāo)準(zhǔn)差。
表3 對(duì)比分類模型的訓(xùn)練精度Tab.3 Training precison of comparison classification models
從表3、4實(shí)驗(yàn)結(jié)果可看出,在訓(xùn)練和測(cè)試數(shù)據(jù)集上,VR-MV-CM在約減噪聲視角或弱相關(guān)視角后,50次的平均分類精度相比約減之前,分別提高了4.32%和2.68%。另外,即使VR-MV-CM未進(jìn)行視角約減,由于采用了多視角協(xié)同學(xué)習(xí)機(jī)制,相比其他單視角決策模型(SVM、C4.5、1-TSK-FS),訓(xùn)練和測(cè)試精度仍具有優(yōu)勢(shì)。
表4 對(duì)比分類模型的測(cè)試精度Tab.4 Testing performance of comparison classification models
VR-MV-CM在50次運(yùn)行后,在訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集上共約減的視角數(shù)的平均值為12.1和11.4。通過(guò)將這50次約減的視角交集從測(cè)試數(shù)據(jù)集中剔除,然后重新運(yùn)行對(duì)比算法(包括VR-MV-CM在δm=0時(shí))。從表3和表4的第4列可看出,在剔除噪聲視角或弱相關(guān)視角后,所有決策模型的訓(xùn)練和測(cè)試精度均有所提高,這再次印證了本文所提出的VR-MV-CM進(jìn)行噪聲視角或弱相關(guān)視角的有效性。
在服裝設(shè)計(jì)資源知識(shí)圖譜構(gòu)建過(guò)程中,為判定服裝裝飾工藝文本的類別,本文提出了一種具備噪聲視角或弱相關(guān)視角約減功能的多視角分類模型(VR-MV-CM)。該模型綜合考慮了視角之間的協(xié)同學(xué)習(xí)以及視角權(quán)重的學(xué)習(xí),同時(shí)利用約減規(guī)則過(guò)濾權(quán)重較低視角。這不僅充分挖掘了視角之間的潛在關(guān)聯(lián),同時(shí)也削減了噪聲視角或弱相關(guān)視角對(duì)于最后分類結(jié)果的影響。在服裝裝飾工藝文本分類實(shí)驗(yàn)中,VR-MV-CM能夠自動(dòng)剔除權(quán)重較低的視角,相比所引入的對(duì)比決策模型,具備更好的分類精度。在后續(xù)的研究中,將從文本資源拓展至圖像資源,進(jìn)一步驗(yàn)證模型的功能。
FZXB