基于邊緣特征的圖神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索

周 鵬，楊 軍*，2

（1.蘭州交通大學(xué) 電子與信息工程學(xué)院，蘭州 730070；2.蘭州交通大學(xué) 測繪與地理信息學(xué)院，蘭州 730070）

以AlexNet［1］，GoogleNet［2］和RCNN［3］為代表的 人工設(shè)計神經(jīng)網(wǎng)絡(luò)在圖像分類、分割和目標(biāo)檢測等計算機(jī)視覺領(lǐng)域取得了很大成功.人工設(shè)計網(wǎng)絡(luò)架構(gòu)需要進(jìn)行不斷重復(fù)實(shí)驗(yàn)，消耗了大量的人力和計算資源，且依賴專家經(jīng)驗(yàn)，專家需要重新設(shè)計算法適應(yīng)新任務(wù).因此，通過算法自動搜索出優(yōu)秀的網(wǎng)絡(luò)架構(gòu)逐漸成為該領(lǐng)域的研究熱點(diǎn).神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索（neural architecture search，NAS）旨在預(yù)定義的搜索空間中由搜索策略找到針對特定數(shù)據(jù)集的候選網(wǎng)絡(luò)架構(gòu)，通過性能評估策略對候選架構(gòu)進(jìn)行評估，將評估結(jié)果反饋到搜索策略，再由搜索算法調(diào)整搜索策略，通過不斷重復(fù)搜索過程，直到發(fā)現(xiàn)最優(yōu)的神經(jīng)網(wǎng)絡(luò)架構(gòu).NAS在計算機(jī)視覺領(lǐng)域的表現(xiàn)已經(jīng)達(dá)到，甚至超過人工設(shè)計的深度神經(jīng)網(wǎng)絡(luò)，但仍需要耗費(fèi)巨大的計算資源評估網(wǎng)絡(luò)架構(gòu).可微分架構(gòu)搜索（differentiable architecture search，DARTS）［4］通過連續(xù)松弛化原有離散搜索策略，利用梯度下降法優(yōu)化網(wǎng)絡(luò)架構(gòu)，但離散化得到的子網(wǎng)與超網(wǎng)之間存在性能差距，子網(wǎng)需要重新訓(xùn)練，導(dǎo)致搜索結(jié)果不穩(wěn)定.文獻(xiàn)［5］對DARTS算法進(jìn)行了改進(jìn)，所提出的sharpDARTS引入余弦冪次退火算法對學(xué)習(xí)率進(jìn)行更新，借助正則化方法糾正DARTS算法中的性能差距，降低了基于梯度算法消耗內(nèi)存過大的問題；文獻(xiàn)［6］提出漸進(jìn)式可微分結(jié)構(gòu)搜索（progressive differentiable architecture search，P-DARTS）算法，使用搜索空間正則化來提高搜索的穩(wěn)定性，并逐步增加網(wǎng)絡(luò)層數(shù)以減少內(nèi)存消耗；文獻(xiàn)［7］提出連續(xù)貪婪策略搜索算法（sequential greedy architecture search，SGAS），優(yōu)化了搜索過程和驗(yàn)證過程準(zhǔn)確率差異的問題.

近年來，研究者將NAS應(yīng)用于圖機(jī)器學(xué)習(xí)領(lǐng)域，稱為圖神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索（graph neural architecture search，GNAS）.文獻(xiàn)［8］首次用NAS算法來解決圖神經(jīng)網(wǎng)絡(luò)（graph neural network，GNN）中的架構(gòu)搜索，實(shí)現(xiàn)了基于強(qiáng)化學(xué)習(xí)的圖神經(jīng)架構(gòu)自動設(shè)計；文獻(xiàn)［9］提出邊緣特征圖注意力網(wǎng)絡(luò)，將圖神經(jīng)網(wǎng)絡(luò)的使用擴(kuò)展到具有節(jié)點(diǎn)和邊緣特征的任務(wù)，但該方法缺乏不同的更新函數(shù)來計算邊緣特征；NENN由節(jié)點(diǎn)級注意力層和邊緣級注意力層構(gòu)建網(wǎng)絡(luò)模型，交替地將2種注意力層堆疊，并在相應(yīng)的級別上學(xué)習(xí)節(jié)點(diǎn)和邊緣的特征［10］；文獻(xiàn)［11］提出索引邊緣幾何卷積神經(jīng)網(wǎng)絡(luò)模型，將不同層的輸出特征映射并進(jìn)行索引跳躍連接，使局部特征信息損失進(jìn)一步降低.圖神經(jīng)網(wǎng)絡(luò)的廣泛應(yīng)用，使得基于復(fù)雜圖結(jié)構(gòu)數(shù)據(jù)的任務(wù)，如點(diǎn)云分類、社會關(guān)系網(wǎng)絡(luò)分析、專家推薦系統(tǒng)及化學(xué)分子性質(zhì)預(yù)測等問題得以高效解決，然而，GNN的可擴(kuò)展性會導(dǎo)致計算成本增加，并隨著層級的深入呈指數(shù)增長，在對點(diǎn)云分類等大規(guī)模計算時挑戰(zhàn)巨大.

綜上所述，目前圖神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索注重研究實(shí)體的特征信息，忽略了邊緣上的潛在高階信息與多層次關(guān)系特征之間的依賴，設(shè)計高效提取邊緣特征的圖神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索空間與搜索算法，依然是一個需要研究的問題.本文提出邊緣特征圖神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索（edge feature graph neural architecture search，EFGNAS）的方法，首先，在搜索空間中設(shè)計用于提取邊緣特征的候選操作，將邊緣與實(shí)體視為等價體，利用雙層優(yōu)化方法同步更新實(shí)體和邊緣的高階信息，采用邊緣卷積同步提取局部和全局邊緣特征，以提高圖神經(jīng)網(wǎng)絡(luò)架構(gòu)的搜索性能；其次，設(shè)計基于邊緣特征的圖神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索空間，用于實(shí)體和邊緣的更新；最后，提出基于邊緣特征提取的圖神經(jīng)網(wǎng)絡(luò)搜索算法，采用雙層優(yōu)化方法實(shí)現(xiàn)三維點(diǎn)云模型的分類.

1 搜索空間與搜索算法設(shè)計

本文采用邊緣卷積的方法提取三維點(diǎn)云特征，通過邊緣特征提取的方法對NAS的搜索空間進(jìn)行優(yōu)化設(shè)計，使用分組卷積提升搜索效率，并設(shè)計基于雙層優(yōu)化的圖神經(jīng)架構(gòu)搜索算法.

1.1 點(diǎn)云特征提取

首先，計算全局點(diǎn)云特征.在三維點(diǎn)云中任選一點(diǎn)，計算以該點(diǎn)為中心的球形鄰域，通過迭代提取全局點(diǎn)云特征.其次，計算局部點(diǎn)云特征.采用邊緣卷積構(gòu)造局部鄰域圖，在逐層卷積相鄰邊緣的過程中，輸出每一層在新特征空間的點(diǎn)云結(jié)構(gòu)圖，得到一個新的局部區(qū)域；以中心點(diǎn)、中心點(diǎn)與鄰域點(diǎn)間距離為參數(shù)，計算點(diǎn)云局部特征.最后，由非對稱邊緣函數(shù)根據(jù)全局信息與局部信息計算三維點(diǎn)云邊緣特征.

設(shè)G=（v，ε）為點(diǎn)云結(jié)構(gòu)圖，其中：v=｛v1，v2，…，vn｝表示點(diǎn)；ε表示邊.G中包含每個點(diǎn)的自循環(huán)，即每個點(diǎn)存在指向自身的邊.給定?vi，構(gòu)造以vi為中心的球形鄰域N（vi），

其中：r表示鄰域半徑.當(dāng)?shù)玫饺舾舌徲蚝?，計算中心點(diǎn)vi的邊緣特征的輸出v′i，

其中：hθ（vi，vj）表示邊緣特征；hθ為包含可學(xué)習(xí)參數(shù)θ的非線性邊緣函數(shù)；Φ表示對邊緣特征進(jìn)行通道對稱聚合.邊緣函數(shù)hθ與聚合操作Φ決定邊緣特征的輸出.針對三維點(diǎn)云特征提取，分為以下3種情況：

1）當(dāng)hθ（vi，vj）=hθ（vi）時，表示對全局點(diǎn)云進(jìn)行特征提取，不考慮局部鄰域結(jié)構(gòu).這種類型的特征提取方式在PointNet［12］中被使用，因此，可以看作是邊緣特征提取的一種特殊形式.

2）當(dāng)hθ（vi，vj）=hθ（vj-vi）時，表示僅對局部點(diǎn)云進(jìn)行特征提取，而不考慮全局結(jié)構(gòu).

3）當(dāng)hθ（vi，vj）=hθ（vi，vj-vi）時，表示既考慮全局點(diǎn)云特征提取，又考慮局部鄰域信息，是本文采取的特征提取方式.

邊緣特征融合點(diǎn)間局部關(guān)系和全局信息，在得到若干個邊緣特征后，進(jìn)行最大池化操作，得到該局部區(qū)域的單一特征，以這種方式進(jìn)行多層卷積疊加，逐層提取并整合局部特征信息.

1.2 搜索空間設(shè)計

GNN可表示為使用消息傳遞機(jī)制工作的網(wǎng)絡(luò)，其每一層有一個聚合函數(shù)g和一個基于神經(jīng)網(wǎng)絡(luò)的更新函數(shù)u.在圖G中，給定?vs表示序號為s的節(jié)點(diǎn)，χt-1s表示節(jié)點(diǎn)vs在時間步長t-1的特征，消息向量mts是由節(jié)點(diǎn)vs的鄰域點(diǎn)集Ns通過聚合函數(shù)計算得到，節(jié)點(diǎn)的特征χts由更新函數(shù)u和消息向量mts計算得到，如式（3）所示.

通過這種消息傳遞方式，在T層的GNN網(wǎng)絡(luò)中，消息以T個時間步長進(jìn)行傳遞.該方法在處理結(jié)構(gòu)化的二維圖像和序列化的信息等固定格式數(shù)據(jù)時非常有效，而對于數(shù)據(jù)量大、鄰域數(shù)據(jù)集多的大型圖結(jié)構(gòu)，處理的效率和穩(wěn)定性較低.為提高GNN在三維點(diǎn)云分類中的性能，本文采用網(wǎng)絡(luò)架構(gòu)搜索的方式構(gòu)建分類網(wǎng)絡(luò).網(wǎng)絡(luò)架構(gòu)搜索是一個逐步求精的過程，通過丟棄特征提取不佳的候選操作得到最優(yōu)的網(wǎng)絡(luò)架構(gòu).

采用圖神經(jīng)網(wǎng)絡(luò)的目的是尋找一種單元作為最終架構(gòu)的構(gòu)建模塊，每個單元是由M個節(jié)點(diǎn)的有序序列組成的有向無環(huán)圖（directed acyclic graph，DAG），每個節(jié)點(diǎn)之間的信息通過節(jié)點(diǎn)間的邊傳遞，每條邊包含若干候選操作和相應(yīng)的網(wǎng)絡(luò)架構(gòu)參數(shù)α，搜索空間中候選操作選擇流程如圖1所示.通常采用梯度下降的方法同時優(yōu)化網(wǎng)絡(luò)架構(gòu)參數(shù)α和權(quán)重參數(shù)ω，對α的優(yōu)化可提高最終訓(xùn)練的準(zhǔn)確率，對ω的優(yōu)化可以加快訓(xùn)練準(zhǔn)確率的提升，圖神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索的最小單位稱為搜索單元（cell）.圖1（a）表示搜索算法需從搜索空間中選擇候選操作；圖1（b）中，搜索空間中有預(yù)先設(shè)計的諸多候選操作，由搜索策略組合不同的候選操作，再由評估策略對組合后的網(wǎng)絡(luò)架構(gòu)進(jìn)行性能評估，保留對性能提升貢獻(xiàn)大的候選操作，最終得到目標(biāo)架構(gòu)，如圖1（c）所示.

圖1 基于有向無環(huán)圖的神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索決策過程Fig.1 Decision process of neural architecture search based on directed acyclic graph

在搜索空間中，采用的候選操作有rel_sage［7］，edge_conv［13］，mr_conv［14］，gat［15］，semi_gcn［16］，gin［17］，sage［18］，conv-1×1，skip-connect，EdgeConvDiff，EdgeGroupConv，EdgeGroupConvDiff，其中：conv-1×1是一個基本卷積操作；skip-connect表示跳躍連接操作；EdgeConvDiff，EdgeGroupConv與EdgeGroupConvDiff為本文新設(shè)計的候選操作，EdgeConvDiff為采用邊緣卷積提取三維點(diǎn)云全局特征，EdgeGroupConv為采用邊緣卷積提取三維點(diǎn)云局部特征，EdgeGroupConvDiff為采用邊緣卷積提取三維點(diǎn)云全局與局部特征，EdgeGroupConv與EdgeGroupConvDiff候選操作中引入了分組卷積和通道洗牌操作.

DAG圖中的每一個節(jié)點(diǎn)代表一個特征圖，用Vi表示，i為節(jié)點(diǎn)的序號，特征圖之間的連線表示候選操作，每一條連線都存在與相連節(jié)點(diǎn)相關(guān)的混合操作O（i，j），這些操作通過節(jié)點(diǎn)之間的關(guān)系特征E（i，j）將信息從Vi傳遞到Vj，如圖1中，V0為輸入，V3為輸出，V1，V2為中間節(jié)點(diǎn)，中間節(jié)點(diǎn)既是輸入節(jié)點(diǎn)，又是輸出節(jié)點(diǎn)，并攜帶上一步的狀態(tài)信息z，由前驅(qū)節(jié)點(diǎn)計算得到

其中：1≤j≤M.初始節(jié)點(diǎn)V0表示輸入一個實(shí)體信息，中間節(jié)點(diǎn)由輸入節(jié)點(diǎn)Vi、關(guān)系特征E（i，j）及狀態(tài)z經(jīng)過混合操作O進(jìn)行加權(quán)計算.

綜上所述，本文針對三維點(diǎn)云分類設(shè)計搜索空間.如圖2（a）所示，在搜索空間中，點(diǎn)云特征的提取基于圖卷積網(wǎng)絡(luò)，vi為中心點(diǎn)，vik表示vi的鄰域，eik為vi和vik構(gòu)成的邊（k=1，2，…，n）；圖2（b）表示采用邊緣卷積的方法提取點(diǎn)云全局和局部特征，hθ為非線性邊緣函數(shù).由于點(diǎn)云模型具有無序性、稀疏性、數(shù)據(jù)有限性等特點(diǎn)，使采用圖卷積網(wǎng)絡(luò)的處理效率不高.因此，為了提高點(diǎn)云的分類效率，本文采用組卷積方式對輸入的特征圖進(jìn)行分組，如圖2（c）所示，共分為2組，每組分別卷積，再由通道洗牌操作促使特征信息跨特征通道傳遞；組卷積從不同組中獲取輸入數(shù)據(jù)，輸入和輸出通道完全相關(guān)；對于由前一組生成的特征映射，將每一組內(nèi)的通道劃分為不同的子組，然后把不同的子組提供給下一層，這一過程由通道洗牌操作完成.通道洗牌是可微的，可以嵌入到網(wǎng)絡(luò)架構(gòu)進(jìn)行端到端訓(xùn)練，這使得構(gòu)建具有多組卷積層的網(wǎng)絡(luò)架構(gòu)成為可能.

1.3 基于雙層優(yōu)化的搜索算法

搜索空間A由不同的候選操作構(gòu)成，旨在處理復(fù)雜的圖結(jié)構(gòu)數(shù)據(jù)，傳遞不同類型的神經(jīng)網(wǎng)絡(luò)消息.為提高GNN處理三維點(diǎn)云的效率和穩(wěn)定性，本文采用基于雙層優(yōu)化的自動架構(gòu)搜索算法.GNAS可定義為一個雙層優(yōu)化過程，在給定的圖搜索空間A中找到一個最優(yōu)的神經(jīng)網(wǎng)絡(luò)架構(gòu)α*∈A，同時使驗(yàn)證損失函數(shù)Lval（·）的值最小.通過使訓(xùn)練損失函數(shù)Ltrain（·）最小化，得到與網(wǎng)絡(luò)架構(gòu)相關(guān)的可訓(xùn)練權(quán)重ω*，表示如下：

在DAG中，搜索算法根據(jù)預(yù)定義的選擇策略，在每一次迭代決策過程中，選擇一條邊，然后更新權(quán)重參數(shù)ω，當(dāng)架構(gòu)參數(shù)α值最大時，選擇對應(yīng)的邊，同時裁剪掉局部α值最小時對應(yīng)的邊；隨著裁剪的執(zhí)行，剩余的參數(shù)將形成一個新的子問題，并進(jìn)行迭代求解；在最后的搜索過程中，可以獲得一個獨(dú)立的無需共享權(quán)重架構(gòu).算法步驟如下：首先，定義GNAS的架構(gòu)參數(shù)為α，網(wǎng)絡(luò)權(quán)重為ω，迭代次數(shù)為L，為抑制網(wǎng)絡(luò)過擬合，提高網(wǎng)絡(luò)的魯棒性和泛化能力，本文引入正則化方法規(guī)范架構(gòu)參數(shù)的優(yōu)化過程，定義正則化系數(shù)λl和正則化項(xiàng)rl，l∈｛1，2，…，L｝，正則化項(xiàng)rl通過計算架構(gòu)參數(shù)指數(shù)和的對數(shù)后，再計算其平均值得出，用pytorch語言表示為rl=torch.mean（torch.logsumexp（self.model._arch_parameters，dim=-1））；其次，計算▽ALval（ω，α）+λlrl，以逐步更新網(wǎng)絡(luò)架構(gòu)參數(shù)α，并且計算▽ωLtrain（ω，α），以逐步更新網(wǎng)絡(luò)權(quán)重ω，如果當(dāng)前的迭代過程是決策過程，則選擇網(wǎng)絡(luò)架構(gòu)參數(shù)α值最大時對應(yīng)的邊，并在新選擇的邊上更新相關(guān)候選操作，再裁剪未被選中的網(wǎng)絡(luò)架構(gòu)參數(shù)α和權(quán)重參數(shù)ω；最后，根據(jù)選擇到的候選操作組成目標(biāo)架構(gòu).

2 仿真實(shí)驗(yàn)與結(jié)果分析

2.1 在ModelNet10數(shù)據(jù)集上的搜索實(shí)驗(yàn)

ModelNet［19］常用于三維模型分類，它包含ModelNet40和ModelNet10 2個數(shù)據(jù)集.ModelNet40含有40類12 311個CAD數(shù)據(jù)模型，其中：9 843個數(shù)據(jù)模型用于訓(xùn)練；2 468個數(shù)據(jù)模型用于測試.Model-Net10是ModelNet40的子集，包含10類，共4 899個CAD數(shù)據(jù)模型，其中：3 991個模型用于訓(xùn)練；908個模型用于測試.本文采用GNAS的網(wǎng)絡(luò)架構(gòu)搜索方法，在ModelNet10數(shù)據(jù)集上進(jìn)行搜索，在Model-Net40數(shù)據(jù)集上進(jìn)行測試.

2.1.1 搜索空間參數(shù)設(shè)置

搜索空間的主干網(wǎng)絡(luò)由6個normal cell和2個reduction cell構(gòu)成，其中：reduction cell位于網(wǎng)絡(luò)1/3和2/3處，其余為normal cell.設(shè)置normal cell的卷積層步長為1，reduction cell的卷積層步長為2.共有12個候選操作，如1.2節(jié)所述.

2.1.2 訓(xùn)練參數(shù)設(shè)置

本文在ModelNet10數(shù)據(jù)集訓(xùn)練和驗(yàn)證，初始通道數(shù)設(shè)置為32個，采樣點(diǎn)為1 024個，初始cell數(shù)設(shè)置為2個，迭代次數(shù)設(shè)置為50次，輸入批量大小設(shè)置為32個，初始學(xué)習(xí)率的值為0.005，動量值為0.9，權(quán)重衰減值為3×10-4.采用隨機(jī)梯度下降（stochastic gradient descent，SGD）優(yōu)化模型權(quán)重.設(shè)置初始迭代9次之后開始做決策選擇，每迭代7次做出一次搜索決策.由于硬件資源的局限性，批量值設(shè)置過大，會耗費(fèi)更多的計算資源，達(dá)到相同準(zhǔn)確率所需的迭代數(shù)量增多，同時梯度震蕩嚴(yán)重，不利于收斂；批量值設(shè)置過小，不同批量計算時梯度方向變化過小，容易陷入局部極小值.本文采用批量值動態(tài)調(diào)整策略，當(dāng)出現(xiàn)搜索決策時，將批量值設(shè)置為“批量值+當(dāng)前迭代次數(shù)”，從仿真實(shí)驗(yàn)可以看出，該策略平均測試GPU時長為0.284 3 d，而消融實(shí)驗(yàn)中平均測試GPU時長為1.027 2 d，采用該策略的訓(xùn)練耗時大幅降低.

2.2 在ModelNet40數(shù)據(jù)集上的測試實(shí)驗(yàn)

本文在ModelNet10數(shù)據(jù)集上，通過6個不同子實(shí)驗(yàn)得到6個網(wǎng)絡(luò)架構(gòu)，分別命名為EFGNAS_1，EFGNAS_2，EFGNAS_3，EFGNAS_4，EFGNAS_5和EFGNAS_6.在ModelNet40數(shù)據(jù)集上測試，搜索出6個網(wǎng)絡(luò)架構(gòu)，得到三維點(diǎn)云分類的結(jié)果.將搜索的單元堆疊3次，采樣點(diǎn)為1 024個，通道數(shù)設(shè)置為128個，評估過程迭代次數(shù)設(shè)置為250次，批量大小設(shè)置為32個.使用Adam優(yōu)化模型權(quán)重，權(quán)重衰減值為1×10-4，學(xué)習(xí)率的值為0.001.測試結(jié)果見表1.

從表1可以看出：在ModelNet10數(shù)據(jù)集上訓(xùn)練時，網(wǎng)絡(luò)收斂快，隨著損失的穩(wěn)步降低，訓(xùn)練準(zhǔn)確率逐步上升，最高達(dá)到97.24%，而驗(yàn)證分類準(zhǔn)確率最高為90.23%，測試分類準(zhǔn)確率最高為93.42%.研究分類準(zhǔn)確率與GPU時長、參數(shù)量的關(guān)系得知：在同樣的迭代次數(shù)下，最優(yōu)網(wǎng)絡(luò)架構(gòu)所對應(yīng)的測試分類準(zhǔn)確率與訓(xùn)練和測試所耗費(fèi)的GPU時長、參數(shù)量沒有直接的對應(yīng)關(guān)系.

表1 EFGNAS在ModelNet數(shù)據(jù)集上的分類效果Tab.1 Classification accuracy of EFGNASon ModelNet

為了進(jìn)一步說明本文算法的性能，圖3給出了EFGNAS的分類準(zhǔn)確率與迭代次數(shù)的關(guān)系曲線圖.在圖3（a）中，模型的分類準(zhǔn)確穩(wěn)步提升，從訓(xùn)練開始到第25次迭代，性能提升較快，在35～50次迭代中，前期表現(xiàn)較差的訓(xùn)練過程分類準(zhǔn)確率提升較快，逐步接近最佳分類準(zhǔn)確率；由圖3（b）和圖3（c）可知，在驗(yàn)證和測試過程中，前10次迭代的性能提升比較快，在11～15次迭代過程中，性能出現(xiàn)大幅下降，之后又出現(xiàn)逐步提升.可見，在數(shù)據(jù)量較小的ModelNet10數(shù)據(jù)集上，容易出現(xiàn)過擬合的情況，通過引入的正則化項(xiàng)后，在一定程度上抑制了過擬合的產(chǎn)生，保證了在小數(shù)據(jù)量模型時訓(xùn)練的正常進(jìn)行.

圖3 EFGNAS在訓(xùn)練、驗(yàn)證與測試中的分類準(zhǔn)確率與迭代次數(shù)關(guān)系曲線圖Fig.3 Plot of classification accuracy with iterations in training，validation and testing by EFGNAS

圖4為搜索出來的6個網(wǎng)絡(luò)架構(gòu)的圖形化表示，其中：c_｛k｝為所有中間節(jié)點(diǎn)的深度連接，表示當(dāng)前網(wǎng)絡(luò)架構(gòu)的輸出；c_｛k-1｝和c_｛k-2｝分別表示第k-1，k-2個網(wǎng)絡(luò)架構(gòu)的輸出.從圖4可以看出：搜索結(jié)果中均出現(xiàn)本文所設(shè)計的EdgeConvDiff，EdgeGroupConv與EdgeGroupConvDiff等候選操作；測試分類準(zhǔn)確率前3位分別為圖4（a）、圖4（c）和圖4（f）的網(wǎng)絡(luò)結(jié)構(gòu)，新設(shè)計的候選操均出現(xiàn)2次，在圖4（d）中出現(xiàn)3次，但圖4（d）所對應(yīng)的網(wǎng)絡(luò)架構(gòu)測試分類準(zhǔn)確率并不是最高，可見架構(gòu)性能的優(yōu)劣和整體架構(gòu)中所有候選操作及其構(gòu)成方式有很大關(guān)系.

圖4 EFGNAS生成架構(gòu)的圖形化表示Fig.4 Gaphing of the searched architecture by EFGNAS

EFGNAS與人工設(shè)計的網(wǎng)絡(luò)架構(gòu)、自動搜索的架構(gòu)在三維點(diǎn)云模型上的分類準(zhǔn)確率、參數(shù)量和所需GPU時長對比結(jié)果見表2，其中：manual表示人工設(shè)計的網(wǎng)絡(luò)架構(gòu).

由表2可知：本文方法EFGNAS（最佳值）與SGAS相比，參數(shù)量增加0.044 3 MB，所占用的GPU時長比SGAS減少0.031 2 d，分類準(zhǔn)確率提升了1.42%，由于SGAS算法搜索空間中的候選操作沒有考慮到分組卷積和邊緣特征的提取，影響了分類準(zhǔn)確率的提升；與RBNAS相比，本文方法EFGNAS（最佳值）的分類準(zhǔn)確率提高了0.32%，參數(shù)量減少了0.204 3 MB，GPU時長增加了0.108 8 d，原因是RBNAS算法資源平衡型漸進(jìn)式剪枝的思路存在對漸進(jìn)系數(shù)的過分依賴；與NoisyDARTS相比，本文方法EFGNAS（最佳值）的分類準(zhǔn)確率提高了0.52%，參數(shù)量減少了4.574 3 MB，GPU時長增加了0.118 8 d，原因是NoisyDARTS在候選操作中添加了噪聲，使候選操作之間公平競爭，特別是對跳躍連接的過快增長起到了一定的抑制作用，但是與選擇的噪聲及特定的數(shù)據(jù)集密切相關(guān)，且泛化能力較弱；本文在SGAS的基礎(chǔ)上，采用邊緣卷積的方法提取了點(diǎn)云的全局特征與局部特征，同時，為降低引入圖卷積導(dǎo)致計算成本的增加，采用分組卷積的方法提升了搜索效率，本算法的平均分類準(zhǔn)確率EFGNAS（平均值）為92.56%，最佳分類準(zhǔn)確率EFGNAS（最佳值）為93.42%，搜索到的最佳網(wǎng)絡(luò)架構(gòu)取得了較低的GPU運(yùn)行時長和參數(shù)量，且分類準(zhǔn)確率高于目前常見的人工設(shè)計和自動搜索的網(wǎng)絡(luò)架構(gòu)，說明采用邊緣卷積的方法能提取更豐富的點(diǎn)云特征.

表2 本文方法與其他方法在三維模型分類上的比較Tab.2 Comparison with the proposed method with other methods in three-dimensional classification

2.3 消融實(shí)驗(yàn)

為進(jìn)一步驗(yàn)證采用邊緣特征提取的方法對分類準(zhǔn)確率的影響，本文完成了未進(jìn)行邊緣特征提取的實(shí)驗(yàn)，實(shí)驗(yàn)名稱為EFGNAS*.實(shí)驗(yàn)所得到的分類準(zhǔn)確率、訓(xùn)練GPU時長、測試GPU時長和參數(shù)量見表3.從表1和表3可看出：EFGNAS（最佳值）測試分類準(zhǔn)確率較EFGNAS*（最佳值）提高了1.12%，尤其在測試GPU時長方面，較EFGNAS*降低了74%，因此，本文算法有效提升了搜索效率，且在測試分類準(zhǔn)確率有一定提升的前提下，網(wǎng)絡(luò)參數(shù)量和GPU運(yùn)行時長降低顯著.

表3 EFGNAS*在ModelNet數(shù)據(jù)集上的分類效果Tab.3 Classification accuracy of EFGNAS*on ModelNet

圖5為EFGNAS*在訓(xùn)練、驗(yàn)證與測試中的分類準(zhǔn)確率與迭代次數(shù)關(guān)系曲線圖.如圖5（a）所示，EFGNAS*在訓(xùn)練過程中，分類準(zhǔn)確率上升比較平穩(wěn)，6次訓(xùn)練中，最高分類準(zhǔn)確率為97.02%，比EFGNAS低0.22%，從開始訓(xùn)練到迭代10次，性能提升較快.其中：3次訓(xùn)練過程分類準(zhǔn)確率較低，在迭代的中后期，雖然性能有一定提升，但仍與最高分類準(zhǔn)確率存在差距，而EFGNAS前期性能提升較慢的訓(xùn)練過程在迭代的中后期提升較快，接近最高分類準(zhǔn)確率.由圖5（b）和圖5（c）可知：EFGNAS*的驗(yàn)證分類準(zhǔn)確率和測試分類準(zhǔn)確率在剛開始到第10次迭代過程中準(zhǔn)確率提升較快，之后出現(xiàn)大幅下降，且后期提升緩慢.對比圖3（b）和圖3（c）可知：本算法魯棒性較強(qiáng)，能有效抑制過擬合，分類準(zhǔn)確率上升平穩(wěn).

圖5 EFGNAS*在訓(xùn)練、驗(yàn)證與測試中的分類準(zhǔn)確率與迭代次數(shù)關(guān)系曲線圖Fig.5 Plot of classification accuracy with iterations in training，validation and testing by EFGNAS*

表4對比了EFGNAS和EFGNAS*分類準(zhǔn)確率的排序.

表4 2種不同網(wǎng)絡(luò)模型在訓(xùn)練、驗(yàn)證和測試中分類準(zhǔn)確率的排序Tab.4 Classification accuracy rank of two different network models in training，validation，and testing

將排序表示為肯德爾相關(guān)性系數(shù)時可以分析出不同排序的相關(guān)性.肯德爾相關(guān)系數(shù)又稱和諧系數(shù)，是一個用來測量2個隨機(jī)變量排序相關(guān)性的統(tǒng)計值，表示為

其中：c為所對比的2個序列中擁有一致性的元素對數(shù)；d表示序列中擁有不一致性的元素對數(shù)；n表示樣本量表示所有樣本兩兩組合的數(shù)量.一個肯德爾檢驗(yàn)是一個無參數(shù)假設(shè)檢驗(yàn)，它使用計算所得的相關(guān)系數(shù)去檢驗(yàn)2個隨機(jī)變量的統(tǒng)計依賴性.τ的取值范圍為［-1，1］，當(dāng)τ為1時，表示2個隨機(jī)變量擁有一致的等級相關(guān)性；當(dāng)τ為-1時，表示2個隨機(jī)變量擁有完全相反的等級.理想的NAS算法應(yīng)該具有較高的搜索-測試肯德爾相關(guān)性系數(shù)τ.

本實(shí)驗(yàn)對比EFGNAS和EFGNAS*的訓(xùn)練階段、驗(yàn)證階段和測試階段的肯德爾相關(guān)系數(shù).表5為EFGNAS和EFGNAS*分類準(zhǔn)確率排序的肯德爾相關(guān)系數(shù)值，由訓(xùn)練階段、驗(yàn)證階段和測試階段的分類準(zhǔn)確率排名計算所得.從表5和式（6）可知：EFGNAS訓(xùn)練階段與驗(yàn)證階段分類準(zhǔn)確率的τ值為0.333 3，EFGNAS*訓(xùn)練階段與驗(yàn)證階段分類準(zhǔn)確率的τ值為0.200 0；EFGNAS訓(xùn)練階段與測試階段分類準(zhǔn)確率的τ值為0.600 0，而EFGNAS*訓(xùn)練階段與測試階段分類準(zhǔn)確率的τ值為-0.066 7.以上數(shù)據(jù)說明EFGNAS在訓(xùn)練階段和驗(yàn)證階段、訓(xùn)練階段和測試階段均具有較高的相關(guān)性，同時也證明了EFGNAS模型的魯棒性較強(qiáng).

表5 EFGNAS和EFGNAS*分類準(zhǔn)確率肯德爾相關(guān)性系數(shù)Tab.5 Comparison of search-evaluation Kendall coefficients and classification accuracy by EFGNAS＆EFGNAS*

3 結(jié)論

針對目前大多數(shù)圖神經(jīng)網(wǎng)絡(luò)注重研究對象實(shí)體特征信息、忽略與邊相關(guān)的特征信息的問題，本文提出了基于邊緣特征提取的架構(gòu)搜索算法自動設(shè)計網(wǎng)絡(luò)架構(gòu).首先，提出了邊緣特征圖神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索的方法，設(shè)計了基于邊緣特征的搜索空間和搜索算法；其次，將邊緣與實(shí)體視為等價體，利用雙層優(yōu)化方法對實(shí)體信息和邊信息進(jìn)行了更新，采用邊緣卷積和通道洗牌操作，在有限的計算資源下，獲得了最佳的模型分類精度，并在速度和精度之間取得良好的平衡；最后，通過三維點(diǎn)云分類的實(shí)驗(yàn)，對所提出的方法進(jìn)行了驗(yàn)證.仿真實(shí)驗(yàn)結(jié)果表明：本文所提出的方法能提升網(wǎng)絡(luò)架構(gòu)搜索算法的效率，防止網(wǎng)絡(luò)過擬合，提高三維點(diǎn)云分類準(zhǔn)確率，具有較強(qiáng)的魯棒性.總的來說，目前圖神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索取得了一定的效果，但在處理深層網(wǎng)絡(luò)結(jié)構(gòu)、大規(guī)模數(shù)據(jù)時，其適應(yīng)性、可擴(kuò)展性和效率方面仍有很大的改進(jìn)空間.