神經(jīng)網(wǎng)絡(luò)搜索綜述

李濤

摘要：卷積神經(jīng)網(wǎng)絡(luò)在諸如目標(biāo)識(shí)別、物體檢測(cè)等任務(wù)上取得了優(yōu)異結(jié)果，然而設(shè)計(jì)一個(gè)性能優(yōu)異的網(wǎng)絡(luò)依賴(lài)于專(zhuān)家知識(shí)。神經(jīng)網(wǎng)絡(luò)搜索（NAS）致力于自動(dòng)化的設(shè)計(jì)出高性能的卷積神經(jīng)網(wǎng)絡(luò)，已經(jīng)成為深度學(xué)習(xí)領(lǐng)域中的一個(gè)研究熱點(diǎn)。在本文中，介紹了不同的神經(jīng)網(wǎng)絡(luò)搜索技術(shù)，并對(duì)每一種方法的優(yōu)點(diǎn)和局限性進(jìn)行了分析，最后指出了神經(jīng)網(wǎng)絡(luò)搜索領(lǐng)域存在的主要挑戰(zhàn)和未來(lái)的研究方向。

關(guān)鍵詞：深度學(xué)習(xí);卷積神經(jīng)網(wǎng)絡(luò);神經(jīng)網(wǎng)絡(luò)搜索

中圖分類(lèi)號(hào)：TP391 ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2020）17-0177-02

Abstract： Convolutional neural networks have achieved excellent results on tasks such as target recognition and object detection. However， designing a network with excellent performance depends on expert knowledge. Neural architecture search （NAS） is dedicated to the automated design of high-performance convolutional neural networks， which has become a research hotspot in the field of deep learning. In this paper， different neural architecture search techniques are reviewed， and the advantages and limitations of each method are analyzed. Finally， the main challenges and research directions in the field of neural architecture search are pointed out.

Key words： deep learning; convolutional neural networks; neural architecture search

1 引言

神經(jīng)網(wǎng)絡(luò)搜索（NAS）可以由三個(gè)部分組成，搜索空間、評(píng)估方法、搜索方法。搜索空間包含了所有可能被設(shè)計(jì)出的網(wǎng)絡(luò)結(jié)構(gòu)，評(píng)估方法用來(lái)評(píng)估網(wǎng)絡(luò)結(jié)構(gòu)性能，搜索方法決定了如何探索搜索空間并從中找出性能優(yōu)良的網(wǎng)絡(luò)結(jié)構(gòu)。接下來(lái)，將對(duì)這三部分進(jìn)行仔細(xì)地介紹。

2 神經(jīng)網(wǎng)絡(luò)搜索

2.1搜索空間

卷積神經(jīng)網(wǎng)絡(luò)由卷積層、池化層和全連接層組成，決定卷積層類(lèi)型的參數(shù)有卷積核大小、步長(zhǎng)、通道數(shù)以及卷積類(lèi)型等，決定池化層類(lèi)型的參數(shù)有池化核大小、步長(zhǎng)以及池化類(lèi)型等，決定全連接層類(lèi)型的參數(shù)則有通道數(shù)、激活函數(shù)等。卷積層、池化層以及全連接層可以看作組成卷積神經(jīng)網(wǎng)絡(luò)的基本構(gòu)件。通常，在神經(jīng)網(wǎng)絡(luò)搜索方法中，搜索空間的定義決定了使用哪些基本構(gòu)件以及如何使用這些基本構(gòu)件來(lái)組成一個(gè)完整的卷積神經(jīng)網(wǎng)絡(luò)。

在鏈?zhǔn)剿阉骺臻g中，卷積神經(jīng)網(wǎng)絡(luò)是由一系列的卷積層、池化層和全連接層像一條長(zhǎng)鏈那樣堆疊起來(lái)的，每一層只和之前的層存在連接。在鏈?zhǔn)剿阉骺臻g中，卷積神經(jīng)網(wǎng)絡(luò)可以被寫(xiě)成一個(gè)由多個(gè)網(wǎng)絡(luò)層組成的長(zhǎng)序列。因此，鏈?zhǔn)剿阉骺臻g通?？梢杂蓛深?lèi)參數(shù)決定，一是網(wǎng)絡(luò)的深度即網(wǎng)絡(luò)層的個(gè)數(shù)，二是每一網(wǎng)絡(luò)層的具體類(lèi)型，比如卷積層、池化層或者全連接層。比如，在Zoph[1]等人設(shè)計(jì)的搜索空間中，網(wǎng)絡(luò)是由不同的卷積層、池化層和全連接層按照鏈?zhǔn)巾樞蚪M成的，神經(jīng)網(wǎng)絡(luò)搜索方法需要預(yù)測(cè)每一網(wǎng)絡(luò)層的具體參數(shù)，比如通道數(shù)、步長(zhǎng)等。一些經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)通過(guò)使用跳躍連接大大提升了網(wǎng)絡(luò)的性能。很多神經(jīng)網(wǎng)絡(luò)搜索方法也在網(wǎng)絡(luò)搜索空間中的定義中使用了跳躍連接，這樣的搜索空間被稱(chēng)為多分支網(wǎng)絡(luò)搜索空間。多分支網(wǎng)絡(luò)搜索空間可以由兩部分參數(shù)決定，一是不同層之間的連接方式，二是每一個(gè)網(wǎng)絡(luò)層的具體類(lèi)型。基于多分支網(wǎng)絡(luò)搜索空間設(shè)計(jì)出的網(wǎng)絡(luò)結(jié)構(gòu)性能往往優(yōu)于基于鏈?zhǔn)剿阉骺臻g設(shè)計(jì)出的網(wǎng)絡(luò)結(jié)構(gòu)。

2.2評(píng)估方法

神經(jīng)網(wǎng)絡(luò)搜索方法需要對(duì)搜索出來(lái)的每一個(gè)網(wǎng)絡(luò)進(jìn)行性能評(píng)估。最簡(jiǎn)單的性能評(píng)估方法就是在訓(xùn)練集上完整訓(xùn)練網(wǎng)絡(luò)結(jié)構(gòu)，并在驗(yàn)證集上驗(yàn)證網(wǎng)絡(luò)結(jié)構(gòu)的性能。然而，由于搜索過(guò)程中需要評(píng)估成千上萬(wàn)個(gè)模型，使用這種評(píng)估方法至少需要消耗幾十天的搜索時(shí)間。因此，很多研究者致力于降低評(píng)估網(wǎng)絡(luò)性能需要的計(jì)算資源。One-shot[2]方法定義了一個(gè)超網(wǎng)絡(luò)，搜索空間中的網(wǎng)絡(luò)都是這個(gè)超網(wǎng)網(wǎng)絡(luò)的子網(wǎng)絡(luò)，并且權(quán)重都繼承自這個(gè)超網(wǎng)絡(luò)。由于只需要訓(xùn)練一個(gè)超網(wǎng)絡(luò)，one-shot方法能夠大大降低性能評(píng)估需要的計(jì)算資源?；诘捅Ｕ娴挠?xùn)練方法，則在訓(xùn)練過(guò)程中使用更少的訓(xùn)練數(shù)據(jù)、更少的訓(xùn)練批次或者更低分辨率的圖像，同樣降低了網(wǎng)絡(luò)性能評(píng)估需要消耗的計(jì)算資源。

2.3搜索方法

搜索方法決定了如何探索搜索空間并從中搜索到性能優(yōu)異的網(wǎng)絡(luò)結(jié)構(gòu)。進(jìn)化算法[3]是一種比較經(jīng)典的搜索方法，其通過(guò)模擬自然界的進(jìn)化過(guò)程探索搜索空間。在進(jìn)化算法中，單個(gè)網(wǎng)絡(luò)被看作進(jìn)化的基本單位個(gè)體，網(wǎng)絡(luò)的性能用來(lái)表示相應(yīng)個(gè)體的適應(yīng)度，適應(yīng)度高低來(lái)決定哪些網(wǎng)絡(luò)被選擇用來(lái)繁殖下一代個(gè)體，進(jìn)化算法通過(guò)執(zhí)行交叉、變異操作來(lái)具體產(chǎn)生下一代個(gè)體。通過(guò)模擬自然選擇的過(guò)程，進(jìn)化算法能夠設(shè)計(jì)出高性能的網(wǎng)絡(luò)結(jié)構(gòu)。強(qiáng)化學(xué)習(xí)算法[1]是另一種比較經(jīng)典的搜索算法。在強(qiáng)化學(xué)習(xí)中，一個(gè)智能體負(fù)責(zé)設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)，其設(shè)計(jì)出來(lái)的網(wǎng)絡(luò)結(jié)構(gòu)的性能被用作獎(jiǎng)勵(lì)來(lái)更新智能體，使得智能體能夠設(shè)計(jì)出性能更加優(yōu)異的網(wǎng)絡(luò)結(jié)構(gòu)。可導(dǎo)的網(wǎng)絡(luò)搜索方法[4]，則將網(wǎng)絡(luò)結(jié)構(gòu)的搜索和網(wǎng)絡(luò)參數(shù)的訓(xùn)練結(jié)合起來(lái)，將網(wǎng)絡(luò)結(jié)構(gòu)看作一種可以訓(xùn)練的參數(shù)，通過(guò)梯度傳播的方式訓(xùn)練網(wǎng)絡(luò)參數(shù)以及網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)，從而搜索到具體的網(wǎng)絡(luò)結(jié)構(gòu)。

3 挑戰(zhàn)和未來(lái)方向

目前大多數(shù)神經(jīng)網(wǎng)絡(luò)搜索方法都用來(lái)處理分類(lèi)任務(wù)，將神經(jīng)網(wǎng)絡(luò)搜索方法應(yīng)用到網(wǎng)絡(luò)壓縮、生成模型、語(yǔ)義分割等任務(wù)上成了一種迫切的需要。其次，如何處理多目標(biāo)任務(wù)的需求也是神經(jīng)網(wǎng)絡(luò)搜索方法面臨的一個(gè)挑戰(zhàn)，比如如何設(shè)計(jì)出高性能、低復(fù)雜度的網(wǎng)絡(luò)。此外，搜索空間決定了設(shè)計(jì)出的網(wǎng)絡(luò)結(jié)構(gòu)性能的上限，然而大多數(shù)神經(jīng)網(wǎng)絡(luò)搜索方法把研究重點(diǎn)放在性能評(píng)估和搜索方法上，因此迫切需要增加對(duì)搜索空間的研究。最后，不同的神經(jīng)網(wǎng)絡(luò)搜索方法使用數(shù)據(jù)集不同，消耗計(jì)算資源不同，設(shè)計(jì)出的網(wǎng)絡(luò)復(fù)雜度不用，采用的正則化技術(shù)也不同，簡(jiǎn)單地使用設(shè)計(jì)出的網(wǎng)絡(luò)性能來(lái)比較不同的神經(jīng)網(wǎng)絡(luò)搜索方法并不公平，因此迫切需要制定一個(gè)基準(zhǔn)來(lái)評(píng)價(jià)不同的神經(jīng)網(wǎng)絡(luò)搜索方法。

4 總結(jié)

本文是對(duì)神經(jīng)網(wǎng)絡(luò)搜索方法的全面綜述。神經(jīng)網(wǎng)絡(luò)搜索方法可以由三個(gè)部分組成，搜索空間、搜索方法、評(píng)估方法，本文針對(duì)這三個(gè)部分進(jìn)行了全面的介紹。最后，本文針對(duì)神經(jīng)網(wǎng)絡(luò)搜索所面臨的挑戰(zhàn)和未來(lái)的研究方向進(jìn)行了探討。隨著深度學(xué)習(xí)的發(fā)展，能夠自動(dòng)化的設(shè)計(jì)出性能優(yōu)異網(wǎng)絡(luò)結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)搜索方法也將會(huì)越來(lái)越受到重視，本文能夠?yàn)橄嚓P(guān)研究者提供一定程度的參考。

參考文獻(xiàn)：

[1] Zoph B， Le Q V. Neural architecture search with reinforcement learning[J]. arXiv preprint arXiv：1611.01578， 2016.

[2] Bender G. Understanding and simplifying one-shot architecture search[J]. 2019.

[3] Real E， Moore S， Selle A， et al. Large-scale evolution of image classifiers[C]//Proceedings of the 34th International Conference on Machine Learning-Volume 70. JMLR. org， 2017：.

[4] Liu H， Simonyan K， Yang Y. Darts： Differentiable architecture search[J]. arXiv preprint arXiv：1806.09055， 2018.

【通聯(lián)編輯：唐一東】