基于深度學習的輪廓檢測算法：綜述

林川　曹以雋

摘??? 要：輪廓檢測旨在提取圖像中目標與背景環(huán)境的分界線，是計算機視覺研究領(lǐng)域中最基本的問題之一.深度學習技術(shù)作為直接從數(shù)據(jù)中學習特征表示的有效方法，近年來啟發(fā)輪廓檢測領(lǐng)域取得了顯著的突破.鑒于此，本文就基于深度學習的輪廓檢測研究領(lǐng)域的最新發(fā)展進行總結(jié)，具體包括：輪廓檢測任務(wù)中采用的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，相關(guān)訓練數(shù)據(jù)構(gòu)造、特征壓縮、上采樣、代價函數(shù)和輪廓細化等關(guān)鍵問題，輪廓檢測實驗中采用的通用數(shù)據(jù)集和性能評價指標.最后，分析了基于深度學習的輪廓檢測算法的挑戰(zhàn)和未來研究趨勢，以期為該領(lǐng)域的后續(xù)研究提供新思路及參考.

關(guān)鍵詞：深度學習;卷積神經(jīng)網(wǎng)絡(luò);計算機視覺;輪廓檢測

中圖分類號：TP391.4??????????? DOI：10.16375/j.cnki.cn45-1395/t.2019.02.001

0??? 引言

目標輪廓在人類視覺系統(tǒng)中起著重要作用.臨床醫(yī)學證據(jù)表明，當負責輪廓感知的大腦視覺皮層V1和V2區(qū)受損，會導致患者完全無法識別物體[1].在目標識別、目標檢測、機器人視覺和醫(yī)學圖像分析等計算機視覺的工程應(yīng)用上，需要或依賴一個性能優(yōu)秀輪廓檢測算法作為前置.因此，為輪廓檢測建立計算模型不僅有助于工程技術(shù)的發(fā)展，且能夠啟發(fā)認知科學和神經(jīng)科學在初級視覺皮層的基礎(chǔ)研究.

在計算機視覺任務(wù)中，輪廓的意義更傾向于人類經(jīng)驗上的概念而不是一個純粹的數(shù)學定義.每個人對于同目標圖像輪廓的理解和定義不盡相同，如圖1中所示的不同觀察者描繪的輪廓.由于人類判斷是唯一可以用來說明給定視覺特征是否是輪廓的標準，那么可以認為圖像中的輪廓是人類觀察者對描述物體分界有意義的線條集合[2].

早期的輪廓提取研究主要致力于目標的邊緣檢測，其核心思路通常是基于局部梯度算子的計算. Prewitt[3]通過構(gòu)造水平和垂直的局部梯度濾波器對灰度圖像的卷積計算檢測邊緣.隨后，Canny[4]提出了邊緣檢測的一個完整框架：首先，引入高斯濾波作為預處理以提取多個尺度下的圖像表示;然后，使用局部梯度算子提取輪廓圖;最后，使用非極大值抑制算法和雙閾值算法對邊緣圖像進行細化和二值化.

為了更好整合圖像整體和局部信息，一部分學者探索使用機器學習手段，把輪廓檢測任務(wù)看作是一個像素級的二分類任務(wù)，通過提取圖像的局部特征對像素進行分類.Martin等[5]提出了Pb算法，該方法提取了亮度（BG），顏色（CG）和紋理（TG）通道特征，并將這些局部特征作為目標像素點的分類特征，采樣邏輯回歸算法對像素分類.為了充分利用全局視覺信息，Arbelaez等[6]提出了一種全局Pb（global Pb，gPb）算法，該算法在多尺度Pb算法的基礎(chǔ)上通過計算全局圖像譜特征給予每個像素一個全局的概率.Arbelaez等[7]隨后提出多尺度分組算法（MCG），通過構(gòu)造圖像高斯金字塔，提取不同尺度下輪廓特征來識別輪廓.另一部分學者模擬初級視覺皮層細胞對視野中特定區(qū)域的刺激響應(yīng)，提出了生物啟發(fā)性的輪廓檢測方法[8- 9].這類算法通過模擬人類視覺系統(tǒng)中的視覺信息通路，以神經(jīng)生物學和生理學的發(fā)現(xiàn)為依據(jù)，通過對視網(wǎng)膜[8-11]，外膝體[12]到初級視覺皮層[8， 13-15]細胞的空間特性模擬，提出輪廓檢測的計算模型.

上述算法需要相當多的領(lǐng)域?qū)I(yè)知識和精細的處理算法設(shè)計，把原始圖像數(shù)據(jù)轉(zhuǎn)換成合適的表示或者特征向量，來構(gòu)造一個輪廓分類器或者輪廓模型.近幾年來，深度學習技術(shù)[16-17]已經(jīng)成為從原始數(shù)據(jù)中自動學習特征表示的高效方法.借助深度學習工具，尤其是卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks， CNNs），輪廓檢測任務(wù)有顯著的性能提高.如圖2所示，在伯克利分割數(shù)據(jù)集中?????????? （BSDS500），深度學習（實線）中得分最高的算法（F=0.815）比非深度學習（虛線）中得分最高的算法（F=0.744）在性能上高9.5%，且超過了人眼視覺的平均水平（F=0.803）.盡管如此，輪廓檢測任務(wù)依舊是一個有挑戰(zhàn)性的任務(wù)，原因在于：

1）輪廓的高精確性問題.定性和定量結(jié)果都表明，基于CNNs的輪廓圖在標準容忍度的匹配條件下，是高度“正確的”，而不是那么“精確的”[18].究其原因，是由于在CNNs的架構(gòu)下逐層的池化處理，使更具抽象辨別力的網(wǎng)絡(luò)頂層中特征的空間分辨率顯著降低，導致輸出的邊緣圖未能很好地定位.另外一個原因是，反卷積結(jié)構(gòu)在上采樣過程中鼓勵相鄰像素的響應(yīng)相似，導致無法產(chǎn)生精確的輪廓圖.

2）輪廓檢測的高效性問題.現(xiàn)有基于CNNs的輪廓檢測模型大多構(gòu)造一個大型的網(wǎng)絡(luò)來提高輪廓的性能.然而，作為一個中低層的計算機視覺任務(wù)，輪廓檢測的效率直接影響到后續(xù)頂層任務(wù)的處理速度.因此，如何在保證性能的同時，簡化網(wǎng)絡(luò)參數(shù)也是一個關(guān)鍵問題.

3）數(shù)據(jù)集規(guī)模及其場景選取問題.比如在BSDS500數(shù)據(jù)集中，圖像的大小為481×321像素，圖片則大多取自人物和動物的小范圍場景.然而，在更有挑戰(zhàn)性的大規(guī)模場景和大規(guī)模圖像數(shù)據(jù)集中，算法的性能依舊有很大的提高空間.

1??? 基于深度學習的輪廓檢測算法

深度學習技術(shù)非常擅于發(fā)現(xiàn)高維數(shù)據(jù)中錯綜復雜的潛在結(jié)構(gòu)，在計算機科學的研究中得到了廣泛的應(yīng)用.除了在圖像識別[17， 19-22]和語音識別[23]中的紀錄外，還在各種計算機視覺任務(wù)中取得了突破，例如輪廓檢測[18， 24-31]，顯著性檢測[32]，目標檢測[33-35]，語義分割[36-40]和實例分割[41-42].除了計算機視覺任務(wù)外，深度學習在自然語言理解的各種任務(wù)中得到了了非常有啟發(fā)性的結(jié)果，特別是主題分類，情感分析，問答系統(tǒng)[43]和語言翻譯[44].

作為深度學習中最契合視覺任務(wù)的算法，卷積神經(jīng)網(wǎng)絡(luò)（CNNs）在多個計算機視覺任務(wù)中取得了突破性的進展.圖3列出了CNNs網(wǎng)絡(luò)結(jié)構(gòu)發(fā)展的幾個關(guān)鍵節(jié)點（時間軸下方），和基于CNNs的輪廓檢測算法的時間節(jié)點（時間軸上方）.其中，以HED[27]為分界點，基于深度學習的輪廓檢測算法可以被分為兩個階段：基于局部區(qū)域的輪廓檢測算法和基于全局端到端的輪廓檢測算法.

1.1? 基于局部區(qū)域的輪廓檢測算法

在基于局部區(qū)域的輪廓檢測算法中，CNNs被視為局部圖像塊的特征提取器.如圖4所示，N4-field[24]、DeepContour[26]和DeepEdge[25]三種基于局部區(qū)域的算法核心步驟如下：1）以像素為中心提取大小相等的圖像塊;2）通過預訓練后的CNNs提取圖像塊中的特征;3）通過提取到的特征和手工標注的真實輪廓比較，獲得該圖像塊對應(yīng)像素的輪廓概率.上述算法的區(qū)別在于：

N4-field：受到CNNs在ImageNet數(shù)據(jù)集[45]中圖像識別任務(wù)上突破性進展的啟發(fā).Ganin等結(jié)合AlexNet[17]和最鄰近搜索，提出了第一個基于CNNs的輪廓檢測算法.如圖4所示，該算法分為以下幾個步驟： N×N大小的局部區(qū)域提取;對于每一個區(qū)域，通過預訓練的CNNs提取出1×M維的特征向量;使用最鄰近搜索算法尋找字典中該特征向量對應(yīng)的真實輪廓圖;對所有輸出重疊的局部圖像區(qū)域求平均獲得最后的輪廓輸出.在上述步驟中，難點在于CNN的訓練和字典的構(gòu)造.對于CNN的訓練，N4-field隨機采用局部自然圖像和經(jīng)過使用主成份分析（PCA）[46]算法降維后的局部真實輪廓圖像作為訓練數(shù)據(jù)，用以訓練CNN網(wǎng)絡(luò).特別地，該算法使用大量隨機采樣真實輪廓及其降維后的特征向量，構(gòu)造特征向量到局部輪廓圖的字典.

DeepContour：Shen等[26]結(jié)合了N4-field和Sketch tokens算法[47]的優(yōu)勢提出了DeepContour.DeepContour相比于N4-field有如下改進：1）把最后的最鄰近匹配過程看作一個多分類問題，提出了一個新的代價函數(shù);2）通過K-means算法，大量隨機采樣真實輪廓圖的局部區(qū)域，訓練得到輪廓的中層特征表達，來代替原始的輪廓底層表達.

DeepEdge：在早期基于機器學習的輪廓檢測算法中，由于傳統(tǒng)的特征提取算法很難充分發(fā)掘圖像的局部特征結(jié)構(gòu)，輪廓檢測一般被看作一個分類問題.然而，借助CNN的特征自動學習能力，Bertasius等[25]提出DeepEdge，把輪廓識別任務(wù)看作一個分類和回歸問題的綜合體.在算法結(jié)構(gòu)上，用局部圖像的多尺度采樣獲取圖片的多尺度信息，以卷積層和第一層全連接層為共享特征，添加分類分支和回歸分支，最后計算分類結(jié)果和回歸結(jié)果作為最后的輪廓輸出.

上述算法借助CNN的學習能力取得了良好的輪廓檢測性能，但該類基于局部區(qū)域的方法存在幾個顯著的缺陷：

1）高計算成本.CNN由于其結(jié)構(gòu)特點非常適用于并行計算，在現(xiàn)代計算機體系中，CNN通常使用GPU而不是CPU來加速計算（GPU通常比CPU在計算時間上少一到兩個數(shù)量級）.然而，基于局部區(qū)域的方法在采樣（CPU），CNN特征提取或分類（GPU），字典構(gòu)造或匹配（CPU）上頻繁的數(shù)據(jù)交換使得該類算法的計算成本很高.另外，大部分移動設(shè)備的存儲和計算能力有限，就更難以承受如此高的計算時間或空間成本.

2）高測試成本.在基于局部區(qū)域的方法中，如果出現(xiàn)性能或輪廓效果不佳的情況，很難判定算法產(chǎn)生瓶頸的原因.在設(shè)計算法和測試的過程中，是采樣窗口問題、CNN特征提取或CNN結(jié)構(gòu)設(shè)計問題，還是字典構(gòu)造問題需要逐個調(diào)試或測試.

1.2?? 基于全局端到端的輪廓檢測算法

由于基于局部區(qū)域的輪廓檢測算法存在上節(jié)提到的兩個缺陷，學者們更傾向開發(fā)統(tǒng)一的輪廓檢測策略.需要說明的是，本文所提的基于全局端到端的輪廓檢測算法，主要是采用CNN結(jié)構(gòu)直接預測圖像中每個像素是否是輪廓的概率，而不涉及局部采樣和后續(xù)匹配.這類方法簡單、高效且能充分發(fā)揮CNN的學習能力從而提高輪廓檢測的精確度.由于整個檢測過程采用單個網(wǎng)絡(luò)，因此可以直接在檢測性能上實現(xiàn)端到端的優(yōu)化.圖5給出的幾種基于全局端到端的輪廓檢測算法，主要是直接使用單個CNN做全局的特征學習，通過特征層的壓縮和上采樣解碼出原始分辨率的輪廓圖.

HED：受到全卷積神經(jīng)網(wǎng)絡(luò)（Fully convolutional networks，F(xiàn)CN）[36]算法的啟發(fā)，Xie等[27]在2015年提出了第一個端到端的輪廓檢測算法Holistically-Nested Edge Detection（HED）.該算法相比較于基于局部區(qū)域的輪廓檢測算法，通過一個更大規(guī)模的CNN提取圖像的全局特征，通過上采樣算法還原原始圖像的分辨率.整個網(wǎng)絡(luò)可以通過反向傳播算法直接訓練，極大地提高了實用性同時降低了計算和測試成本.具體地，HED算法的網(wǎng)絡(luò)結(jié)構(gòu)分為編碼和解碼網(wǎng)絡(luò)：

編碼網(wǎng)絡(luò)：該算法中編碼網(wǎng)絡(luò)的任務(wù)與一般的CNN類似，主要是圖像的特征提取;與AlexNet[17]網(wǎng)絡(luò)相比去掉了全連接層，而僅僅保留卷積層，降低了網(wǎng)絡(luò)參數(shù)的同時還對后續(xù)解碼網(wǎng)絡(luò)中圖像原始分辨率重建有積極的意義.

解碼網(wǎng)絡(luò)：由于CNN結(jié)構(gòu)上的特殊性，尤其是逐層的池化會降低圖像在高層的分辨率，因此，還原出原始分辨率的圖像就是解碼網(wǎng)絡(luò)的關(guān)鍵任務(wù). HED網(wǎng)絡(luò)的上采樣使用傳統(tǒng)的雙線性插值算法，在上采樣前，特征圖像通過一個卷積核為1×1大小的卷積層壓縮到單通道，而在最后則通過算法融合每一個分辨率的特征作為結(jié)果輸出.

RCF：Liu等[30]以HED網(wǎng)絡(luò)為基礎(chǔ)，提出了RCF網(wǎng)絡(luò).該網(wǎng)絡(luò)在HED的基礎(chǔ)上（相同分辨率的特征圖下僅僅最后一個卷積層進入解碼網(wǎng)絡(luò)），對于相同分辨率的每一個卷積層都進行特征壓縮，從而更大幅度地提高地網(wǎng)絡(luò)的特征表達能力.在幾乎沒有提高時間和空間計算成本的同時，大幅度提高了輪廓檢測的性能.

CEDN：相比較于HED網(wǎng)絡(luò)，Yang等[29]提出了CEDN網(wǎng)絡(luò)，該網(wǎng)絡(luò)創(chuàng)新的通過特征的逐層解碼來構(gòu)造解碼網(wǎng)絡(luò).盡管網(wǎng)絡(luò)參數(shù)數(shù)量要遠多于HED，但該逐層解碼的方法能更細致的重建上采樣過程中丟失的細節(jié)信息，且在大規(guī)模的圖像數(shù)據(jù)集PASCAL VOC 2012中取得了遠高于HED的性能表現(xiàn).

CED：Wang等[18]在線性的編碼-解碼結(jié)構(gòu)[29]的基礎(chǔ)上提出了CED網(wǎng)絡(luò)，該網(wǎng)絡(luò)增加了額外的殘差連接以保證解碼結(jié)果能盡可能的綜合圖像編碼的全部特征.相比較于HED和CEND，該算法在輪廓的精度上有很大提高.

COB： Maninis等[48]在COB網(wǎng)絡(luò)中，以HED結(jié)構(gòu)為基礎(chǔ)，研究出了3種不同類型的輪廓圖：高尺度（粗糙的）的輪廓圖、低尺度（精細的）輪廓圖和多方向的輪廓圖.通過多尺度UCM算法[6]得到輸出結(jié)果.

綜合上述算法來看，基于全局端到端的輪廓檢測算法的改進集中在解碼網(wǎng)絡(luò)部分，主要通過對網(wǎng)絡(luò)的研究，從各方面探索解碼網(wǎng)絡(luò)對輪廓檢測性能的影響，主要包括對特征圖的直接解碼[27，30]，構(gòu)造逐層的解碼網(wǎng)絡(luò)[18， 29]和提取編碼特征中不同的信息[48].

2??? 關(guān)鍵問題

在基于深度學習的輪廓檢測任務(wù)中，除了主體網(wǎng)絡(luò)構(gòu)造外，還有一些能直接影響檢測效果的關(guān)鍵問題需要研究.本文從數(shù)據(jù)擴展、模型細節(jié)、代價函數(shù)以及輪廓細化這4個方面來描述構(gòu)造一個完整的輪廓檢測算法需要的重要部分.需要注意的是，本節(jié)做的描述僅僅以該領(lǐng)域最流行的算法為基準，而不涉及其研究歷史和趨勢.

2.1?? 數(shù)據(jù)擴展

深度學習模型往往需要大規(guī)模的數(shù)據(jù)訓練模型權(quán)重，而由于帶標注的數(shù)據(jù)集收集和創(chuàng)建困難，現(xiàn)有的大多數(shù)數(shù)據(jù)集往往缺乏大規(guī)模的樣本，因此通過算法在一定程度上擴展數(shù)據(jù)也是該領(lǐng)域研究的重要問題，主要是在不損壞圖像原有結(jié)構(gòu)的基礎(chǔ)上，用隨機局部區(qū)域剪切、隨機方向旋轉(zhuǎn)、隨機比例圖像縮放、隨機因子的亮度、對比度變換等方式為圖像添加椒鹽噪聲.幾種典型的數(shù)據(jù)擴展方法及其擴展后的效果如圖6所示，在進行數(shù)據(jù)擴展后，每一幅原始圖像都能產(chǎn)生相當多的訓練數(shù)據(jù)，從而在一定程度上提高網(wǎng)絡(luò)的泛化能力.

2.2?? 模型細節(jié)

本小節(jié)從模型預訓練、卷積的特征壓縮、上采樣3個部分來描述在輪廓檢測任務(wù)中需要注意的模型細節(jié).

模型預訓練：基于全局端到端的輪廓檢測算法通常包含圖5所示的編碼網(wǎng)絡(luò)，這些編碼網(wǎng)絡(luò)大多取自圖像識別任務(wù)中的網(wǎng)絡(luò)模型，例如VGGNet[19]或ResNet[20]等圖3中時間軸下方的網(wǎng)絡(luò).在使用這些網(wǎng)絡(luò)結(jié)構(gòu)時，利用網(wǎng)絡(luò)在超大規(guī)模圖像數(shù)據(jù)集ImageNet上訓練好的權(quán)重來初始化目標任務(wù)的網(wǎng)絡(luò)權(quán)重，這類方法即為模型的預訓練，預訓練步驟能在一定程度上提高網(wǎng)絡(luò)訓練的收斂速度和預測的泛化能力.

卷積特征壓縮：在CNN的多層結(jié)構(gòu)中，卷積層可以用來提取特征且進行特征通道的擴展，而對于輪廓檢測任務(wù)而言，由于期望輸出為單通道的灰度輪廓圖，并沒有包含過多的通道數(shù)，所以需要特定的結(jié)構(gòu)來做特征通道的壓縮，比如使用卷積核為1×1的卷積層來壓縮特征通道.1×1的卷積核能捕獲單個像素位置上所有通道的信息，相比于一般的3×3的卷積核，1×1的卷積核在特征壓縮的同時能極大的減少模型參數(shù)從而提高訓練速度.

上采樣：由于CNN的結(jié)構(gòu)特性，圖像經(jīng)過不斷池化的處理后，會得到更抽象但是分辨率也更低的高層特征表達.為了構(gòu)造端到端的學習模型，需要構(gòu)造以上采樣為核心的解碼網(wǎng)絡(luò).在解碼網(wǎng)絡(luò)中，常用的上采樣算法被分為兩類：非參數(shù)化方法和參數(shù)化方法.非參數(shù)化方法為傳統(tǒng)的插值算法，包括雙線性插值，雙三次插值等;參數(shù)化方法指的是算法參數(shù)是可以通過端到端的網(wǎng)絡(luò)訓練得到而不是手工設(shè)計，常用的有反卷積算法[37]和亞像素卷積[49]算法.在實際應(yīng)用中，參數(shù)化的算法效果在大規(guī)模訓練數(shù)據(jù)的幫助下略優(yōu)于非參數(shù)化算法，但從時間和效率的權(quán)衡來考慮，目前基于CNN的輪廓檢測算法中大多使用非參數(shù)化方法中的雙線性插值算法作為上采樣方法.

2.3?? 代價函數(shù)

作為一個像素級二分類任務(wù)，輪廓檢測有著其獨特的難點：訓練樣本類別數(shù)分布極不均衡.在輪廓圖中，圖像的輪廓-背景像素比很小，大約在0.05～0.10的范圍內(nèi).這意味著在訓練樣本中大約90%～95%的樣本都是背景而只有5%～10%的樣本是輪廓，這種情況會導致采用反向傳播算法更新模型變量時，梯度會沿著樣本數(shù)量多的部分偏離，在大多情況下導致模型的訓練集收斂后，檢測出來的全是背景像素.因此，解決樣本數(shù)量不平衡對CNNs的框架下訓練的影響也是該領(lǐng)域研究的一個重要分支.

在早前基于局部區(qū)域的方法中，由于僅僅選取一個圖像塊，使得傳統(tǒng)的交叉熵代價函數(shù)能夠有效的訓練網(wǎng)絡(luò).然而在端對端的輪廓檢測任務(wù)中，樣本不均衡的問題嚴重阻礙了網(wǎng)絡(luò)的訓練.因此，在使用傳統(tǒng)交叉熵的基礎(chǔ)上，Xie等[27]在HED模型中提出了一個有效的代價函數(shù)來解決樣本不均衡的問題，通過統(tǒng)計每一個訓練批次中正負樣本數(shù)量和其比例，動態(tài)地計算一個加權(quán)系數(shù)平衡正負樣本間的比重，以此解決樣本分布不均衡的問題.

其中，x、y分別表示訓練的輸入圖像和輸入標簽;P（x）為sigmoid函數(shù)，β為對應(yīng)正負樣本加權(quán)具體為???? β=| Y-|/|Y|，這里|Y-|和|Y|分別表示圖像中所有標注輪廓點的個數(shù)和圖片中所有像素的個數(shù).在訓練過程中，標注的輪廓和背景像素通過統(tǒng)計當前批次的正負樣本比例，計算不同的加權(quán)以保證在輪廓圖樣本分布不平衡時的有效訓練.

隨后，Liu等[30]在RCF網(wǎng)絡(luò)的工作中改進了這個代價函數(shù).首先，在多人標注問題上，對于少于一定閾值的某個像素點，阻塞其梯度傳播.其次，使用一個額外參數(shù)，在正負樣本比例的基礎(chǔ)上加權(quán)，具體公式如下

其中，α = γ（1-β）， γ是在HED代價函數(shù)中正負樣本比例的基礎(chǔ)上的一個加權(quán).式（2）通過阻塞多人標注樣本中小于η的值，在實際訓練中會使得代價波動更加平穩(wěn).

綜上，研究者在以交叉熵為主體的代價函數(shù)改進中，針對樣本不均衡的問題，提出了各自的解決方法.其中，HED網(wǎng)絡(luò)使用了不同的正負樣本加權(quán)以保證在輪廓圖樣本分布不平衡時的有效訓練.針對多人標注中輪廓在局部混亂的問題，RCF網(wǎng)絡(luò)在HED網(wǎng)絡(luò)的基礎(chǔ)上，通過阻塞一部分人數(shù)較少的標注，提高了多人標注訓練中的穩(wěn)定性.

2.4?? 輪廓細化

輪廓細化作為標準后續(xù)處理的關(guān)鍵步驟，主要目的是使輸出輪廓圖僅僅保留單像素邊緣.目前輪廓細化算法有非極大值抑制[4]和形態(tài)學細化[50].如圖7所示，模型輸出的輪廓圖是一幅很“粗”的輪廓圖，而細化后的輪廓圖僅僅保留了最優(yōu)方向上的單像素邊緣，有利于算法性能評估.

3??? 數(shù)據(jù)集和評價指標

3.1?? 數(shù)據(jù)集

數(shù)據(jù)集在整個輪廓檢測研究中發(fā)揮了關(guān)鍵作用，是該領(lǐng)域取得重大進展的最重要因素之一.表1總結(jié)了目前流行的數(shù)據(jù)集的簡要信息和特點.

BSDS[6]為伯克利圖像分割數(shù)據(jù)集，從早期BSDS第一個版本BSDS300[51]開始就是輪廓檢測領(lǐng)域最流行的數(shù)據(jù)集，最新的BSDS500版本[6]包含200張訓練圖片，200張測試圖片和100張驗證圖片，每一幅圖都有對應(yīng)的5～10幅手工標注的真實輪廓.NYUD[52]主要包含室內(nèi)場景圖像.每幅圖片除了RGB三個顏色通道信息外，還包含場景深度信息.Gupta等[55-56]在數(shù)據(jù)集僅僅提供原始分割標注的基礎(chǔ)上，為數(shù)據(jù)集在輪廓檢測任務(wù)中的推廣做了關(guān)鍵的工作：1）把數(shù)據(jù)集分為381幅訓練圖像，654幅測試圖像和414 幅驗證圖像;2）使用HHA編碼（H——水平視差，H——對地高度和A——表面法向量的角度）把原始深度信息轉(zhuǎn)換成可視化的三通道表示;3）以數(shù)據(jù)集給定的語義分割標注為基準，構(gòu)造了一個有效的圖像輪廓標注集.PASCAL VOC 數(shù)據(jù)集[53]是著名的圖像檢測和圖像分割數(shù)據(jù)集，且在2012年發(fā)布了最新版本.在該數(shù)據(jù)集中，Yang等[29]使用密集的條件隨機場算法構(gòu)造了一個有效的輪廓標注集，使得該數(shù)據(jù)集能被使用于輪廓檢測的性能評價中.MBDD[54]為多尺度輪廓檢測數(shù)據(jù)集.雖然僅僅包含100張圖片，但每一幅圖有高達720p的分辨率，對于現(xiàn)有的輪廓檢測算法而言依舊是一個挑戰(zhàn).同時MBDD數(shù)據(jù)集包含兩種不同類型的輪廓標注，分別為注重大尺度物體間分界的“輪廓（boundary）”分支，和注重精細邊界的“邊緣（edge）”分支.

3.2?? 評價指標

一個良好的評價指標是模型公平比較的重要保證，本節(jié)將介紹輪廓檢測任務(wù)中最普遍的評價指標.該指標通過結(jié)合信息檢索社區(qū)常用的精確-回歸（Precision-Recall，P-R）曲線，由Martin等[5]在2004年完善且推廣到多標注的真實輪廓的性能評價體系中.定量的指標由模型的最優(yōu)精確度和回歸度確定：[F=（PR）/[（1-α）P+αR]]，其中α為權(quán)重，一般取0.5.P和R分別代表精確度和回歸度，具體地，P = TP/（ TP + FP）;R =? TP/（TP + FN），這里 TP，F(xiàn)P和FN分別代表輪廓像素的正確檢測個數(shù)，錯誤檢測個數(shù)和遺漏檢測個數(shù).

為了公平的比較模型的泛化能力，在F值的測量標準下，一般使用3個定量的指標去評價模型優(yōu)劣：1）對于給定的閾值T，整個數(shù)據(jù)集將會得到一個平均的最優(yōu)F值，被稱作最優(yōu)的數(shù)據(jù)集尺度（optimal dataset scale，ODS）;2）數(shù)據(jù)集中每一幅圖像都單獨給定一個最優(yōu)閾值T，綜合后的最優(yōu)F值被稱作最優(yōu)的圖像尺度（optimal image scale，OIS）;3）在給定一個閾值范圍下t =[0 ，1.0]，數(shù)據(jù)集的平均精度（average precision，AP）.此外，在不同的閾值條件下t =[0，1.0]，整個數(shù)據(jù)集精確度P和回歸度R可以被描述成P-R曲線，例如圖2所示.

3.3?? 性能趨勢

近幾年基于深度學習的輪廓檢測算法在BSDS、NYUD、PASCAL VOC和MBDD上的性能趨勢如圖8所示，表2總結(jié)了輪廓檢測算法在不同數(shù)據(jù)集下的定量性能和增長率（該數(shù)據(jù)集下性能最低到最高的模型）.首個基于深度學習的輪廓檢測模型提出后，通過兩年時間的研究，算法在BSDS上的性能從N4-field的0.75提高到CED的0.816，提高了8.8%，并且開始更多的使用高分辨率（NYUD和MBDD）和大規(guī)模（PASCAL VOC）的圖像數(shù)據(jù)集，且取得了較好的效果.

如果以BSDS500數(shù)據(jù)集的性能表現(xiàn)為基準，基于深度學習的輪廓檢測算法在PASCAL VOC圖像數(shù)據(jù)集中的性能表現(xiàn)要遠低于平均水平，原因在于該數(shù)據(jù)集中圖片的選取范圍廣、場景復雜多變且目標物體繁多.這也是輪廓檢測算法在更大規(guī)模的數(shù)據(jù)集和真實的場景中的必然挑戰(zhàn)，也是進一步的研究要攻克的難點之一.

4??? 研究趨勢

本節(jié)從3個方面討論基于深度學習的輪廓檢測算法的難點，和其潛在的研究方向：1）在監(jiān)督學習下提高輪廓檢測的精細度;2）在更弱的條件下（半監(jiān)督或弱監(jiān)督）輪廓檢測的性能;3）輪廓檢測算法對其他計算機視覺任務(wù)的促進（目標檢測，語義分割或場景重建等）.

在監(jiān)督學習條件下，提高大規(guī)模圖像數(shù)據(jù)集的輪廓檢測性能和提高輪廓檢測算法精細度是目前研究的難點和熱點.問題的研究關(guān)鍵在于編碼網(wǎng)絡(luò)，解碼網(wǎng)絡(luò)和代價函數(shù)設(shè)計.在編碼網(wǎng)絡(luò)方面，現(xiàn)有模型大多基于VGGNet，而在更復雜的ResNet和DenseNet的基礎(chǔ)上設(shè)計更加復雜的編碼網(wǎng)絡(luò)使得模型特征提取更加充分，對輪廓的表達能力更強，以此調(diào)高模型的泛化能力是當前研究的熱點.研究解碼網(wǎng)絡(luò)使得算法盡可能保留圖像細致的特征信息來預測邊緣輸出，提高在更嚴格的限制條件下的輪廓提取性能，是當前輪廓檢測任務(wù)中的難點.在代價函數(shù)方面，改進現(xiàn)有的代價函數(shù)，使得輪廓檢測性能在精確度和覆蓋率平衡的基礎(chǔ)上，對多人標注的真實輪廓融合問題是未來可進一步研究的方向.

在半監(jiān)督（有標注樣本稀少）或弱監(jiān)督（標注不完整）條件下，現(xiàn)有的輪廓檢測模型該如何保持監(jiān)督學習下的性能，還鮮有研究人員探索.盡管如此，輪廓檢測的半監(jiān)督和弱監(jiān)督學習可以借鑒語義分割和實例分割[57]在該方向的經(jīng)驗，探索關(guān)于輪廓檢測的模型.

輪廓作為視覺的底層任務(wù)，能有效地作為一些實用任務(wù)提升性能，在目標檢測[7]、超分辨率處理[58]和實例分割[59]等任務(wù)中，輪廓約束均被證實能有效的提高其目標任務(wù)的性能.因此，如何利用一個好的輪廓圖提高其他計算機視覺任務(wù)的性能也是一個潛在的研究熱點.

5??? 結(jié)論

隨著深度學習的發(fā)展，大多數(shù)計算機視覺和圖像處理任務(wù)都利用了深度學習強大的特征學習能力，從而在很短的時間內(nèi)大幅度地提高了任務(wù)在不同數(shù)據(jù)集下的性能指標.本文以輪廓檢測算法為核心，對目前基于深度學習的輪廓檢測算法進行了系統(tǒng)的總結(jié)、對比和分析.同時對基于深度學習的輪廓檢測任務(wù)的研究趨勢進行了展望，以期為基于深度學習的輪廓檢測研究提供有效參考.

參考文獻

[1]?ZEKI?S.?A vision of the brain[M]. Oxford：Blackwell Scientific Publications，1993.

[2]?PAPARI G，PETKOV N. Edge and line oriented contour detection： state of the art[J].?Image and Vision Computing，2011，29（2）：79-103.

[3]?PREWITT J M. Object enhancement and extraction[J]. Picture Processing and Psychopictorics，1970，10（1）：15-19.

[4]?CANNY J. A computational approach to edge detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，1986（6）：679-698.

[5]?MARTIN D R，F(xiàn)OWLKES C C，MALIK J. Learning to detect natural image boundaries using local brightness，color，and texture cues[J]. IEEE Transactions on Pattern Analysis and Machine Intelligenc， 2004，26（5）：530-549.

[6]?ARBELAEZ P，MAIRE M，F(xiàn)OWLKES C，et al. Contour detection and hierarchical image segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33（5）：898-916.

[7]?ARBEL?EZ P，PONT-TUSET J，BARRON J T，et al. Multiscale combinatorial grouping[C]. IEEE Conference on Computer Vision and Pattern Recognition，2014：328-335.

[8]?GRIGORESCU C，PETKOV N，WESTENBERG M A. Contour detection based on nonclassical receptive field inhibition[J]. IEEE Transactions on Image Processing，2003，12（7）：729-739.

[9]?YANG K，GAO S，LI ETAL C. Efficient color boundary detection with color-opponent mechanisms[C]. IEEE Conference on Computer Vision and Pattern Recognition，IEEE，2013：2810-2817.

[10]?YANG K F，GAO S B，GUO C F，et al. Boundary detection using double-opponency and spatial sparseness constraint[J]. IEEE Transactions on Image Processing，2015，24（8）：2565-2578.

[11]?趙浩鈞，林川，陳海杰，等. 基于顏色拮抗和紋理抑制的輪廓檢測模型[J]. 廣西科技大學學報，2018，29（4）：6-12.

[12]?AZZOPARDI G，RODRIGUEZ-SANCHEZ A，PIATER J，et al. A push-pull CORF model of a simple cell with antiphase inhibition improves SNR and contour detection[J]. PLoS One，2014，9（7）： e98424.

[13]?ZENG C，LI Y，LI C. Center–surround interaction with adaptive inhibition： a computational model for contour detection[J]. NeuroImage，2011，55（1）：49-66.

[14]?AKBARINIA A，PARRAGA C A. Feedback and surround modulated boundary detection[J]. International Journal of Computer Vision，2018，126（12）：1367-1380.

[15]?潘亦堅，林川，郭越，等. 基于非經(jīng)典感受野動態(tài)特性的輪廓檢測模型[J]. 廣西科技大學學報，2018，29（2）：77-83.

[16]?LECUN Y，BOTTOU L，BENGIO Y，et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE，1998，86（11）：2278-2324.

[17]?KRIZHEVSKY A，SUTSKEVER I， HINTON G E. Imagenet classification with deep convolutional neural networks[C]. Advances in Neural Information Processing Aystems，2012：1097-1105.

[18]?WANG Y，ZHAO X，HUANG K. Deep crisp boundaries[C]. IEEE Conference on Computer Vision and Pattern Recognition，2017：3892-3900.

[19]?SIMONYAN K，ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[C]. International Conference on Representation Learning，2015.

[20]?HE K，ZHANG X，REN S，et al. Deep residual learning for image recognition[C]. IEEE Conference on Computer Vision and Pattern Recognition，2016：770-778.

[21]?SZEGEDY C，LIU W，JIA Y，et al. Going deeper with convolutions[C]. IEEE Conference on Computer Vision and Pattern Recognition，2015：1-9.

[22]?HUANG G，LIU Z，VAN DER MAATEN L，et al. Densely connected convolutional networks[C].IEEE Conference on Computer Vision and Pattern Recognition，2017：3.

[23]?HINTON G，DENG L，YU D，et al. Deep neural networks for acoustic modeling in speech recognition： the shared views of four research groups[J]. IEEE Signal Processing Magazine，2012，29（6）：82-97.

[24]?GANIN Y，LEMPITSKY V. N4-fields： neural network nearest neighbor fields for image transforms[C].Asian Conference on Computer Vision，Springer，2014：536-551.

[25]?BERTASIUS G，SHI J，TORRESANI L. Deepedge： a multi-scale bifurcated deep network for top-down contour detection[C].IEEE Conference on Computer Vision and Pattern Recognition，2015：4380-4389.

[26]?SHEN W，WANG X，WANG Y，et al. Deepcontour： a deep convolutional feature learned by positive-sharing loss for contour detection[C].IEEE Conference on Computer Vision and Pattern Recognition，2015：3982-3991.

[27]?XIE S，TU Z. Holistically-nested edge detection[C].International Comference on Computer Vision，2015：1395-1403.

[28]?KOKKINOS I. Pushing the boundaries of boundary detection using deep learning[C].International Conference on Representation Learning，2016.

[29]?YANG J，PRICE B，COHEN S，et al. Object contour detection with a fully convolutional encoder-decoder network[C].IEEE Conference on Computer Vision and Pattern Recognition，IEEE，2016：193-202.

[30]?LIU Y，CHENG M M，HU X，et al. Richer convolutional features for edge detection[C].IEEE Conference on Computer Vision and Pattern Recognition，IEEE，2017：5872-5881.

[31]?MANINIS K K，PONT-TUSET J，ARBEL?EZ P，et al. Convolutional oriented boundaries： from image segmentation to high-level tasks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，27：1676-1688.

[32]?LI G，YU Y. Visual saliency based on multiscale deep features[C].IEEE Conference on Computer Vision and Pattern Recognition，2015：5455-5463.

[33]?GIRSHICK R，DONAHUE J，DARRELL T，et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C].IEEE Conference on Computer Vision and Pattern Recognition，2014：580-587.

[34]?GIRSHICK R. Fast r-cnn[C].International Comference on Computer Vision，2015：1440-1448.

[35]?REN S，HE K，GIRSHICK R，et al. Faster r-cnn： towards real-time object detection with region proposal networks[C].Advances in Neural Information Processing Aystems，2015：91-99.

[36]?LONG J，SHELHAMER E，DARRELL T. Fully convolutional networks for semantic segmentation[C].IEEE Conference on Computer Vision and Pattern Recognition，2015：3431-3440.

[37]?NOH H，HONG S，HAN B. Learning deconvolution network for semantic segmentation[C].IEEE Conference on Computer Vision and Pattern Recognition，2015：1520-1528.

[38]?PINHEIRO P O，LIN T Y，COLLOBERT R，et al. Learning to refine object segments[C].International Journal of Computer Vision，Springer，2016：75-91.

[39]?CHEN L C，PAPANDREOU G，KOKKINOS I，et al. DeepLab： semantic image segmentation with deep convolutional nets， atrous convolution， and fully connected CRFs[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2017.

[40]?LIN G，MILAN A，SHEN C，et al. Refinenet： multi-path refinement networks for high-resolution semantic segmentation[C].IEEE Conference on Computer Vision and Pattern Recognition，2017.

[41]?ROMERA-PAREDES B，TORR P H S. Recurrent instance segmentation[C]. European Conference on Computer Vision，Springer，2016：312-329.

[42]?REN M，ZEMEL R S. End-to-end instance segmentation with recurrent attention[C]. Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR），Honolulu，HI，USA，2017： 21-26.

[43]?BORDES A，CHOPRA S，WESTON J. Question answering with subgraph embeddings[J]. ArXiv Preprint ArXiv：1406.3676，2014.

[44]?SUTSKEVER I，VINYALS O，LE Q V. Sequence to sequence learning with neural networks[C]. Advances in Neural Information Processing Aystems，2014：3104-3112.

[45]?DENG J，DONG W，SOCHER R，et al. Imagenet： a large-scale hierarchical image database[C].IEEE Conference on Computer Vision and Pattern Recognition，Ieee，2009：248-255.

[46]?WOLD S，ESBENSEN K，GELADI P. Principal component analysis[J]. Chemometrics and intelligent laboratory systems，1987，2（1-3）：37-52.

[47]?LIM J J，ZITNICK C L，DOLL?R P. Sketch tokens： a learned mid-level representation for contour and object detection[C].IEEE Conference on Computer Vision and Pattern Recognition，2013：3158-3165.

[48]?MANINIS K K，PONT-TUSET J，ARBEL?EZ P，et al. Convolutional oriented boundaries[C]. European Conference on Computer Vision，Springer，2016：580-596.

[49]?LEDIG C，THEIS L，HUSZ?R F，et al. Photo-realistic single image super-resolution using a generative adversarial network[J]. ArXiv Preprint ArXiv：1609.04802，2016.

[50]?岡薩雷斯，伍茲.?數(shù)字圖象處理[M].?3版.阮秋琦，阮宇智，譯.北京：電子工業(yè)出版社，?2017.

[51]?MARTIN D，F(xiàn)OWLKES C，TAL D，et al. A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecological statistics[C]. International Comference on Computer Vision，IEEE，2001：416-423.

[52]?SILBERMAN N，HOIEM D，KOHLI P，et al. Indoor segmentation and support inference from rgbd images[C]. International Journal of Computer Vision，Springer，2012：746-760.

[53]?EVERINGHAM M，ESLAMI S A，VAN GOOL L，et al. The pascal visual object classes challenge： a retrospective[J]. International Journal of Computer Vision，2015，111（1）：98-136.

[54]?M?LY D A，KIM J，MCGILL M，et al. A systematic comparison between visual cues for boundary detection[J]. Vision research，2016，120：93-107.

[55]?GUPTA S，ARBELAEZ P，MALIK J. Perceptual organization and recognition of indoor scenes from RGB-D images[C]. IEEE Conference on Computer Vision and Pattern Recognition，IEEE，2013：564-571.

[56]?GUPTA S，GIRSHICK R，ARBEL?EZ P，et al. Learning rich features from RGB-D images for object detection and segmentation[C]. International Journal of Computer Vision，Springer，2014：345-360.

[57]?ZHOU Y，ZHU Y，YE Q，et al. Weakly supervised instance segmentation using class peak response[J]. ArXiv Preprint ArXiv：1804.00880，2018.

[58]?LEE S H，JANG W D，KIM C S. Contour-constrained superpixels for image and video processing[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2017：2443-2451.

[59]?KIRILLOV A，LEVINKOV E，ANDRES B，et al. Instancecut： from edges to instances with multicut[C]. IEEE Conference on Computer Vision and Pattern Recognition，2017：9.

Deep learning for contour detection： a survey

LIN Chuan， CAO Yijun

（School of Electric and Information Engineering， Guangxi University of Science and Technology，

Liuzhou 545006， China）

Abstract： Contour detection is designed to extract the boundary between the target and the background in the image， and is one of the most basic problems in the field of computer vision research. In recent years， deep learning technology， as an effective method to learn feature representation directly from?? data， has made a significant breakthrough in the field of contour detection. In view of this， this paper summarizes the latest developments in the field of contour detection based on deep learning， including the convolutional neural network structure in contour detection tasks; some key issues related to?????? contour detection， including training data construction， feature compression， up sampling， cost function and contour thinning; general data sets and performance evaluation indicators. Finally， the challenges and future research trends of contour detection algorithms based on deep learning are analyzed， in order to provide new ideas and references for the follow-up research in this field.

Key words： deep learning; convolutional neural network; computer vision; contour detection