內(nèi)容自適應(yīng)超像素分割網(wǎng)絡(luò)?

黃 睿 徐 斌

（中國(guó)石油大學(xué)（華東）計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 青島 266580）

1 引言

超像素分割是一種將圖像分割成在顏色和其他低級(jí)特征上具有可比性的圖像部分的技術(shù)。與像素相比，超像素可以更有效地表示圖像信息。這種簡(jiǎn)潔的形式可以大大提高視覺相關(guān)算法的計(jì)算效率［1～3］。超像素分割通常用于執(zhí)行圖像處理之前的預(yù)處理步驟。在密集分割領(lǐng)域結(jié)合超像素可以在檢測(cè)對(duì)象邊界的同時(shí)減少處理時(shí)間和內(nèi)存消耗。在與圖相關(guān)的領(lǐng)域中緊湊和規(guī)則的超像素可以產(chǎn)生更好的結(jié)果。因此，超像素性能的三個(gè)關(guān)鍵標(biāo)準(zhǔn)：1）粘附邊界的能力，也稱準(zhǔn)確度；2）規(guī)則與緊湊性；3）計(jì)算速度。

由于采樣設(shè)備的采樣精度不斷提高，高分辨率圖像變得越來越普遍，對(duì)高精度圖像的計(jì)算機(jī)視覺應(yīng)用的需求也在增加。超像素作為一種有效地最小化圖像基元數(shù)量以供未來處理的方法，已廣泛應(yīng)用于計(jì)算機(jī)視覺的各個(gè)領(lǐng)域，例如語義分割［4］、目標(biāo)檢測(cè)［5］、顯著目標(biāo)檢測(cè)［1，6～7］和光流估計(jì)［8～10］。

超像素分割通常是先將圖像劃分為網(wǎng)格單元，然后估計(jì)每個(gè)像素和其附近網(wǎng)格單元的隸屬度，然后對(duì)它們進(jìn)行分組。傳統(tǒng)的超像素生成方法通常采用手工特征、基于聚類或基于圖的算法來估計(jì)像素與其相鄰像素之間的相關(guān)性［11～15］，但這些方法存在需要手工設(shè)計(jì)特征的缺點(diǎn)，并且難以集成到其他可訓(xùn)練的深度框架中。受深度神經(jīng)網(wǎng)絡(luò)在許多計(jì)算機(jī)問題上的成功啟發(fā)，研究人員最近嘗試將深度學(xué)習(xí)方法應(yīng)用于超像素分割。U-net 架構(gòu)被AINet［16］，SCN［17］和SSN［18］等流行解決方案用于預(yù)測(cè)像素與周圍九個(gè)單元之間的相關(guān)概率，以了解每個(gè)像素與周圍網(wǎng)格單元之間的相關(guān)性從而分配像素。因?yàn)榭梢愿玫靥崛√卣?，這些基于深度網(wǎng)絡(luò)的方法具有良好的性能。

超像素的特征包括顏色、梯度、紋理、空間、平滑度和尺寸，其中顏色、梯度和紋理特征常用于實(shí)現(xiàn)準(zhǔn)確性，而空間、平滑度和尺寸特征常用于管理緊湊性。當(dāng)超像素的邊界趨向于粘附物體的輪廓時(shí)，超像素的形狀往往是不規(guī)則的，這導(dǎo)致超像素的精度和緊湊性之間存在一些相互干擾。但是，當(dāng)緊湊性約束太強(qiáng)時(shí)，超像素粘附輪廓的能力就會(huì)受到損害。在這種情況下追求更高的邊界粘附性會(huì)導(dǎo)致圖像中顏色一致、紋理豐富的部分出現(xiàn)不規(guī)則的超像素，例如天空、草原、地面，但這種粘附性毫無意義。追求更高緊湊性時(shí)，由于過于緊湊，導(dǎo)致某些信息丟失，或者單個(gè)超像素區(qū)域包含多個(gè)具有不同語義的像素，影響后續(xù)任務(wù)。這種情況的根本原因在于在這些超像素方法中，基于顏色、梯度和紋理信息的準(zhǔn)確性與基于空間、平滑度和尺寸的緊湊性之間的增強(qiáng)相互平衡。此外，由于生成超像素的約束條件作用于所有像素，因此在準(zhǔn)確性和緊湊性之間總是存在實(shí)質(zhì)性的權(quán)衡。

本文提出了一個(gè)內(nèi)容自適應(yīng)超像素分割網(wǎng)絡(luò)來處理這個(gè)權(quán)衡問題。通過邊緣檢測(cè)技術(shù)將圖像劃分為邊界和非邊界區(qū)域，對(duì)圖像像素動(dòng)態(tài)應(yīng)用不同的邊界粘附和緊密度權(quán)重，在邊界區(qū)域中形成具有高邊界粘附性的超像素，而在非邊界區(qū)域中產(chǎn)生具有高緊湊性的超像素。

在BSDS500［19］和NYUv2［20］數(shù)據(jù)集上進(jìn)行定量和定性實(shí)驗(yàn)，結(jié)果表明該方法優(yōu)于當(dāng)前的超像素分割方法。

2 相關(guān)工作

2.1 超像素分割

Ren 和Malik［21］在2003 年提出了超像素分割，從那時(shí)起它越來越受歡迎?；趫D的方法和基于聚類的方法是傳統(tǒng)超像素算法的兩種類型。為了構(gòu)建圖結(jié)構(gòu)，基于圖的算法將臨近像素之間的連接強(qiáng)度視為圖的邊。在這種情況下，超像素分割可以被認(rèn)為是一個(gè)圖分割問題，如FH［22］和ERS［14］算法。另一方面，基于聚類的算法使用傳統(tǒng)的聚類技術(shù)，如K 均值聚類，計(jì)算錨像素與其臨近像素之間的連接性，常見的算法有SLIC［11］、LSC［13］、Manifold-SLIC［15］和SNIC［12］。近年來，深度學(xué)習(xí)技術(shù)的出現(xiàn)鼓勵(lì)研究人員嘗試使用深度網(wǎng)絡(luò)來了解每個(gè)像素在其周圍網(wǎng)格單元中的隸屬度。Jampani等［18］使用傳統(tǒng)的SLIC 方法創(chuàng)建了第一個(gè)可微分的深度網(wǎng)絡(luò)。Yang 等［17］使用FCN 框架進(jìn)一步簡(jiǎn)化了超像素生成框架，實(shí)現(xiàn)了超像素端到端的創(chuàng)建。Wang等［16］在此基礎(chǔ)上進(jìn)一步提出了一個(gè)AI 模塊來提高超像素的精度。

作為弱標(biāo)簽或先驗(yàn)知識(shí)的一種形式，預(yù)先計(jì)算的超像素分割有助于眾多下游任務(wù)的實(shí)現(xiàn)。通過將超像素集成到深度學(xué)習(xí)管道中作為指導(dǎo)，可以更好地保留一些重要的圖像屬性［23-27］，例如邊界信息。Kwaj等［2］使用超像素分割執(zhí)行區(qū)域池化，提高了池化特征的語義緊湊性。Chen 等［28］使用超像素作為偽標(biāo)簽，通過在圖像中定位額外的語義邊界來改進(jìn)圖片分割。除了幫助圖像分割或特征池化之外，超像素還提供了一種靈活的圖像數(shù)據(jù)編碼方式。He 等［1］使用超像素將二維視覺模式轉(zhuǎn)換為一維序列表示，從而允許深度網(wǎng)絡(luò)研究圖像的遠(yuǎn)程上下文以進(jìn)行顯著性檢測(cè)。Liu等［29］創(chuàng)建的框架學(xué)習(xí)不同超像素的相似性，然后基于學(xué)習(xí)到的超像素相似性合并元素以構(gòu)建不同的紋理分割區(qū)域。

2.2 內(nèi)容自適應(yīng)超像素

為了克服超像素精度和緊湊性之間的沖突，Ye 等［30］使用了一種兩階段分水嶺方法。首先在第一階段生成具有高邊界粘附性的超像素。此時(shí)超像素精度高，但緊湊性低。之后使用梯度、顏色和紋理過濾器來尋找內(nèi)容無意義的區(qū)域，即遠(yuǎn)離圖像邊界的有著相似內(nèi)容的區(qū)域，僅根據(jù)空間屬性重新標(biāo)記這些區(qū)域的邊界像素。在第二階段中根據(jù)新標(biāo)記在內(nèi)容無意義的區(qū)域重新創(chuàng)建緊湊度高的超像素。最終，內(nèi)容有意義區(qū)域中的超像素邊界始終與目標(biāo)的輪廓相關(guān)聯(lián)，而內(nèi)容無意義區(qū)域中的超像素邊界變得緊湊且規(guī)則。盡管內(nèi)容自適應(yīng)超像素解決了準(zhǔn)確性和緊湊性之間的相互約束問題，但兩階段分水嶺技術(shù)仍然需要手工設(shè)計(jì)特征，并且難以融入深度網(wǎng)絡(luò)。

2.3 邊緣檢測(cè)

邊緣檢測(cè)的目的是從自然圖像中提取目標(biāo)的邊界和邊緣，同時(shí)保留圖像的主要內(nèi)容并忽略意外特征，這對(duì)于圖像分割和目標(biāo)檢測(cè)等高級(jí)視覺任務(wù)至關(guān)重要。He 等［31］提出了BDCN 網(wǎng)絡(luò)，它是一種用于邊緣檢測(cè)的雙向級(jí)聯(lián)網(wǎng)絡(luò)。大體思路是假設(shè)真值等于每個(gè)尺度的特征圖之和，從真值中減去其他特征圖可以近似作為當(dāng)前特征圖的監(jiān)督信息。研究結(jié)果表明，對(duì)不同特征圖的不同尺寸監(jiān)督可以顯著提高邊緣質(zhì)量。

3 方法

在本節(jié)中，將介紹提出的內(nèi)容自適應(yīng)超像素分割網(wǎng)絡(luò)。在3.1 節(jié)，解釋了在規(guī)則網(wǎng)格上直接預(yù)測(cè)超像素的方法，在3.2 節(jié)討論了網(wǎng)絡(luò)設(shè)計(jì)和基本損失函數(shù)，最后在3.3節(jié)，介紹了內(nèi)容自適應(yīng)模塊。

3.1 在規(guī)則網(wǎng)格中學(xué)習(xí)超像素

為了分割H×W大小的圖像I，一種流行的超像素分割技術(shù)是采用大小為h×w的規(guī)則網(wǎng)格，并將每個(gè)網(wǎng)格單元視為初始超像素，或稱為超像素的種子。通過找到一個(gè)映射G將每個(gè)像素p=(u,v)分配給超像素S=(i,j)。從數(shù)學(xué)的角度，可以將這個(gè)映射寫為：如果第(u,v)個(gè)像素屬于第(i,j)個(gè)超像素，Gs(p)=Gi,j(u,v)=1，否則為0。

實(shí)際上，由于像素在分配超像素時(shí)只考慮周邊的超像素，將每個(gè)像素與每個(gè)超像素進(jìn)行比較沒有意義且計(jì)算成本很高。因此，將特定像素p的搜索限制在相鄰網(wǎng)格單元的集合Np中，其中|Np|=9。如圖1 所示，對(duì)于紅色框中的每個(gè)像素p，只考慮綠色框中的9個(gè)網(wǎng)格單元進(jìn)行分配。

圖1 對(duì)于紅框中的每個(gè)像素p，只考慮綠框中的9個(gè)網(wǎng)格單元進(jìn)行分配

本文中將使用深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)這種映射。不使用映射G，而是使用軟關(guān)聯(lián)Q??H×W×|Np|來創(chuàng)建可微的目標(biāo)函數(shù)。qs(p)表示一個(gè)像素p被分配給它周圍的每個(gè)超像素s?Np的概率，其中。最終每個(gè)像素被分配給概率最高的網(wǎng)格單元，得到超像素s*=arg maxsqs(p)。

3.2 網(wǎng)絡(luò)設(shè)計(jì)和基礎(chǔ)損失函數(shù)

如圖2 所示，本文采用帶有跳層連接的編碼器-解碼器結(jié)構(gòu)來預(yù)測(cè)超像素關(guān)聯(lián)映射Q，并使用內(nèi)容自適應(yīng)模塊生成緊湊性因子以引導(dǎo)損失函數(shù)進(jìn)行反向傳播，最后生成內(nèi)容自適應(yīng)像素-超像素關(guān)聯(lián)映射。

圖2 內(nèi)容自適應(yīng)超像素網(wǎng)絡(luò)框架

對(duì)輸入圖像I進(jìn)行卷積以獲得像素嵌入E??H×W×D，然后將其提供給編碼器模塊以生成被稱為超像素嵌入的特征圖C??h×w×D′，超像素嵌入對(duì)網(wǎng)格單元的特征進(jìn)行了精確編碼，其中h=H/S，w=W/S，S是超像素采樣間隔。像素p的像素嵌入為ep??D。使用兩個(gè)3×3 卷積運(yùn)算對(duì)超像素嵌入C進(jìn)行擴(kuò)展，生成植入過程所需的特征圖，然后將超像素嵌入提供給解碼器模塊以重新組裝成像素嵌入E′。AI 模塊接收超像素嵌入C′和重構(gòu)像素嵌入E′，并將超像素嵌入植入到像素嵌入中。具體來說，對(duì)于像素p從左到右，從上到下選擇其9 個(gè)相鄰超像素嵌入，使用3×3 卷積自適應(yīng)展開，并在像素周圍直接植入適當(dāng)?shù)某袼厍度?，其中w和b是卷積的權(quán)重和偏差。使用式（1）和式（2），遍歷E中的所有像素嵌入以創(chuàng)建新的像素嵌入。最后，使用softmax生成像素-超像素關(guān)聯(lián)映射Q。

f(p)表示希望超像素保留的像素屬性，例如顏色、紋理和其他特征，而l(p)=[x,y] 表示像素p的圖像坐標(biāo)。給定關(guān)聯(lián)映射Q的任何超像素的中心cs=(us,ls)可以如下所示計(jì)算，其中us是屬性向量，ls是位置向量。

對(duì)于任何像素p，其重構(gòu)的屬性和坐標(biāo)為

重構(gòu)損失如下：

其中，CE是交叉熵距離度量，S是超像素采用間隔，m是平衡這兩項(xiàng)的權(quán)重。

圍繞像素嵌入圖E的邊界對(duì)一系列指定大?。ㄈ?×5）的補(bǔ)丁B??K×K×D進(jìn)行采樣，幫助網(wǎng)絡(luò)適當(dāng)?shù)胤峙溥吔缰車南袼?。為了?jiǎn)化任務(wù)，補(bǔ)丁B僅覆蓋來自兩個(gè)語義區(qū)域的像素，即B={f1,…,fm,g1,…,gn}，其中f,g??D，m+n=K2。然后使用分類方法將來自同一類別的特征更緊密地結(jié)合在一起，同時(shí)保持有著不同標(biāo)簽的嵌入分開?；诜诸惖膿p失通過將特征均勻地分為兩組來提高對(duì)不同語義特征的識(shí)別：

其中μf1是f1的平均表示，函數(shù)sim(?,?)是兩個(gè)向量的相似性度量：

考慮到所有采樣的補(bǔ)丁Bs，邊界感知損失為

3.3 內(nèi)容自適應(yīng)模塊

盡管可以通過修改權(quán)重m的值來改變網(wǎng)絡(luò)生成的超像素的準(zhǔn)確性和緊湊性之間的比率，但這種調(diào)整會(huì)對(duì)全局產(chǎn)生影響。過高的權(quán)重會(huì)使生成的超像素難以匹配圖像的邊界，導(dǎo)致每個(gè)超像素中具有多個(gè)不同的語義信息。另一方面，權(quán)重過小會(huì)在遠(yuǎn)離邊界的區(qū)域產(chǎn)生非常不均勻和不緊湊的超像素，即使它們具有相似的特性，也會(huì)降低超像素的便利性和結(jié)構(gòu)。通過一個(gè)緊湊性因子來動(dòng)態(tài)改變損失函數(shù)中的緊密度權(quán)重，以使網(wǎng)絡(luò)能夠根據(jù)圖片內(nèi)容自適應(yīng)地權(quán)衡準(zhǔn)確度和緊密度的權(quán)重。

預(yù)期生成的超像素將表現(xiàn)出良好的邊界粘附性，即在圖像邊界附近具有很高的精度，而由于遠(yuǎn)離邊界的內(nèi)部區(qū)域的圖像特征相似，因此生成規(guī)則且緊湊的超像素以保留圖像的空間信息?；谶@個(gè)概念將圖像分為兩組：邊界區(qū)域和非邊界區(qū)域，并為每個(gè)區(qū)域分配不同的緊湊性因子。為了提取圖片的區(qū)域劃分，應(yīng)用邊緣檢測(cè)技術(shù)來處理輸入圖像，得到圖像的邊緣特征圖M??H×W。由于需要使用特征圖作為動(dòng)態(tài)權(quán)重來指導(dǎo)準(zhǔn)確性和緊湊性，對(duì)生成的邊緣特征圖進(jìn)行標(biāo)準(zhǔn)化操作。此外，為了保證邊界區(qū)域依舊考慮一定的緊湊性，非邊界區(qū)域依舊考慮一定的精度，對(duì)動(dòng)態(tài)權(quán)重的上下限進(jìn)行了一定的限制。最后計(jì)算出權(quán)重因子，其中表示每個(gè)像素p的權(quán)重（在本文中

在本文中使用邊緣檢測(cè)網(wǎng)絡(luò)BDCN 來獲取邊緣特征圖M。

結(jié)合內(nèi)容自適應(yīng)模塊的重建損失函數(shù)為

網(wǎng)絡(luò)的總體損失函數(shù)為

4 實(shí)驗(yàn)及結(jié)果分析

4.1 數(shù)據(jù)集

為了測(cè)試方法的有效性，本文在兩個(gè)公共基線BSDS500［19］和NYUv2［20］上進(jìn)行了試驗(yàn)。BSDS00 數(shù)據(jù)集共有500張圖像，圖像的尺寸為321×481像素或481×321 像素。因?yàn)槠渚哂杏筛鞣N不同專家標(biāo)記的多個(gè)語義標(biāo)簽，可以在這些圖像上進(jìn)行語義分割和邊緣檢測(cè)。為了進(jìn)行公平的比較，本文遵循過去的研究方法［16～18，32］并將每個(gè)標(biāo)注視為不同的樣本。NYUv2數(shù)據(jù)集是一個(gè)室內(nèi)場(chǎng)景理解數(shù)據(jù)集，包含1449 張帶有對(duì)象實(shí)例標(biāo)簽的圖像。Stutz 等［33］刪除了邊界周圍未標(biāo)記的區(qū)域，并對(duì)大小為608×448像素的400 張測(cè)試照片的子集進(jìn)行了超像素評(píng)估，以評(píng)估超像素方法。在BSDS500 數(shù)據(jù)集上，根據(jù)Yang［17］和Wang［16］的建議運(yùn)行典型的訓(xùn)練和測(cè)試工作流程。在BSDS500 上訓(xùn)練的模型直接應(yīng)用于NYUv2 數(shù)據(jù)集，并在400 個(gè)測(cè)試數(shù)據(jù)上展示結(jié)果以評(píng)估模型的泛化能力。

4.2 實(shí)驗(yàn)細(xì)節(jié)

隨機(jī)裁剪的208×208 像素大小的圖像用作訓(xùn)練階段的輸入，網(wǎng)絡(luò)使用Adam 優(yōu)化器［34］進(jìn)行4k 次迭代，批量大小為16。最初學(xué)習(xí)率設(shè)置為8e-5，經(jīng)過2k 次迭代后變?yōu)樵瓉淼囊话?。由于采樣間隔設(shè)置為16，編碼器組件執(zhí)行四次卷積和池化過程以產(chǎn)生13×13×256 大小的超像素嵌入。解碼器組件使用四個(gè)卷積和反卷積過程生成形狀為208×208×16 大小的像素嵌入。超像素嵌入經(jīng)過兩次卷積壓縮，然后作為13×13×16 大小的特征圖發(fā)送到AI 模塊。像素嵌入受到補(bǔ)丁大小為5 的邊界感知損失的影響。然后將兩個(gè)卷積層結(jié)合起來預(yù)測(cè)關(guān)聯(lián)圖Q，其形狀為208×208×9。Wang的方法［16］要求首先使用第一項(xiàng)LCA訓(xùn)練網(wǎng)絡(luò)進(jìn)行3k 次迭代，然后使用邊界感知損失LB對(duì)其進(jìn)行1k次迭代微調(diào)。對(duì)于位置重建損失，m設(shè)置為0.003/16，對(duì)于內(nèi)容自適應(yīng)特征，設(shè)置為[0.3,0.8]。本文使用Yang［17］相同的方法在測(cè)試階段產(chǎn)生不同數(shù)量的超像素。

與各種超像素方法進(jìn)行性能比較，包括SLIC［11］、ETPS［35］、ERS［14］、SEEDS［36］等經(jīng)典方法，以及SCN［17］和AINet［16］等深度學(xué)習(xí)方法。使用OpenCV 實(shí)現(xiàn)SLIC 和SEEDS。對(duì)于其他技術(shù)，則使用其作者推薦的設(shè)置和官方的實(shí)現(xiàn)方法。

4.3 評(píng)價(jià)指標(biāo)

為了分析超像素的性能，本文采用了四個(gè)突出的指標(biāo)：可達(dá)到的分割精度（ASA）、邊界召回（BR）、邊界精度（BP）和緊湊性（CO）。ASA 分?jǐn)?shù)是指超像素標(biāo)簽分割性能的上限，而BR和BP分?jǐn)?shù)與超像素模型識(shí)別語義邊界的能力有關(guān)。通過將每個(gè)超像素的面積與具有相同周長(zhǎng)的圓的面積進(jìn)行比較，可以確定超像素的緊密度（CO）。超像素分割性能越好，這些指標(biāo)的值就越高。在Stutz［33］等的文章中，對(duì)這些指標(biāo)進(jìn)行了更詳細(xì)的描述和分析。

4.4 結(jié)果分析

在BSDS500 和NYUv2 測(cè)試集上的定量比較結(jié)果如圖3～8所示。通過使用深度卷積網(wǎng)絡(luò)，CANet、SCN和AINet方法可以勝過標(biāo)準(zhǔn)的超像素算法。當(dāng)超像素?cái)?shù)量最少時(shí)，本文提出的CANet具有更高的ASA分?jǐn)?shù)和略低的CO分?jǐn)?shù)。隨著超像素?cái)?shù)量的增加，ASA分?jǐn)?shù)略微下降，但CO分?jǐn)?shù)卻得到了顯著改善。因?yàn)楫?dāng)超像素太少時(shí)，使邊緣粘附更重要。當(dāng)超像素?cái)?shù)量較多時(shí)，每個(gè)超像素的像素較少，兩個(gè)超像素被邊界分隔的可能性較小，緊湊性更為重要。因此，這種變化符合預(yù)期。在BSDS500數(shù)據(jù)集上，CANet 可以顯著優(yōu)于標(biāo)準(zhǔn)方法，如圖3～5 所示。在BR-BP得分上，CANet也可以超過深度網(wǎng)絡(luò)方法SCN 和AINet。適應(yīng)NYUv2 測(cè)試集時(shí)的性能見圖6～8。

圖3 數(shù)據(jù)集BSDS500上的ASA分?jǐn)?shù)比較

圖4 數(shù)據(jù)集BSDS500上的BR-BP分?jǐn)?shù)比較

圖5 數(shù)據(jù)集BSDS500上的CO分?jǐn)?shù)比較

圖6 數(shù)據(jù)集NYUv2上的ASA分?jǐn)?shù)比較

圖7 數(shù)據(jù)集NYUv2上的BR-BP分?jǐn)?shù)比較

圖8 數(shù)據(jù)集NYUv2上的CO分?jǐn)?shù)比較

可以看到CANet 也有更好的泛化能力。三種最新方法在數(shù)據(jù)集BSDS500 和NYUv2 上的定性結(jié)果如圖9和圖10所示。相較而言，顯示的結(jié)果確保了非邊界區(qū)域的良好邊界粘附性和更高的緊湊性。該方法的優(yōu)越性在視覺上得到了證明。

圖9 數(shù)據(jù)集BSDS500上的超像素分割結(jié)果

圖10 數(shù)據(jù)集NYUv2上的超像素分割結(jié)果

4.5 推理速度

除了性能之外，推理速度也是一個(gè)需要考慮的重要因素。使用BSDS500 數(shù)據(jù)集研究了三種基于深度學(xué)習(xí)的方法的推理效率。本文只計(jì)算網(wǎng)絡(luò)推理和后處理過程的時(shí)間，以確保比較的公平。所有方法都在同一個(gè)工作站上運(yùn)行，該工作站有一個(gè)NVidia GTX TITAN X GPU和一個(gè)Intel E5 CPU。三種基于深度學(xué)習(xí)的方法CANet、AINet 和SCN 的時(shí)間成本如圖11 所示。由于SCN 方法具有簡(jiǎn)單的架構(gòu)，因此它是解決推理問題的最有效方法。由于在AINet 中添加了更多的層和進(jìn)程，推理速度比SCN略慢。CANet介于二者之間。

圖11 三種基于深度學(xué)習(xí)的方法的平均時(shí)間成本

5 結(jié)語

本文提出了一個(gè)內(nèi)容自適應(yīng)超像素分割網(wǎng)絡(luò)，可用于生成粘附邊界的超像素，并且在遠(yuǎn)離邊界的區(qū)域中保持緊湊性，從而降低精度-緊湊性之間的權(quán)衡。在兩個(gè)廣泛使用的基準(zhǔn)上的實(shí)驗(yàn)表明，該方法具有出色的性能和效率，以及高度的泛化性。