面向自然場(chǎng)景文本檢測(cè)的改進(jìn)NMS算法

楊有為，周 剛

新疆大學(xué)信息科學(xué)與工程學(xué)院，烏魯木齊 830046

自然場(chǎng)景文本檢測(cè)是許多計(jì)算機(jī)視覺(jué)應(yīng)用的基礎(chǔ)，如自動(dòng)導(dǎo)航、場(chǎng)景文本翻譯[1]等等，其檢測(cè)效果將直接影響后續(xù)應(yīng)用的效果。近十年來(lái)，神經(jīng)網(wǎng)絡(luò)的發(fā)展已經(jīng)大幅度的提升了其檢測(cè)效果，但場(chǎng)景文本檢測(cè)領(lǐng)域仍然面臨著文本框形狀差異大、自然背景復(fù)雜混疊等問(wèn)題。自然場(chǎng)景文本檢測(cè)算法大多在經(jīng)典的目標(biāo)檢測(cè)算法基礎(chǔ)上進(jìn)行改進(jìn)。目前的目標(biāo)檢測(cè)算法根據(jù)其檢測(cè)定位方式的不同主要可以分為one-stage 如SSD[2]、YOLO[3]、CornerNet[4]和two-stage 如Faster R-CNN[5]、R-FCN[6]、Deformable CNN[7]、Mask R-CNN[8]、Light-Head R-CNN[9]兩大類。無(wú)論是one-stage 系列還是two-stage 系列算法，作為后處理的NMS 算法都是它們不可缺少的一部分。上述的two-stage 方法如Faster R-CNN[5]、Mask R-CNN[8]、one-stage方法如SSD[2]、YOLO[3]均采用了NMS算法，該算法對(duì)檢測(cè)框的選擇具有重要作用。

如圖1（b）所示，在實(shí)驗(yàn)中，觀察到前端檢測(cè)算法會(huì)產(chǎn)生大量候選框，其中大部分候選框并不緊靠目標(biāo)文本區(qū)域，并且該類候選框的存在將直接導(dǎo)致最終檢測(cè)效果較差。檢測(cè)效果較差主要由兩種情況造成：（1）如圖1（c）中紫色檢測(cè)框所示，對(duì)長(zhǎng)文本區(qū)域，受卷積核感受野等影響，選擇單一檢測(cè)框定位往往不夠準(zhǔn)確。（2）如圖1（c）中紅色檢測(cè)框所示，對(duì)多個(gè)鄰近文本區(qū)域，相鄰檢測(cè)框易產(chǎn)生混疊現(xiàn)象，對(duì)文本區(qū)域定位較差。在本文中，針對(duì)自然場(chǎng)景文本檢測(cè)在后處理階段產(chǎn)生的檢測(cè)結(jié)果不緊靠文本區(qū)域的問(wèn)題，提出了一種改進(jìn)的NMS算法。

圖1 NMS算法檢測(cè)結(jié)果Fig.1 NMS algorithm test results

本文方法主要做了以下改變：針對(duì)部分候選框檢測(cè)結(jié)果偏差較大的情況，設(shè)計(jì)了排序?yàn)V波與融合計(jì)算算法，既將所有候選框各坐標(biāo)集合進(jìn)行排序，濾除偏差較大的坐標(biāo)值，再將剩余候選框進(jìn)行融合計(jì)算，獲得更加緊靠文本區(qū)域的檢測(cè)結(jié)果。

1 相關(guān)工作

隨著深度學(xué)習(xí)的快速發(fā)展，使用卷積神經(jīng)網(wǎng)絡(luò)的場(chǎng)景文本檢測(cè)算法逐漸成為主流。Liao等人[10]提出了一種新型的全卷積網(wǎng)絡(luò)結(jié)構(gòu)，基于SSD[2]網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)，在輸出端通過(guò)text-box 層預(yù)測(cè)目標(biāo)文本區(qū)域的候選框，再通過(guò)NMS 算法得到檢測(cè)框。Jiang 等人[11]在Faster R-CNN[5]框架上進(jìn)行改進(jìn)，在其池化層進(jìn)行多尺度池化去適應(yīng)多尺度訓(xùn)練，再通過(guò)NMS 算法得到檢測(cè)框。Zhou等人[12]提出對(duì)全卷積網(wǎng)絡(luò)方法進(jìn)行改進(jìn)，將不同卷積層的特征級(jí)聯(lián)再進(jìn)行像素級(jí)別的預(yù)測(cè)，最后再通過(guò)Locality-Aware NMS[12]算法得到檢測(cè)框。

上述方法均使用了NMS 算法，NMS 算法在選擇最優(yōu)候選框時(shí)將與最大置信度候選框交并比值（既目標(biāo)預(yù)測(cè)框和真實(shí)框的交集與并集的比例，簡(jiǎn)稱IoU 值）小于預(yù)設(shè)閾值的候選框全部刪除，在實(shí)際情況中往往描述不夠精確。因此，NMS類算法在近些年來(lái)也得到了快速的發(fā)展，許多改進(jìn)的NMS算法被提出。如Incline NMS[11]，在IoU的計(jì)算上提出了創(chuàng)新，根據(jù)文本的傾斜情況與檢測(cè)目的，更改IoU定義重新訓(xùn)練數(shù)據(jù)，減少了普通IoU誤差帶來(lái)的影響，實(shí)驗(yàn)證明其有效地提高了檢測(cè)效果。如Soft NMS[13]，對(duì)濾除候選框的策略進(jìn)行改進(jìn)，認(rèn)為NMS算法會(huì)將原本是目標(biāo)物體的候選框?yàn)V除，應(yīng)將小于閾值的候選框進(jìn)行降低得分而不是完全抑制。又如Softer NMS[14]，認(rèn)為不能以置信度作為選擇標(biāo)準(zhǔn)，提出候選框置信度得分與其位置準(zhǔn)確性并非強(qiáng)相關(guān)，實(shí)際過(guò)程中存在大量置信度得分較低但定位良好的候選框在NMS算法中由于抑制被舍棄。所以，研究一種新參數(shù)去衡量候選框的定位準(zhǔn)確性是有必要的。Softer NMS[14]針對(duì)網(wǎng)絡(luò)模型進(jìn)行改進(jìn)，在輸出全連接層的同時(shí)訓(xùn)練一個(gè)位置參數(shù)用于后續(xù)改進(jìn)NMS 算法，精確定位候選框的位置。但這些方法如Incline NMS[11]、Softer NMS[14]都需重新訓(xùn)練，不同模型訓(xùn)練后參數(shù)設(shè)置并非一致，這樣會(huì)使得算法的嵌入性降低，復(fù)雜度提升。

2 方法

傳統(tǒng)的NMS 算法對(duì)于多文本混疊和長(zhǎng)文本區(qū)域，由于卷積核感受野的限制與周邊區(qū)域的影響，選擇單一框去作為檢測(cè)結(jié)果時(shí)效果往往較差。針對(duì)上述情況，提出了一種新的NMS 算法，使用排序?yàn)V波與融合計(jì)算的方法去獲取檢測(cè)框。圖2（a）所示為未經(jīng)過(guò)NMS處理前的候選框集合；如圖2（b）所示，在融合前進(jìn)行排序?yàn)V波處理，將同一文本區(qū)域預(yù)測(cè)產(chǎn)生的所有候選框相同位置的坐標(biāo)按照從小到大排序，取中間一部分保留進(jìn)行接下來(lái)的融合計(jì)算，經(jīng)過(guò)排序?yàn)V波與融合計(jì)算后得到的檢測(cè)框如圖2（c）所示。

圖2 算法原理Fig.2 Algorithm principle

2.1 方法理論

Softer NMS[14]中將候選框各坐標(biāo)建模成不同的高斯模型，使用候選框各坐標(biāo)所服從高斯分布的方差去衡量其定位的精度，認(rèn)為方差越小時(shí)，該坐標(biāo)的預(yù)測(cè)效果越好。具體模型如公式（1）所示，xp為預(yù)測(cè)候選框的某一坐標(biāo)，方差σ2由其網(wǎng)絡(luò)訓(xùn)練輸出的全連接層預(yù)測(cè)所得，其中標(biāo)注框（簡(jiǎn)稱GT 框）各坐標(biāo)視為σ→0 時(shí)的高斯模型。

考慮到重新訓(xùn)練參數(shù)帶來(lái)的影響，本文中采用了排序?yàn)V波算法，其原理既將候選框相同位置的坐標(biāo)中偏差較大的坐標(biāo)進(jìn)行濾除，使剩余坐標(biāo)更接近他們的中值，該算法無(wú)需重新訓(xùn)練，其嵌入性較高，復(fù)雜度較低。

根據(jù)Softer NMS[14]中推論與排序?yàn)V波后剩余坐標(biāo)的特性，假設(shè)經(jīng)過(guò)排序?yàn)V波后，同一文本區(qū)域保留的候選框相同位置的坐標(biāo)服從同一方差的高斯分布，模型同公式（1）。設(shè)經(jīng)過(guò)排序?yàn)V波后，相同位置剩余m個(gè)坐標(biāo)，由高斯分布的性質(zhì)，將這m個(gè)服從高斯分布的坐標(biāo)平均融合后得到的檢測(cè)框坐標(biāo)也將服從高斯分布，且融合后檢測(cè)框坐標(biāo)所服從高斯分布的方差將變?yōu)樵瓉?lái)的m分之一，融合后方差計(jì)算方式見(jiàn)公式（2）。

如圖2（b）高斯曲線所示（紅色為GT框），融合后檢測(cè)框的高斯分布曲線將會(huì)更窄，其預(yù)測(cè)將會(huì)更加接近GT框。

2.2 排序?yàn)V波與融合計(jì)算

本文算法簡(jiǎn)稱Order NMS，算法原理如算法1所示。其中S是所有候選框的集合，每個(gè)候選框由8個(gè)坐標(biāo)組成，i為候選框8個(gè)坐標(biāo)的編號(hào)，pmax[i]、q[i]、F[i]對(duì)應(yīng)候選框某個(gè)坐標(biāo)的索引，i∈[0,7]，N值為執(zhí)行排序?yàn)V波與融合計(jì)算前要求的最低候選框數(shù)量，N≥3。在每一次循環(huán)中，找到候選框集合S中預(yù)測(cè)某一文本區(qū)域最大置信度的候選框，以該最大置信度候選框?yàn)榛鶞?zhǔn)，將集合S中所有候選框逐一與最大置信度候選框進(jìn)行IoU 值比較，若大于預(yù)設(shè)融合IoU 閾值（具體融合閾值分析見(jiàn)實(shí)驗(yàn)部分），則將其4 個(gè)頂點(diǎn)的8 個(gè)坐標(biāo)按照順時(shí)針?lè)较驈淖笊辖情_(kāi)始依次存入8 個(gè)集合Gi中，i∈[0,7]，直到遍歷所有候選框，遍歷完后保留了n個(gè)候選框既每個(gè)Gi中保留了n個(gè)坐標(biāo)，再將每個(gè)集合Gi內(nèi)元素進(jìn)行從小到大排序。若n大于N，則濾除每個(gè)Gi集合內(nèi)首尾Δ 個(gè)偏差較大的坐標(biāo)值，濾除完后每個(gè)Gi中保留了m個(gè)坐標(biāo)，將每個(gè)Gi中保留的m個(gè)坐標(biāo)根據(jù)i值對(duì)應(yīng)，依次存放在8 個(gè)新集合Hi中，i∈[0,7]，再將每個(gè)Hi進(jìn)行融合計(jì)算得到最終檢測(cè)框各坐標(biāo)。若n小于等于N，則不執(zhí)行排序?yàn)V波與融合計(jì)算，直接選取最大置信度候選框?yàn)樽罱K檢測(cè)框（具體N值分析見(jiàn)實(shí)驗(yàn)部分）。F[i]為最終檢測(cè)框8個(gè)坐標(biāo)，i∈[0,7]。

算法1 OrderNMS

在實(shí)驗(yàn)中，直接采用排序?yàn)V波與融合計(jì)算時(shí)效果并不理想（具體分析見(jiàn)實(shí)驗(yàn)3.1部分）。由于場(chǎng)景文本十分密集，存在較多條文本并排情況，當(dāng)以最大置信度候選框?yàn)榛鶞?zhǔn)進(jìn)行融合閾值篩選時(shí)，保留的候選框并不全是該目標(biāo)文本區(qū)域預(yù)測(cè)產(chǎn)生的候選框，其中夾雜著一類周邊文本區(qū)域預(yù)測(cè)產(chǎn)生的候選框。如算法1 中方框標(biāo)注代碼所示，為了解決該問(wèn)題，結(jié)合了Soft NMS[13]的方法，將其用于此類候選框的濾除。在每輪算法執(zhí)行時(shí)降低剩余候選框的置信度得分，通過(guò)設(shè)置濾除閾值抑制小于指定置信度得分的候選框，減少此類候選框在后輪算法中被重復(fù)保留的情況。

Soft NMS[13]降低得分機(jī)制見(jiàn)公式（3），其中Si為當(dāng)前候選框得分，Nt為預(yù)設(shè)IoU值。

圖3 直觀地展示了排序?yàn)V波與融合計(jì)算的實(shí)際效果。圖3（a）為未經(jīng)過(guò)NMS處理的候選框集合。圖3（b）為排序?yàn)V波后的候選框集合，觀察發(fā)現(xiàn)，偏差較大的候選框數(shù)量有效減少，這對(duì)后續(xù)的融合計(jì)算十分有利。圖3（c）為直接進(jìn)行融合計(jì)算得到的檢測(cè)框，由于融合了偏差較大的候選框，效果并不理想。圖3（d）為排序?yàn)V波后進(jìn)行融合計(jì)算的檢測(cè)框結(jié)果，可觀測(cè)到其對(duì)長(zhǎng)文本和混疊文本等情況有較大改善。

圖3 排序?yàn)V波與融合計(jì)算前后對(duì)比Fig.3 Comparison before and after sortingfiltering and fusion computing

3 實(shí)驗(yàn)

為保證實(shí)驗(yàn)數(shù)據(jù)的公平，本文統(tǒng)一在Zhou等人[12]提出的網(wǎng)絡(luò)模型上進(jìn)行NMS模塊對(duì)比。將Locality-Aware NMS[12]、NMS、Soft NMS[13]，與是否結(jié)合Soft NMS[13]的Order NMS 在相同條件下，在ICDAR2015[15]數(shù)據(jù)集和MSRATD500 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)比較。測(cè)試實(shí)驗(yàn)均使用resnet50[16]模型，使用批量梯度下降（BGT），指數(shù)衰減學(xué)習(xí)率，學(xué)習(xí)率初始值設(shè)置為0.000 1。ICDAR2015數(shù)據(jù)集迭代6萬(wàn)次，MSRATD數(shù)據(jù)集迭代10萬(wàn)次。

3.1 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果如表1與表2，展示5種算法在ICDAR2015[15]數(shù)據(jù)集與MSRATD500數(shù)據(jù)集上recall、precision、F-score值的大小。

表1 5種方法ICDAR2015實(shí)驗(yàn)結(jié)果對(duì)比Table 1 Comparison of ICDAR2015 experimental results of five methods

表2 5種方法MSRA500實(shí)驗(yàn)結(jié)果對(duì)比Table 2 Comparison of MSRA500 experimental results of five methods

根據(jù)表1與表2的實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，結(jié)合Soft NMS[13]與Order NMS的F-score值對(duì)比其他算法得到了明顯提升，這也證明了本文算法方法理論部分提出的假設(shè)是正確的。僅使用Order NMS 時(shí)，受鄰近區(qū)域預(yù)測(cè)候選框的干擾，排序?yàn)V波算法無(wú)法有效發(fā)揮其實(shí)際作用。Soft NMS[13]算法原本是用來(lái)檢測(cè)重疊物體區(qū)域的，本文主要應(yīng)用其降低得分機(jī)制去優(yōu)化排序?yàn)V波算法，因此，結(jié)合Soft NMS[13]的Order NMS取得了明顯效果。

3.2 重要參數(shù)對(duì)比

以ICDAR2015[15]數(shù)據(jù)集為實(shí)驗(yàn)基礎(chǔ)，在同等實(shí)驗(yàn)條件下通過(guò)控制變量法對(duì)不同閾值進(jìn)行實(shí)驗(yàn)比較。

如表3展示了濾除閾值對(duì)實(shí)驗(yàn)結(jié)果的影響，濾除閾值既允許候選框存在的最小置信度得分，實(shí)驗(yàn)時(shí)Nt設(shè)置為0.1。觀察發(fā)現(xiàn)，濾除閾值取大取小對(duì)實(shí)驗(yàn)結(jié)果均有提升，濾除閾值取0.6時(shí)效果最佳。

表3 不同濾除閾值下ICDAR2015實(shí)驗(yàn)結(jié)果對(duì)比Table 3 Comparison of ICDAR2015 experimental results under different filtering thresholds

如表4展示了融合閾值對(duì)實(shí)驗(yàn)結(jié)果的影響，觀察發(fā)現(xiàn)，融合閾值設(shè)置過(guò)高會(huì)減少預(yù)融合候選框數(shù)量，過(guò)低則會(huì)加大極端候選框數(shù)量，融合閾值取0.3時(shí)效果最佳。

表4 不同融合閾值下ICDAR2015實(shí)驗(yàn)結(jié)果對(duì)比Table 4 Comparison of ICDAR2015 experimental results under different fusion thresholds

如表5 展示了N值對(duì)實(shí)驗(yàn)結(jié)果的影響，觀察發(fā)現(xiàn)，N值越小對(duì)實(shí)驗(yàn)結(jié)果的提升越大，N值取3時(shí)效果最佳。

表5 不同N 值下ICDAR2015實(shí)驗(yàn)結(jié)果對(duì)比Table 5 Comparison of ICDAR2015 experimental results under different N values

4 結(jié)束語(yǔ)

NMS算法一直都是場(chǎng)景文本檢測(cè)中的一個(gè)重要環(huán)節(jié)。在本文中，提出了一種基于排序?yàn)V波與融合計(jì)算的NMS算法。通過(guò)在ICDAR2015[15]數(shù)據(jù)集與MSRATD500數(shù)據(jù)集上的實(shí)驗(yàn)，證明了本文算法能夠提高最終的檢測(cè)結(jié)果，并且對(duì)長(zhǎng)文本和混疊文本的情況更加有效。