基于文本與視覺(jué)信息的細(xì)粒度圖像分類

袁建平，陳曉龍，陳顯龍，何恩杰，張加其，高宇豆

基于文本與視覺(jué)信息的細(xì)粒度圖像分類

袁建平1，陳曉龍1，陳顯龍1，何恩杰1，張加其2，高宇豆2

(1. 北京恒華偉業(yè)科技股份有限公司，北京 100011；2. 華北電力大學(xué)控制與計(jì)算機(jī)工程學(xué)院，北京 102206)

一般細(xì)粒度圖像分類只關(guān)注圖像局部視覺(jué)信息，但在一些問(wèn)題中圖像局部的文本信息對(duì)圖像分類結(jié)果有直接幫助，通過(guò)提取圖像文本語(yǔ)義信息可以進(jìn)一步提升圖像細(xì)分類效果。我們綜合考慮了圖像視覺(jué)信息與圖像局部文本信息，提出一個(gè)端到端的分類模型來(lái)解決細(xì)粒度圖像分類問(wèn)題。一方面使用深度卷積神經(jīng)網(wǎng)絡(luò)獲取圖像視覺(jué)特征，另一方面依據(jù)提出的端到端文本識(shí)別網(wǎng)絡(luò)，提取圖像的文本信息，再通過(guò)相關(guān)性計(jì)算模塊合并視覺(jué)特征與文本特征，送入分類網(wǎng)絡(luò)。最終在公共數(shù)據(jù)集Con-Text上測(cè)試該方法在圖像細(xì)分類中的結(jié)果，同時(shí)也在SVT數(shù)據(jù)集上驗(yàn)證端到端文本識(shí)別網(wǎng)絡(luò)的能力，均較之前方法獲得更好的效果。

計(jì)算機(jī)視覺(jué)；細(xì)粒度圖像分類；場(chǎng)景文本識(shí)別；卷積神經(jīng)網(wǎng)絡(luò)；注意力機(jī)制

圖像分類是計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)經(jīng)典研究課題，其中細(xì)粒度圖像分類是一項(xiàng)極具挑戰(zhàn)的研究任務(wù)。不同于一般粗粒度圖像分類任務(wù)，細(xì)粒度圖像的類別精度更加細(xì)致，類間差異更加細(xì)微，往往只能借助于微小的局部差異才能區(qū)分出不同的類別。與人臉識(shí)別等對(duì)象級(jí)分類任務(wù)相比，細(xì)粒度圖像的類內(nèi)差異更加巨大，存在著姿態(tài)、光照、遮擋、背景干擾等諸多不確定因素，分類任務(wù)難度較大。而細(xì)粒度圖像分類無(wú)論在學(xué)術(shù)界還是工業(yè)界都有著廣泛的研究需求與應(yīng)用場(chǎng)景[1]。例如在生態(tài)保護(hù)中，需要有效識(shí)別不同種類生物，之前都只能依賴專家知識(shí)，研究成本大。如果能實(shí)現(xiàn)低成本細(xì)粒度圖像分類，那么無(wú)論對(duì)學(xué)術(shù)界還是工業(yè)界都有非常重要的意義。

對(duì)于細(xì)粒度圖像，能夠幫助圖像分類的信息往往只存在于很細(xì)小的局部區(qū)域中。因此，如何找到并有效利用有用的局部區(qū)域信息，成為了決定細(xì)粒度圖像分類算法成功與否的關(guān)鍵所在。早期的方法嚴(yán)重依賴人工標(biāo)注信息，包括標(biāo)注框(bounding box)和局部區(qū)域位置(part locations)等，同時(shí)使用了人工提取的圖像特征，很大程度上制約了該算法的實(shí)用性。近年來(lái)，深度學(xué)習(xí)日益發(fā)展，使得之前很多研究問(wèn)題有了新的解決方法。越來(lái)越多的研究不使用標(biāo)注信息，僅僅使用圖像標(biāo)簽來(lái)進(jìn)行圖像分類，并且從深度卷積神經(jīng)網(wǎng)絡(luò)(deep convolution neural network，DCNN)中提取特征，比人工特征擁有更強(qiáng)大的描述能力[2]。之后DONAHUE等[3]提出DeCAF，將大數(shù)據(jù)集上訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)遷移到小數(shù)據(jù)集上再訓(xùn)練，結(jié)果在鳥類數(shù)據(jù)庫(kù)圖像細(xì)分類任務(wù)中表現(xiàn)不錯(cuò)。在使用深度學(xué)習(xí)方法基礎(chǔ)上，一些圖像細(xì)分類問(wèn)題中，局部信息包含大量與圖像類別之間有關(guān)聯(lián)關(guān)系的文字，因此本文將圖像視覺(jué)信息與圖像中局部文字信息結(jié)合，共同參與細(xì)粒度圖像分類。同時(shí)圖像文本之間有一定的語(yǔ)義信息，而該信息能夠更好地反映圖像的類別。

本文設(shè)計(jì)了一個(gè)端到端的訓(xùn)練模型，幫助進(jìn)一步提升圖像細(xì)分類的效果。模型首先使用DCNN提取圖像的視覺(jué)信息，再利用基于注意力機(jī)制的文本識(shí)別網(wǎng)絡(luò)從圖像局部區(qū)域(圖像的文字區(qū)域)提取文字信息，然后使用雙向循環(huán)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)文本之間信息，計(jì)算文本行與圖像相關(guān)性，剔除不相關(guān)文本串，最后結(jié)合視覺(jué)特征信息與文本特征信息獲得圖像最終的分類結(jié)果。

1 相關(guān)工作

1.1 圖像分類

由于卷積神經(jīng)網(wǎng)絡(luò)(convolution neural network，CNN)在圖像問(wèn)題上具有天然優(yōu)勢(shì)，加上最近幾年DCNN的快速發(fā)展，出現(xiàn)了很多優(yōu)秀的卷積網(wǎng)絡(luò)模型，使得基于DCNN的圖像分類算法效果越來(lái)越好。雖然CNN模型對(duì)于粗粒度的圖像分類可以獲得很好的分類效果，但是對(duì)于細(xì)粒度圖像分類目前仍然是一個(gè)具有挑戰(zhàn)性的任務(wù)。目前對(duì)于細(xì)粒度圖像分類問(wèn)題，主要分為基于強(qiáng)監(jiān)督信息和弱監(jiān)督信息2類模型。其中基于強(qiáng)監(jiān)督信息的細(xì)粒度分類模型，如：基于部分的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)模型(part-based regions with convolution neural network，Part-based R-CNN)4]，該模型利用R-CNN算法對(duì)細(xì)粒度圖像進(jìn)行物體級(jí)別(如鳥)與其局部區(qū)域(頭、身體等部位)的檢測(cè)，但Part-based R-CNN在訓(xùn)練和測(cè)試時(shí)都需要借助邊界框和標(biāo)注點(diǎn)，限制了其在實(shí)際場(chǎng)景中的應(yīng)用。基于弱監(jiān)督信息的細(xì)粒度圖像分類模型，如：基于整體與部分兩層的注意力模型(two level attention model)[5]，主要關(guān)注物體主體和部分2個(gè)不同層次的特征，同時(shí)模型并不需要數(shù)據(jù)集提供標(biāo)注信息，完全依賴于本身的算法來(lái)完成物體和局部區(qū)域的檢測(cè)。最近提出的一種基于弱監(jiān)督信息分類模型(object-part attention driven discriminative localization for fine-grained image classification，OPADDL)[6]不需要大量邊界框與標(biāo)注點(diǎn)即可檢測(cè)到目標(biāo)區(qū)域，同時(shí)保持了對(duì)象主體與部分之間的關(guān)聯(lián)性，防止生成的多個(gè)部分包含大量背景區(qū)域的同時(shí)，又防止區(qū)域之間互相嚴(yán)重重疊。這些工作對(duì)細(xì)粒度對(duì)象分類有一定的幫助，但并未考慮將圖像中的文本信息用于圖像分類。文獻(xiàn)[7]雖然將視覺(jué)信息與文本信息結(jié)合應(yīng)用到圖像細(xì)分類問(wèn)題中，并提出一個(gè)端到端的分類網(wǎng)絡(luò)獲得較好的效果，但是只考慮到圖像中單詞與圖像之間的關(guān)系。本文在其模型基礎(chǔ)上做出改進(jìn)，將圖像中的文字之間的關(guān)系考慮進(jìn)來(lái)，進(jìn)一步提升模型細(xì)分類的能力。

1.2 文本檢測(cè)與識(shí)別

文本檢測(cè)與識(shí)別問(wèn)題在深度學(xué)習(xí)方法出現(xiàn)之前，手工提取特征為主要解決問(wèn)題的思路。期間組件級(jí)別(如筆畫寬度變換，stroke width transform，SWT[8])，最大極致穩(wěn)定區(qū)域(maximally stable extremal regions，MSER[9])、字符級(jí)別[10]都是通過(guò)手工定義特征，包括基于連通區(qū)域的方法，以及基于方向梯度直方圖(histogram of oriented gradient, HOG)特征的檢測(cè)框描述方法。而深度學(xué)習(xí)方法之后，擺脫了手工定義特征繁瑣的工作，使得效率獲得很大的提升。目前文本檢測(cè)模型在深度學(xué)習(xí)中主要基于建議區(qū)間與基于圖像分割2種方向。其中前者使用比較廣泛。

在基于建議區(qū)間的方法中，如：基于聯(lián)結(jié)主義的文本區(qū)間建議網(wǎng)絡(luò)(connectionist text proposal network，CTPN)[11]、基于快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(faster regions with convolution neural network，F(xiàn)aster R-CNN)的方法，針對(duì)文字形狀和一般物體形狀的區(qū)別，實(shí)現(xiàn)了文字水平方向上非常好的識(shí)別效果。文獻(xiàn)[12]實(shí)現(xiàn)了文本端到端的識(shí)別，提出了針對(duì)文字串的對(duì)稱性特征，與傳統(tǒng)方法不同，不通過(guò)檢測(cè)字符、筆畫來(lái)確定文字區(qū)域，而是直接檢測(cè)文字串，但該方法速度很慢。而文獻(xiàn)[13]將Faster R-CNN中的感興趣區(qū)域池化層(regions of interest，RoI pooling)替換為可快速計(jì)算任意方向的模塊，對(duì)文本進(jìn)行自動(dòng)處理，提升了檢測(cè)速度。另有文獻(xiàn)[14]考慮到文本在圖像中更多的是不規(guī)則多邊形輪廓，提出在生成建議框之后回歸一個(gè)任意多邊形而不是去回歸一個(gè)矩形框，并且在單方向多框架檢測(cè)(single shot multi box detector，SSD)[15]的框架基礎(chǔ)上，將回歸邊界框和匹配都加入到網(wǎng)絡(luò)結(jié)構(gòu)中，取得了較好的識(shí)別效果并且兼顧了速度。基于圖像分割的方法中，同樣有很多不錯(cuò)的方法。比如，文獻(xiàn)[16]將文本行視為一個(gè)需要分割的目標(biāo)，通過(guò)分割得到文字的顯著性區(qū)域(salience map)，獲取到文字大概位置、整體方向及排列方式，再結(jié)合其他特征進(jìn)行高效的文字檢測(cè)。同時(shí)CNN可以同時(shí)預(yù)測(cè)字符的位置及字符之間的連接關(guān)系，這對(duì)定位文字具有很好的幫助。在實(shí)現(xiàn)文本端到端的識(shí)別問(wèn)題中，目前文獻(xiàn)[17]獲得了較先進(jìn)的結(jié)果，其基于Faster R-CNN將文本檢測(cè)網(wǎng)絡(luò)與文本識(shí)別網(wǎng)絡(luò)整合到一起，實(shí)現(xiàn)端到端的文本識(shí)別，同時(shí)將注意力機(jī)制[18]用于自己的文本識(shí)別網(wǎng)絡(luò)中。本文在文 獻(xiàn)[17]提出的識(shí)別模型基礎(chǔ)上，將文本檢測(cè)網(wǎng)絡(luò)CTPN與基于注意力(attention)的序列到序列文本識(shí)別網(wǎng)絡(luò)整合設(shè)計(jì)，提出一種端到端的文本識(shí)別網(wǎng)絡(luò)，用于提取圖像中的文本信息。

1.3 注意力機(jī)制

在引入注意力機(jī)制之前，圖像識(shí)別或語(yǔ)言翻譯都是直接把完整的圖像或語(yǔ)句直接輸入，然后給出輸出結(jié)果。如果圖像縮放成固定大小，便會(huì)引起信息的丟失，為此引入注意力機(jī)制使得模型關(guān)注更加感興趣的地方[19]。注意力機(jī)制廣泛應(yīng)用于多個(gè)領(lǐng)域，如自然語(yǔ)言處理、語(yǔ)音識(shí)別、機(jī)器翻譯、文本識(shí)別等，目前大多數(shù)注意力模型都附著在編碼-解碼(encoder-decoder)框架下，如文獻(xiàn)[20]將注意力機(jī)制用于文本識(shí)別方面，使用的就是這樣的架構(gòu)。在文本處理和語(yǔ)音識(shí)別方面，encoder 部分通常采用循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network，RNN)模型，圖像處理方面一般采用 CNN 模型。同時(shí)注意力機(jī)制也在計(jì)算機(jī)視覺(jué)領(lǐng)域中引起越來(lái)越多的關(guān)注。在計(jì)算機(jī)視覺(jué)領(lǐng)域，注意力機(jī)制有各種不同形式的實(shí)現(xiàn)，可以大致分為軟注意力機(jī)制(soft attention)和硬注意力機(jī)制(hard attention)。Soft attention如文獻(xiàn)[18]，其是可微的，可以通過(guò)反向傳播訓(xùn)練。而Hard attention 需要預(yù)測(cè)關(guān)注的區(qū)域，通常使用強(qiáng)化學(xué)習(xí)來(lái)訓(xùn)練。在文獻(xiàn)[7]中引入注意力機(jī)制自動(dòng)分析文本與圖像之間的相關(guān)性，有助于選擇圖像中相關(guān)性最大的單詞來(lái)進(jìn)行細(xì)粒度的分類。本文在文本識(shí)別網(wǎng)絡(luò)與文本相關(guān)性計(jì)算都應(yīng)用注意力機(jī)制，在文本識(shí)別中，主要目的是快速學(xué)習(xí)文本序列，而文本與圖像關(guān)系中，主要是學(xué)習(xí)與圖像相關(guān)度最大的文本，去除圖像本身或文本識(shí)別過(guò)程中的噪音。

2 視覺(jué)與文字信息融合分類模型

本文模型主要分為視覺(jué)特征提取、端到端文本識(shí)別與基于注意力機(jī)制的文本相關(guān)性計(jì)算3個(gè)模塊。模型主要架構(gòu)圖如圖1所示。

圖1 模型主架構(gòu)圖

(1) 使用預(yù)訓(xùn)練的DCNN提取圖像的視覺(jué)特征，同時(shí)為了最大程度減少計(jì)算量，該視覺(jué)特征又共享到文本識(shí)別網(wǎng)絡(luò)與最后的分類網(wǎng)絡(luò)中。其中在視覺(jué)特征提取模塊中，本文使用預(yù)訓(xùn)練的DCNN模型，但只保留特征提取部分。

(2) 視覺(jué)特征傳輸?shù)蕉说蕉说奈谋咀R(shí)別網(wǎng)絡(luò)(end-to-end recognition network)，不同于一般的文本識(shí)別網(wǎng)絡(luò)將文本檢測(cè)與文本識(shí)別分開，在本文中使用一種端到端的網(wǎng)絡(luò)結(jié)構(gòu)。該網(wǎng)絡(luò)以CPTN[11]網(wǎng)絡(luò)結(jié)構(gòu)為基礎(chǔ)，添加基于注意力的文字識(shí)別網(wǎng)絡(luò)，完成對(duì)圖像文字的端對(duì)端識(shí)別。文本檢測(cè)網(wǎng)絡(luò)(text detection network，TDN)模塊主要實(shí)現(xiàn)圖像的文本檢測(cè)，RoI pooling主要將檢測(cè)到的文本區(qū)域與視覺(jué)特征結(jié)合，并送入文本識(shí)別網(wǎng)絡(luò)(text recognition network，TRN)模塊進(jìn)行文本識(shí)別。

(3) 將識(shí)別到的文本行信息送入相關(guān)性計(jì)算模塊(correlation calculation)中，模塊給出文本與圖像的相關(guān)權(quán)重，同時(shí)去除識(shí)別噪聲。

(4) 將圖像視覺(jué)信息與文本信息共同送入分類網(wǎng)絡(luò)，獲得最終的圖像分類結(jié)果。

2.1 深度卷積神經(jīng)網(wǎng)絡(luò)提取視覺(jué)特征

視覺(jué)幾何組網(wǎng)絡(luò)(visual geometry group net，VGGNet)是從亞歷克斯網(wǎng)絡(luò)(Alex-net)發(fā)展而來(lái)，其在基礎(chǔ)的DCNN上做了改進(jìn)，使用更小的濾波器尺寸和間隔，同時(shí)在整個(gè)圖片和多尺度上訓(xùn)練和測(cè)試圖片。其中使用多個(gè)小尺寸濾波器組合相比一個(gè)大尺寸濾波器效果要好。主要表想在：

(1) 多個(gè)卷積層與非線性的激活層交替的結(jié)構(gòu)，比單一卷積層的結(jié)構(gòu)更能提取出深層的更好的特征。

(2) 若所有的數(shù)據(jù)有個(gè)通道，那么單獨(dú)的7×7卷積層將會(huì)包含7×7×=49個(gè)參數(shù)，而3個(gè)3×3的卷積層的組合僅有個(gè)3×(3×3×)=27個(gè)參數(shù)。由此可以看出選擇小濾波器的卷積組合更能表示特征。

(3) VGGNet中使用了1×1的濾波器，能在不影響輸入輸出維數(shù)的情況下，對(duì)輸入線進(jìn)行線性形變，然后通過(guò)Relu進(jìn)行非線性處理，進(jìn)而增加網(wǎng)絡(luò)的非線性表達(dá)能力。

正是由于其在少量參數(shù)下模型優(yōu)秀的表征能力，本文使用預(yù)訓(xùn)練的VGGNet16網(wǎng)絡(luò)模型提取圖像的表示特征，并同時(shí)舍棄VGGNet網(wǎng)絡(luò)模型中的全連接層，主要由于VGGNet模型中全連接層參數(shù)占很大一部分，而去掉全連接層又對(duì)模型表征能力沒(méi)有什么影響。通過(guò)DCNN提取的特征在本文模型后續(xù)計(jì)算中有很大的幫助，一方面圖像表示特征被送入文本檢測(cè)與識(shí)別網(wǎng)絡(luò)，用來(lái)確定圖像中的文字區(qū)域以及識(shí)別文本，另一方面特征又被送入相關(guān)度度量模塊計(jì)算圖像文本與圖像的相關(guān)度，最后又送入分類網(wǎng)絡(luò)進(jìn)行信息融合分類。

2.2 構(gòu)建TDN

TDN以Faster RCNN網(wǎng)絡(luò)為基礎(chǔ)，參考CTPN網(wǎng)絡(luò)結(jié)構(gòu)。CTPN模型是第一個(gè)將RNN引入檢測(cè)問(wèn)題，使得對(duì)圖像的檢測(cè)結(jié)果不是在字符級(jí)別，而是在行級(jí)別，對(duì)于學(xué)習(xí)圖像中的文本語(yǔ)義信息更有幫助。檢測(cè)網(wǎng)絡(luò)的主要結(jié)構(gòu)圖如圖2所示。

圖2 文本區(qū)域檢測(cè)模型圖

(1) 使用VGGNet16網(wǎng)絡(luò)獲得卷積層輸出的特征圖(××，對(duì)應(yīng)寬度×高度×通道數(shù))。在輸出特征圖的每個(gè)位置上取3×3×的窗口的特征，用于預(yù)測(cè)該位置k(本文設(shè)置k=10)個(gè)anchor(anchor的定義和Faster RCNN類似)對(duì)應(yīng)的類別信息、位置信息。

(2) 將每行的所有窗口對(duì)應(yīng)的3×3×的特征(×3×3×)輸入到雙向長(zhǎng)短期記憶網(wǎng)絡(luò)(bidirectional long short-term memory，BLSTM)中，得到×256的輸出。將BLSTM的×256輸入到512維的全連接層。

(3) 全連接層再將特征輸入到3個(gè)分類層中。2k scores表示的是k個(gè)anchor的類別信息(不同于Faster RCNN，本文只有2類，字符與非字符)。2k vertical coordinate和k side-refinement是用來(lái)回歸k個(gè)anchor的位置信息。2k vertical coordinate表示邊界框的高度和中心點(diǎn)軸坐標(biāo)(以此決定上下邊界)，個(gè)side-refinement表示邊界框的水平平移量。本文只用了3個(gè)參數(shù)表示回歸的bounding box，因?yàn)楸疚哪J(rèn)了每個(gè)anchor的寬度是16，且不再變化。

(4) 將文本/非文本分?jǐn)?shù)大于0.7作為正錨點(diǎn)，得到固定寬度的小規(guī)模文本建議框，再利用文本行構(gòu)造算法[11]，將多個(gè)相鄰的文本建議合并成一個(gè)文本行用于后續(xù)的文本識(shí)別。

2.3 構(gòu)建TRN

首先RoIpooling模塊依據(jù)回歸之后的文本建議框與卷積層輸出的特征圖得到要識(shí)別文本的特征；之后將高度固定、長(zhǎng)度不同的文本特征送入BLSTM中獲取到固定長(zhǎng)度()的文本特征表示，適應(yīng)不同長(zhǎng)度的文本識(shí)別；將統(tǒng)一長(zhǎng)度的文本特征送入圖3所示的文本識(shí)別模型中。

圖3 文本識(shí)別模型圖

文本識(shí)別模型主要基于軟注意力機(jī)制檢測(cè)窗口中的文本信息，其不用預(yù)先對(duì)文字進(jìn)行分割，并且可以通過(guò)反向傳播的方式優(yōu)化損失函數(shù)。模型具體流程如圖3。