基于雙模編碼器-解碼器框架的聯(lián)機手寫數(shù)學公式識別

付鵬斌, 李樹軍, 楊惠榮

(北京工業(yè)大學信息學部, 北京 100124)

手寫數(shù)學公式識別作為手寫識別領域的一個重要分支,有很多應用場景,可分為聯(lián)機和脫機2種識別模式。其中,聯(lián)機模式是將數(shù)學公式以一維坐標點序列的形式作為輸入,而脫機模式是將數(shù)學公式以二維靜態(tài)圖像的形式作為輸入。目前,聯(lián)機手寫數(shù)學公式的識別主要分為傳統(tǒng)識別方法和基于深度學習的識別方法。傳統(tǒng)識別方法旨在基于文法規(guī)則將識別過程劃分為字符分割、字符識別和結(jié)構(gòu)分析3個階段[1]。商俊蓓[2]采用隱性分割的方法,將時間點作為切分的依據(jù),避免字符粘連導致的切分錯誤?？岁徽躘3]通過構(gòu)建全局解析樹,實現(xiàn)數(shù)學公式的動態(tài)結(jié)構(gòu)分析,可以根據(jù)結(jié)構(gòu)分析階段的錯誤對前2個階段動態(tài)調(diào)整。鄭恩東[4]通過構(gòu)建筆畫結(jié)構(gòu)圖的方式,克服一維序列對數(shù)學公式二維結(jié)構(gòu)表達的限制。然而,這一類識別方法過度依賴人工預定義規(guī)則,對公式的復雜程度有較高的要求。Deng等[5]將深度學習引入該領域,實現(xiàn)了端到端的識別,并且證實基于編碼器-解碼器框架的神經(jīng)網(wǎng)絡模型在很大程度上優(yōu)于傳統(tǒng)的識別方法。Zhang等[6]設計了基于門控循環(huán)神經(jīng)網(wǎng)絡的編碼器-解碼器模型,引入注意力機制幫助模型在每次解碼前聚焦于特征信息的有效解碼區(qū)域,隨后又設計了TAP(track,attend and parse)模型[7]和WAP(watch,attend and parse)模型[8],前者將注意力引導機制作為正則化項以提高注意力機制的精確性,后者采用卷積神經(jīng)網(wǎng)絡和注意力機制實現(xiàn)對數(shù)學公式圖像的識別。Zhang等[9]設計了多尺度編碼器,在一定程度上克服了字符尺寸相差較大而造成的信息丟失問題。這類方法或模型均是在單模下實現(xiàn)的,只能接受同一種形式的數(shù)據(jù),即坐標點序列形式或圖像形式,均無法充分利用輸入數(shù)據(jù)的特征。因此,Wang等[10]設計了基于注意力機制的多模識別模型,這里的多模是指雙模,即將聯(lián)機識別模型和脫機識別模型結(jié)合。然而,因為沒有對單模下的識別做任何改進,所以單模模型的缺點會保留至雙模模型中。Wang等[11]設計了筆畫約束注意力網(wǎng)絡(stroke constrained attention network,SCAN)模型,將聯(lián)機模式與脫機模式下的特征信息融合,但是其形狀和信息密度不同,導致無法充分利用融合后的特征信息。

針對以上問題,本文設計了一種基于編碼器-解碼器框架的雙模識別模型(dual online-offline model,DOOM)。該模型可同時接受坐標點序列和圖像形式的輸入數(shù)據(jù),充分保留原數(shù)據(jù)的特征。除此之外,還提出了正弦編碼,實現(xiàn)了聯(lián)機模式下輸入的數(shù)據(jù)增強,并設計了平滑注意力機制,實現(xiàn)了脫機模式下手寫字符與相關(guān)特征信息的有效對齊。經(jīng)實驗驗證,該模型可有效提升數(shù)學公式識別的準確率。

1 正弦編碼

為了從輸入序列中提取子序列的標志信息,本文提出了正弦編碼,其可應用于輸入為序列數(shù)據(jù)的場景。序列化的數(shù)據(jù)在深度學習領域較為常見,一個序列往往由若干長度不等的子序列組成,如一段文本包含多個長短不一的句子,此時該序列的完整信息是由多個片段化的子序列信息組成的。然而,當一個序列包含一個較短的子序列時,極有可能在數(shù)據(jù)處理過程中造成該子序列數(shù)據(jù)信息的丟失,嚴重影響數(shù)據(jù)信息的完整度,因此,如何防止序列中各個子序列信息的丟失至關(guān)重要。

為了解決上述問題,本文提出了正弦編碼,對所有子序列中的每個元素通過正弦函數(shù)計算一個正弦標志,因此,每個子序列都有一個正弦標志序列,用來補充該子序列的數(shù)據(jù)信息。假設序列由各子序列組成,即

(1)

然后以同樣的方式計算序列Q中所有元素的正弦標志,得到正弦標志序列

最終,編碼后序列Z的公式為

Z=WQQ+WSS

(2)

式中:WQ為Q的權(quán)重;WS為S的權(quán)重。

從以上計算過程可以看出,正弦編碼是從輸入序列中提取每個子序列的正弦標志序列,并且將正弦標志序列同樣作為模型的輸入,因此,可在一定程度上保留子序列信息。

2 平滑注意力機制

為了對不同大小的目標區(qū)域進行更加精確的篩選,本文提出一種平滑注意力機制。注意力機制是一種類似人類視覺神經(jīng)的算法,可通過自動學習權(quán)重的方式得到輸入數(shù)據(jù)中的有效區(qū)域,常應用于基于編碼器-解碼器框架的模型。假設輸入數(shù)據(jù)為特征圖G,即

式中每個像素特征gkl∈RD,1≤k≤h,1≤l≤w,D為特征維度。在每次解碼前,模型對特征圖中的每個像素特征自動分配權(quán)重,權(quán)重越大,則表明其包含的有效信息越多,從而篩選出有效解碼信息。這里,以在解碼時刻計算像素特征gkl的權(quán)重為例,計算公式為

(3)

(4)

(5)

然而,以上這種計算方式經(jīng)常會造成過解碼和欠解碼的問題,即每次篩選到的有效特征信息過多或不足。為了避免這種問題,Zhang等[7]提出了覆蓋注意力機制,將之前所有解碼時刻的注意力值的和F也作為計算當前時刻注意力因子的條件,即

(6)

則式(3)可改為

(7)

然而,當原輸入圖像中的有效信息區(qū)域的范圍相差較大時,在固定大小的感受野下,覆蓋注意力機制同樣很難比較精確地篩選出有效的特征信息。例如,當輸入為手寫數(shù)學公式圖像時,圖像中不同手寫符號的尺寸相差較大,注意力機制在捕捉尺寸較小的符號時,往往會得到一些無用的特征信息,而捕捉尺寸較大的手寫符號時,卻不能獲取該符號的全部特征信息。為了改善這個問題,本文基于覆蓋注意力機制提出了平滑注意力機制,通過引入平滑窗口,將窗口中所有像素特征的注意力因子作為計算當前像素特征權(quán)重的條件。這里,同樣以在解碼時刻t計算gkl的權(quán)重為例對平滑注意力機制的計算方式進行詳細介紹。

(8)

(9)

式中:σ表示Sigmoid激活函數(shù);T表示最大平滑范圍;「?表示向上取整操作;Weh∈RD×1,Wew∈RD×1,同樣為自動更新的模型參數(shù)。

(10)

按照同樣的方式對G中所有的像素特征權(quán)重化可得到Gt,公式為

(11)

3 模型設計

DOOM是通過編碼器-解碼器框架和注意力機制實現(xiàn)的。該模型主要包括聯(lián)機編碼器、脫機編碼器和解碼器3個部分,其中解碼器又包含了覆蓋注意力機制和平滑注意力機制,如圖1所示。每次模型接收的坐標點序列和二維圖像均來自同一手寫數(shù)學公式。

圖1 DOOM結(jié)構(gòu)

3.1 聯(lián)機編碼器

在聯(lián)機模式下,每個手寫數(shù)學公式的輸入是一個坐標點序列,其包含了很多長度不等的子坐標點序列,每個子坐標點序列對應該數(shù)學公式的一個筆畫的數(shù)據(jù),這剛好符合正弦編碼的應用場景。當手寫數(shù)學公式包含較多筆畫時,為了避免在識別過程中丟失較短筆畫的信息,同時補充筆畫之間的間隔信息,本文采用正弦編碼對輸入的坐標點序列進行編碼。

假設聯(lián)機模型的輸入坐標點序列為P,其正弦標志序列為S。根據(jù)手寫數(shù)學公式的特點,將編碼后的序列Xon作為聯(lián)機模式下的輸入,其計算公式為

Xon=tanh(Win(WPP+WSS))

(12)

式中:tanh為激活函數(shù);WP∈REin×E,WS∈R1×E,Win∈RE×E,皆為可訓練的模型參數(shù),其中,Ein表示每個坐標點的維度,E表示編碼維度。以圖2所示的手寫數(shù)學公式“yt+1”為例,其包含了7個筆畫,每個筆畫的坐標點數(shù)量不同,均在公式右側(cè)標明。從圖中可看出,正弦編碼可使每個筆畫內(nèi)的正弦標志序列按正弦規(guī)律變化,并且可以用熱力圖的方式可視化該公式正弦標志序列的變化規(guī)律,其中每個高亮區(qū)域?qū)粋€筆畫。每個筆畫的正弦標志序列中的最小值為0,最大值為1,分別對應筆畫的間隔位置和中心位置。筆畫越短,則正弦標志變化越快;筆畫越長,則正弦值變化越慢。因此,不僅能夠根據(jù)該變化規(guī)律預測筆畫的長度,而且能夠在一定程度上補充筆畫之間的間隔信息。

圖2 正弦編碼示例

聯(lián)機編碼模型由卷積神經(jīng)網(wǎng)絡(convolutional neural network,CNN)和門控循環(huán)單元(gate recurrent unit,GRU)神經(jīng)網(wǎng)絡兩部分構(gòu)成。其中CNN部分用于提取局部特征信息,如手寫筆跡的拐點信息等,根據(jù)DenseNet-20[12]實現(xiàn)。該模型主要由5個DenseBlock構(gòu)成,每個DenseBlock包含了3層網(wǎng)絡,每層網(wǎng)絡又包含了2層卷積層,增長因子K為24,如圖3所示。DenseBlock之間的卷積層起到連接和壓縮通道數(shù)的作用,壓縮因子為0.5。在第3個和第5個DenseBlock后分別設置了一層平均池化層,最終可將輸入序列的長度降為原來的1/4,起到匯聚特征信息的作用。GRU部分用來提取坐標點之間的關(guān)聯(lián)性特征,采用2層雙向門控循環(huán)單元(bi-direction gate recurrent unit,Bi-GRU)神經(jīng)網(wǎng)絡來實現(xiàn),D為250,其輸入是CNN部分的輸出。

圖3 聯(lián)機編碼器模型

假設輸入序列Xon=[X1,X2,…,Xn],為了匹配模型的輸入格式,首先將Xon轉(zhuǎn)換成形狀為[E,n,1]的張量。經(jīng)過卷積后的輸出是一個形狀為[C,L,1]的張量,C表示最終輸出的通道數(shù),L表示輸出的特征序列的長度,由于池化層的作用,L=N/4。然后,將該張量的形狀轉(zhuǎn)換為[L,C]并輸入GRU模型中,最終得到聯(lián)機特征信息Con=[C1,C2,…,CL],其包含了整個輸入坐標點序列的特征信息。

3.2 脫機編碼器

脫機編碼器是由更深層的卷積神經(jīng)網(wǎng)絡模型DenseNet-99實現(xiàn)的,不同的是去掉了Transition后的平均池化層。模型主要由3個DenseBlock和2個Transition構(gòu)成,如圖4所示。每個DenseBlock包含23層網(wǎng)絡,每層網(wǎng)絡包含4層卷積層,增長因子K為24。在第1個DenseBlock前有一層卷積核為7×7的卷積層和一層最大池化層,卷積步長為2。每個Transition內(nèi)部和后面均有一層卷積層,用來壓縮和連接2個相鄰DenseBlock的通道數(shù)。模型最后一層是全連接層,作用于通道維度上,用來控制輸出特征維度的大小。

圖4 脫機編碼器模型

假設輸入圖像的高和寬分別為Himg和Wimg,在輸入模型前需要將其轉(zhuǎn)換成形狀為[1,Himg,Wimg]的張量,1表示輸入通道數(shù)。經(jīng)過編碼后的脫機特征信息Coff是一個形狀為[D,H,W]的張量,其包含了整個輸入圖像的二維結(jié)構(gòu)特征信息,D表示脫機特征維度,與聯(lián)機特征維度大小相同,H和W分別表示輸出特征圖的高和寬。

3.3 解碼器

解碼器模型根據(jù)Con和Coff預測LaTeX序列,由2層GRU構(gòu)成。為了在每次解碼前使解碼器聚焦于特征信息的有效解碼區(qū)域,引入了注意力機制。在每次解碼前,分別通過覆蓋注意力機制和平滑注意力機制對Con和Coff篩選有效的解碼信息,進而提升解碼器的效果。解碼器計算過程的公式為

t=GRU1(yt-1,ht-1)

(13)

(14)

(15)

(16)

式中:上標on和off分別表示聯(lián)機模式和脫機模式;yt-1和ht-1分別表示t-1時刻的標簽和隱藏狀態(tài);t表示t時刻的近似輸出;Con和Coff分別表示聯(lián)機特征信息和脫機特征信息;Fon、Foff分別表示聯(lián)式、脫機模式下的注意力值矩陣;和分別表示在t解碼時刻經(jīng)過注意力機制篩選后的聯(lián)機特征信息和脫機特征信息;Q是一層卷積核為1×7的卷積層;和分別為覆蓋注意力機制和平滑注意力機制的實現(xiàn)函數(shù);fcross表示一種交叉合并操作,可將和合并。式(16)是一層GRU,根據(jù)和t計算得到t時刻的隱藏狀態(tài)ht。首先,在合并前要將轉(zhuǎn)換成形狀為[H×W,D]的序列形式;然后,利用卷積操作實現(xiàn)合并后的多模數(shù)據(jù)在數(shù)值上的充分融合。其中交叉合并是在Wang等[10]提出的多模融合方法的基礎上進行改進的,能夠保證多種模式的數(shù)據(jù)分布較均勻,其具體操作步驟如下。

m=max(lon,loff)min(lon,loff),「?

步驟3計算間隔距離為向上取整操作。

步驟5返回融合后的結(jié)果。

(17)

4 實驗

4.1 數(shù)據(jù)集及數(shù)據(jù)預處理

4.1.1 數(shù)據(jù)集

為了保證結(jié)果對比的公平性,實驗采用CROHME[13]比賽提供的官方數(shù)據(jù)集。訓練集為CROHME2014提供的訓練集,模型的驗證分別采用CROHME2014和CROHME2016提供的驗證集。實驗數(shù)據(jù)集如表1所示。每個公式的標簽均是一個LaTeX格式的序列,因此,標簽符號不僅包含了101種手寫字符,還包含了一些表示二維結(jié)構(gòu)關(guān)系的虛擬符號, 如“^”“_”“{”等,共包含111種標簽字符。這里111種標簽字符已經(jīng)包含了用于標志輸出序列結(jié)束的特殊符號。

表1 實驗數(shù)據(jù)集

4.1.2 數(shù)據(jù)預處理

在輸入模型前數(shù)據(jù)集需要經(jīng)過數(shù)據(jù)預處理操作,其目的是要將手寫數(shù)學公式的原數(shù)據(jù)轉(zhuǎn)化為一維坐標點序列和二維靜態(tài)圖像2種形式,進而提高數(shù)據(jù)的表示能力。數(shù)據(jù)集中每個公式的原數(shù)據(jù)是一個坐標點序列

[(x1,y1,s1),(x2,y2,s2),…,(xn,yn,sn)]

式中xi、yi和si(1≤i≤n)分別表示第i個坐標點的橫坐標值、縱坐標值和該坐標點所屬筆畫的序號,坐標點的順序?qū)謱懙墓P跡順序。每個人的手寫風格和錄入設備規(guī)格不同,導致同一公式的錄入數(shù)據(jù)有很大差別,增大了識別難度。為了解決該問題,對聯(lián)機模式和脫機模式分別設計了不同的預處理方式。

對于聯(lián)機模式,首先根據(jù)文獻[14]對原坐標點序列去重和歸一化,然后為了增強每個坐標點與其前后坐標點的關(guān)聯(lián)性,基于文獻[7] 將每個坐標點表示為一個10維的特征向量

對于脫機模式而言,首先將原坐標點序列進行二維映射,然后經(jīng)過雙線性插值、平滑處理和膨脹處理,最后經(jīng)過轉(zhuǎn)換得到二維靜態(tài)圖像。

4.2 模型評估指標

模型的輸出是LaTeX序列,其包含了手寫實體符號和表示二維結(jié)構(gòu)關(guān)系的虛擬符號,因此,采用公式識別準確率RE和結(jié)構(gòu)識別準確率RS作為模型的評估指標。具體的計算方式為

(18)

(19)

式中:N表示公式總數(shù);NE表示完全識別正確的公式數(shù)量;NS表示所有虛擬符號識別正確的公式數(shù)量。RE和RS的值越大,表示模型的識別效果越好。

4.3 實驗參數(shù)設置

實驗分為訓練和測試兩部分,其中訓練的任務根據(jù)輸入數(shù)據(jù)更新模型參數(shù),使預測LaTeX序列的概率最大。為了降低過擬合,目標函數(shù)采用引入了標簽平滑的交叉熵損失函數(shù),公式為

(20)

式中:ε為0.1,表示平滑因子;R為111,表示標簽字符的種類;pti為t時刻第i個字符的預測概率;yt為t時刻的真實標簽;Y表示LaTeX序列的長度。實驗采用AdaDelta[15]作為優(yōu)化算法,參數(shù)rho為0.95,eps為10-6,weight_decay為10-4。根據(jù)實驗環(huán)境,將訓練批次設置為32,學習率設置為10-3,最大迭代次數(shù)為500,并且采用早停法根據(jù)單字符錯誤率[16]判斷訓練過程是否提前結(jié)束。實驗相關(guān)的可調(diào)整參數(shù)主要有點特征維度Ein、編碼維度E、特征維度D、注意力維度A和平滑注意力機制的最大平滑范圍T。其中:Ein根據(jù)數(shù)據(jù)預處理設定為10;D和A的取值參考了文獻[6] 的參數(shù)設定,最終將D設置為250,A設置為500。本研究對新參數(shù)E和T進行了參數(shù)分析實驗,并最終將E設置為200,T設置為4。參數(shù)分析實驗分別將E設置為50、100、150、200、250、300和350,T設置為2、3、4、5和6,并觀察實驗結(jié)果。圖5(a)為E和T的取值與公式識別準確率之間的關(guān)系。從圖中可以得出,公式識別準確率受E和T的影響較大且會隨著E的增大而增大。當E取值為200及以上時,公式識別準確率的增長開始趨于平緩。相較于取其他數(shù)值時,T取4可使識別的準確率達到較高水平。圖5(b)展示了E和T與單個公式識別耗時之間的關(guān)系。從圖中可以看出,當E取值為250及以上時,識別耗時明顯增長且整體受T的影響較小。為了使公式識別準確率盡可能高的同時保證識別性能,綜合考慮將E設置為200,將T設置為4。

圖5 參數(shù)E、T和B對識別的準確率和識別耗時的影響

在測試階段,為了使預測LaTeX序列的概率最大,引入了束搜索策略,束寬為B。B的取值對公式識別準確率和識別耗時的影響都比較大,因此,這里同樣對B的取值進行了參數(shù)分析實驗。圖5(c)展示了B與公式識別準確率之間的關(guān)系,公式識別準確率會隨著B的增大而增大,當B取值為4及以上時,公式識別準確率的增長開始趨于平緩。圖5(d)展示了B與識別耗時之間的關(guān)系。從圖中可以得出,識別耗時會隨著B的增大而快速增長,當B取值為5及以上時,識別耗時的增長更加明顯。同樣,為了在公式識別準確率較高的前提下,盡可能降低單個公式識別耗時,綜合考慮將B設置為5。

4.4 實驗結(jié)果與分析

為了驗證本文提出的正弦編碼、平滑注意力機制及融合了這2種方法的DOOM的優(yōu)越性,本文分別對正弦編碼、平滑注意力機制及DOOM的效果進行實驗。

4.4.1 正弦編碼效果實驗

本文提出正弦編碼的目的是通過豐富筆畫級別的表示信息,盡可能避免筆畫信息丟失,尤其是在有不同筆畫粘連和筆畫數(shù)量較多且長度相差較大的情況下。本文對文獻[7] 中的TAP模型進行復現(xiàn)并作為對比模型,在TAP的基礎上應用正弦編碼得到模型TAP+SINS。加入正弦編碼后在CROHME2014和CROHME2016驗證集上,公式識別準確率分別提升3.89%和3.31%,結(jié)構(gòu)識別準確率分別提升2.49%和3.12%,如表2所示。實驗結(jié)果表明加入正弦編碼序列能夠有效豐富每個筆畫的特征信息,進而提高不同筆畫之間的區(qū)分度,增強輸入數(shù)據(jù)的表示能力,在一定程度上提高了聯(lián)機模式下的公式識別準確率和結(jié)構(gòu)識別準確率。

表2 實驗結(jié)果對比

本文通過2個實例對應用正弦編碼前后的識別結(jié)果進行了分析,表3分別展示了原手寫公式圖像、應用正弦編碼前的識別結(jié)果(識別結(jié)果1)和應用正弦編碼后的識別結(jié)果(識別結(jié)果2)。

表3 應用正弦編碼前后識別結(jié)果對比

實例1展示了有筆畫粘連時的識別結(jié)果,粘連部分已在原手寫公式圖像中通過紅色矩形框圈出,可以看到字符“d”和“2”粘連在了一起。在應用正弦編碼前,模型將其認為是同一個筆畫,從而將其誤識別為“d”。在應用正弦編碼后,模型能夠?qū)⒄尺B后的字符“d”和“2”分開識別,表明正弦編碼能夠補充筆畫的間隔信息,在一定程度上解決了筆畫粘連問題。

實例2展示了當公式包含較多筆畫且筆畫長度相差較大時的識別結(jié)果,從手寫公式圖像中可以看到,其不僅包含了較長的筆畫,如求和符號“∑”,還包含了較短的筆畫,如在原手寫圖像中通過紅色矩形框圈出的字符“i”的“.”,由于該筆畫包含了非常少的坐標點,在識別過程中極有可能發(fā)生信息丟失的問題。在應用正弦編碼前,丟失字符“i”中“.”的信息導致將其誤識別為“1”,如識別結(jié)果1所示。在應用正弦編碼后,能夠有效保留了“i”中“.”的特征信息,并將其正確識別為“i”,表明應用正弦編碼能夠補充各個筆畫的特征信息,進而在一定程度上避免了較短筆畫的特征信息發(fā)生丟失。

4.4.2 平滑注意力機制效果實驗

本文提出平滑注意力機制的目的是更加精確地篩選尺寸相差較大的符號的特征信息。本文基于平滑注意力機制得到模型WAP+ATTS。相比于復現(xiàn)后的WAP模型,WAP+ATTS模型在CROHME2014和CROHME2016驗證集上,可將公式識別準確率分別提升2.29%和0.32%,將結(jié)構(gòu)識別準確率分別提升1.05%和0.56%,如表2所示。以上實驗結(jié)果表明,平滑注意力機制能夠在一定程度上提升脫機模式下的公式識別準確率和結(jié)構(gòu)識別準確率。

為了能更直觀地感受應用平滑注意力機制后模型對有效特征信息捕捉能力的提升,分別對覆蓋注意力機制和平滑注意力機制的結(jié)果進行了可視化,效果對比如圖6所示。圖6以公式“g(b)-g(a)=b-a”為例,將右側(cè)字符對應的有效手寫區(qū)域以紅色表示。從圖中可以看出,相比于覆蓋注意力機制,平滑注意力機制捕捉到的與右側(cè)符號有關(guān)的手寫區(qū)域更加精確。例如,在捕捉符號“b”的手寫區(qū)域時,覆蓋注意力機制卻捕捉到了屬于左右括號的一些手寫區(qū)域,而平滑注意力機制可以精確捕捉只屬于“b”的手寫區(qū)域,表明平滑注意力機制可以對特征信息中的特征元素實現(xiàn)更細粒度的計算和篩選。除此之外,對于尺寸相差較大的符號,如“-”和“g”,覆蓋注意力機制在對“-”捕捉特征信息時,會捕捉到其他的無用信息,而對于“g”的信息捕捉時,卻并不能捕捉到其全部的特征信息。相比之下,平滑注意力機制對“-”和“g”的特征信息捕捉效果較好,表明平滑注意力機制可以有效提升對不同大小的手寫符號特征信息的篩選效果。

圖6 覆蓋注意力機制與平滑注意力機制效果對比

4.4.3 DOOM識別效果實驗

首先,通過識別準確率指標衡量DOOM的效果。相比于TAP+SINS模型,DOOM在CROHME2014和CROHME2016驗證集上可將公式識別準確率分別提升6.40%和4.91%,將結(jié)構(gòu)識別準確率分別提升3.33%和4.88%,相比于WAP+ATTS模型,DOOM在CROHME2014和CROHME2016驗證集上可將公式識別準確率分別提升8.09%和5.89%,將結(jié)構(gòu)識別準確率分別提升2.93%和4.39%,如表2所示。實驗結(jié)果表明,相比于單模識別模型,DOOM能夠在一定程度上提高手寫符號和結(jié)構(gòu)關(guān)系分類的準確率。

然后,將DOOM與相關(guān)領域內(nèi)的其他模型進行對比,實驗結(jié)果如表4所示。UPV[13]和Wiris[17]分別在CROHME2014比賽和CROHME2016比賽中取得了最高的識別準確率(在使用CROHME提供的官方數(shù)據(jù)集作為訓練集的模型范圍內(nèi))。WYGIWYS[18]和PAL[19]同樣也在CROHME2014提供的數(shù)據(jù)集上取得了較高的識別準確率。E-MAN[10]和MMSCAN-E[11]分別是2019年和2021年在該領域提出的多模識別模型。相比于E-MAN模型,DOOM可在CROHME2014和CROHME2016驗證集上將公式識別準確率分別提升4.71%和4.47%,將結(jié)構(gòu)識別準確率分別提升0.95%和3.73%;相比于MMSCAN-E模型,DOOM可在CROHME2014和CROHME2016驗證集將公式識別準確率分別提升1.56%和1.06%。以上實驗結(jié)果表明,本文提出的DOOM能夠更有效地實現(xiàn)多種模式數(shù)據(jù)的融合,豐富了特征信息,進而在一定程度上提升了公式識別準確率和結(jié)構(gòu)識別準確率。

表4 與相關(guān)領域內(nèi)其他模型對比結(jié)果

本文提出雙模模型的目的是通過豐富特征信息,進而提升每個字符的區(qū)分度。因此,本文選擇了一些相似字符,對不同模式下的特征向量進行降維,進而對相似字符可視化。圖7(a)(b)(c)分別為基于脫機模式、聯(lián)機模式和雙模模式特征向量的相似字符的可視化效果。從圖7(a)中可以看出,脫機模式下的相似字符在二維空間中分界并不明顯,尤其對于字符“b”和“6”。從圖7(b)中可以看出,相比于脫機模式,根據(jù)聯(lián)機模式特征信息可以更好地區(qū)分相似字符,尤其是對于手寫筆跡順序不同的字符,如“a”和“α”。然而,對于外形和筆跡均相同的字符,如“q”和“9”,分類界限仍然很模糊。圖7(c)展示了基于雙模模式特征信息的分類效果,這類特征信息不僅包含了手寫字符的二維結(jié)構(gòu)特征信息,而且保留了手寫筆跡的順序特征信息。從圖中可以看出,相比于單一的聯(lián)機模式或脫機模式,基于雙模模式特征信息對相似字符的區(qū)分度明顯提高,不僅可以對像“a”和“α”這種外形相似但筆跡順序不同的字符進行分類,而且在一定程度上提升了對外形和筆跡順序都相同的字符的分類效果。

圖7 基于不同模式特征向量的相似字符分類效果對比

5 結(jié)論

1) 為了解決單模識別模型只接受一種形式的數(shù)據(jù)導致輸入數(shù)據(jù)特征的豐富度較低以及數(shù)據(jù)信息在識別過程中衰減、手寫符號大小差異影響識別效果等問題,本文設計了雙模識別模型,并提出了正弦編碼和平滑注意力機制,分別針對聯(lián)機模式部分和脫機模式部分進行增強。

2) 實驗結(jié)果表明,正弦編碼通過對輸入坐標點序列進行編碼,可有效補充筆畫級別的表示信息,在一定程度上避免了該類信息在識別過程中丟失。平滑注意力機制在一定程度上克服了手寫符號大小差異帶來的影響,能夠在特征信息中有效篩選到與解碼字符相關(guān)的部分特征信息,從而提升了識別效果。相比于單模識別模型,雙模識別模型能夠更加有效地豐富手寫字符的特征信息,提高手寫字符的區(qū)分度。